與去年百模大戰(zhàn)、靠算力堆出通用大模型不同，今年的大模型產(chǎn)業(yè)落地，要靠業(yè)務(wù)跑出來。

　　文|趙艷秋 徐鑫

　　編|�；�

　　今年是大模型產(chǎn)業(yè)落地元年。從年初到現(xiàn)在，客戶對(duì)大模型的預(yù)期越來越高，要求解決更多的業(yè)務(wù)場(chǎng)景問題。

　　在這個(gè)過程中，智能體正在爆發(fā)——越來越多的客戶希望自身應(yīng)用，能向下一代智能體(Agent)的方向演進(jìn)。

　　簡單說，如果將大模型比作大腦，智能體就像是大腦的手腳和四肢。它能拆解客戶復(fù)雜的需求，調(diào)用工作流和工具，成為一個(gè)真正的業(yè)務(wù)小助手。由于它的門檻足夠低，可以讓更多人入門。而今天大多數(shù)AI原生應(yīng)用，幾乎都能用智能體搭建。

　　業(yè)界所有大模型公司和生態(tài)企業(yè)都在做智能體。這也意味著，大模型落地已進(jìn)入“必卷智能體”的階段。

　　在7月30日于上海舉辦的2024京東云峰會(huì)上，京東正式發(fā)布言犀智能體平臺(tái)，它是一站式智能體開發(fā)平臺(tái)。京東云判斷，智能體、數(shù)字人、具身智能是未來大模型與終端用戶的核心交互介質(zhì)。其中，智能體更偏云端，是企業(yè)AI原生應(yīng)用的重要推手。

　　實(shí)際上，京東云此次發(fā)布了包括言犀智能體平臺(tái)在內(nèi)的、支持大模型落地的全棧產(chǎn)品，加速大模型全場(chǎng)景落地。

　　“通用大模型靠算力堆出來，企業(yè)大模型則靠業(yè)務(wù)跑出來。”京東技術(shù)委員會(huì)主席、京東云事業(yè)部總裁曹鵬在云峰會(huì)上說。通過日臻完善的產(chǎn)品和工具平臺(tái)體系，大模型才能與產(chǎn)業(yè)結(jié)合，發(fā)揮最大潛力。

　　數(shù)智前線獲悉，京東云大模型全棧產(chǎn)品是在京東供應(yīng)鏈這一超級(jí)孵化器中孵化而來。目前，在京東內(nèi)部已有超過100個(gè)大模型的應(yīng)用，支撐了超過60萬員工和20萬的商家的應(yīng)用。

　　01

　　“一線對(duì)智能體的熱情令我驚訝”

　　京東相關(guān)負(fù)責(zé)人表示，在實(shí)踐中感受到，智能體是今年大模型落地中，應(yīng)用效果最好的工具平臺(tái)之一。

　　京東發(fā)布的言犀智能體平臺(tái)，實(shí)際上是一個(gè)“內(nèi)生外化”的產(chǎn)品。它從去年10月開始研發(fā)，今年春季在京東和一些生態(tài)鏈企業(yè)開放使用，僅僅幾個(gè)月時(shí)間里，員工就搭建了3300多個(gè)智能體。“讓我們驚訝。”該負(fù)責(zé)人說。同時(shí)，平臺(tái)上也形成了上千個(gè)工作流、知識(shí)庫，受歡迎程度，超出預(yù)期。

　　“這可能與京東業(yè)務(wù)人員多，鏈條又足夠長有關(guān)。”一個(gè)有趣的現(xiàn)象是，過去一些年，京東在核心的零售供應(yīng)鏈，投入了大量AI算法團(tuán)隊(duì)。而這次大模型的變革，卻為那些過去沒有被AI影響到的群體，帶來顛覆性的變化。一線業(yè)務(wù)、職能、產(chǎn)品經(jīng)理等都結(jié)合自己的工作，創(chuàng)建Agent。

　　比如，有人搭建了長視頻剪輯Agent。因?yàn)榫〇|內(nèi)部有大量培訓(xùn)視頻要剪輯，過去大家要手動(dòng)去找到相應(yīng)部分，再用剪輯軟件去剪，一周只能剪幾個(gè)。現(xiàn)在這個(gè)視頻剪輯助手，只要上傳視頻和要求，就可以利用大模型多模態(tài)能力，找到對(duì)應(yīng)的幀，員工再去剪輯，一周可以完成上百個(gè)。

　　另一個(gè)智能小哥助手，為快遞小哥做路徑規(guī)劃、智能提示，解放他們的雙手;在京東的智能體市場(chǎng)上，有大量活躍的Agent。有電話營銷質(zhì)檢智能體，已產(chǎn)生百萬級(jí)訪問量，替代人工做營銷電話的審核與校驗(yàn)......此外，京東有超60萬員工，還有大量通用場(chǎng)景智能體，如報(bào)銷類、學(xué)習(xí)類。

　　由于針對(duì)大量一線員工使用，言犀智能體平臺(tái)支持了零代碼開發(fā)，讓沒有算法背景的員工，也能通過可視化、拖拽方式來搭建智能體。“智能體平臺(tái)就是讓每一份AI靈感都能快速落地。”京東相關(guān)負(fù)責(zé)人對(duì)此深有體會(huì)。

　　智能體給組織協(xié)作也帶來了改變。之前一些業(yè)務(wù)部門協(xié)同時(shí)，要找對(duì)方拉會(huì)，需要開發(fā)還要制定排期�，F(xiàn)在大家自發(fā)把各自的工具和API注冊(cè)到智能體平臺(tái)上，實(shí)現(xiàn)了底層能力的鏈接，其他部門員工可直接調(diào)用，協(xié)作也變得不一樣。

　　在經(jīng)歷內(nèi)部錘煉后，言犀智能體平臺(tái)對(duì)外開放。在商業(yè)模式上，提供公有云和私有化部署。

　　市場(chǎng)上已推出的智能體平臺(tái)，不少側(cè)重在個(gè)人開發(fā)者，但言犀智能體平臺(tái)更針對(duì)行業(yè)。它在內(nèi)部孵化時(shí)，獲得京東零售、健康、物流各板塊的廣泛使用，沉淀了相應(yīng)的行業(yè)解決方案。這次發(fā)布中，言犀智能體平臺(tái)預(yù)置了相關(guān)配置模版和插件，以及100多種行業(yè)解決方案，客戶用1分鐘即可構(gòu)建專屬智能體。

　　針對(duì)企業(yè)如何用好智能體，京東相關(guān)負(fù)責(zé)人建議，尤其要注意兩方面：一是要持續(xù)挖掘爆款，打造標(biāo)桿。比如，京東每周會(huì)根據(jù)數(shù)據(jù)，選拔智能體在官方市場(chǎng)上架，吸引更多人使用。“黑客馬拉松則再將其推高一個(gè)檔次，一浪高過一浪。”

　　另一則與平臺(tái)運(yùn)營相關(guān)。如何支撐成千上萬員工的應(yīng)用?一方面要建立有企業(yè)特色的類目體系，將成千上萬的智能體分好類，方便大家查找;另一是及時(shí)沉淀成熟解決方案，用戶可以直接使用。

　　智能體做出的AI原生應(yīng)用，給企業(yè)軟件市場(chǎng)也帶來變化。一些智能體直接替代了原有企業(yè)的SaaS軟件，一些則嵌入到SaaS系統(tǒng)中去。言犀智能體平臺(tái)也提供了簡單的應(yīng)用發(fā)布環(huán)節(jié)，企業(yè)可將搭建的智能體通過Web、API等方式，發(fā)布到內(nèi)部IM，如企業(yè)微信及協(xié)同辦公渠道。

　　業(yè)界看到，Agent目前仍然處于非常初級(jí)的階段，未來會(huì)產(chǎn)生更多意想不到的Agent能力，這有賴于長千上萬的企業(yè)應(yīng)用者。他們使用的過程，將是AI Agent進(jìn)化的過程。

　　02

　　智能體背后，大模型的鍛造流水線

　　言犀智能體平臺(tái)目前已接入數(shù)十個(gè)大模型。而這些模型，由言犀AI開發(fā)計(jì)算平臺(tái)輸送而來。在上海云峰會(huì)期間，言犀AI開發(fā)計(jì)算平臺(tái)全面升級(jí)到2.0，并根據(jù)大模型落地關(guān)鍵點(diǎn)，突出了其中的關(guān)鍵能力。

　　第一個(gè)能力是模型壓縮+模型拉升。從去年底開始，各家企業(yè)的主要精力，都是根據(jù)客戶的使用場(chǎng)景，在基礎(chǔ)大模型上裁剪、拉升出各種小模型。曹鵬介紹，這是因?yàn)榧幢憬?jīng)歷了軍備競賽式的投入，通用大模型到了真正的場(chǎng)景里，“仍差了那薄薄的一層紙，需要專門調(diào)優(yōu)”。而且不少場(chǎng)景要求模型反應(yīng)速度要快，推理成本要低，小模型的市場(chǎng)反而更大。

　　目前，企業(yè)一般是采用一個(gè)模型群組，來實(shí)現(xiàn)不同場(chǎng)景的應(yīng)用。這些模型群組，需要對(duì)通用大模型進(jìn)行萃取壓縮，以及灌注企業(yè)知識(shí)進(jìn)行放大而來。在言犀AI開發(fā)計(jì)算平臺(tái)上，用戶可通過零代碼方式，通過這樣的推和拉，能快速獲取到一個(gè)企業(yè)的專業(yè)模型。同時(shí)，推理的成本降低100%，速度提升1.5倍。

　　“目前業(yè)界通常分兩步走——壓縮和垂域模型微調(diào)。”京東人工智能業(yè)務(wù)部相關(guān)負(fù)責(zé)人說，但言犀AI開發(fā)計(jì)算平臺(tái)可在壓縮的過程中，將垂域知識(shí)灌注進(jìn)去。這也是京東廣泛采納的一個(gè)方案。

　　第二個(gè)能力是數(shù)據(jù)準(zhǔn)備。每個(gè)行業(yè)都有大量數(shù)據(jù)，包括多模態(tài)數(shù)據(jù)。這需要工具鏈具備極強(qiáng)的處理能力。

　　同時(shí)，過程數(shù)據(jù)的缺失，是業(yè)界落地大模型中，遇到的最大障礙。“比如我們看到一個(gè)癥狀，以及專家的處置建議，但并不知道專家的推理邏輯是什么。”京東健康相關(guān)負(fù)責(zé)人告訴數(shù)智前線，如果沒有推理邏輯，就解決不了幻覺問題。

　　“我們今天花了很大力氣，通過專家和大模型去補(bǔ)充。”一種是通過RAG的方式，這是當(dāng)下業(yè)界必不可少的技術(shù)，給模型文獻(xiàn)資料，讓它自動(dòng)化地捕捉推理鏈路;另一種通過專家來補(bǔ)充。工具平臺(tái)能不能幫專家團(tuán)隊(duì)提效，也是業(yè)界在拼的技術(shù)關(guān)鍵。

　　此外，大模型合成數(shù)據(jù)非�；鸨�。“如何在垂域合成數(shù)據(jù)，與種子數(shù)據(jù)比較貼近，團(tuán)隊(duì)也做了深入工作。”京東人工智能業(yè)務(wù)部相關(guān)負(fù)責(zé)人說。

　　第三個(gè)能力是模型評(píng)估。它包括通用能力評(píng)估以及垂域能力評(píng)估。針對(duì)通用大模型評(píng)測(cè)，市場(chǎng)上有一些不錯(cuò)的榜單，公開了代碼和評(píng)測(cè)數(shù)據(jù)集，可以自動(dòng)評(píng)測(cè)，直接出分。“要先保通用能力。如果沒有通用能力，就沒有垂域。”

　　至于垂域評(píng)測(cè)，京東在健康、零售等有評(píng)測(cè)數(shù)據(jù)集，用戶在調(diào)完模型后，也能再評(píng)測(cè)垂域。這也是自動(dòng)化的。當(dāng)然，也有一些人工評(píng)測(cè)，比如健康場(chǎng)景中人更懂業(yè)務(wù)，平臺(tái)也提供類似眾包的方式，讓大家參與評(píng)測(cè)。

　　在產(chǎn)業(yè)之中，構(gòu)建一個(gè)評(píng)測(cè)系統(tǒng)非常關(guān)鍵。“與其說怎么訓(xùn)練好一個(gè)垂域模型，不如有一個(gè)評(píng)測(cè)體系能告訴你，模型該往哪個(gè)方向去進(jìn)步，這件事情尤其重要。”除了工具平臺(tái)外，京東也搭建了評(píng)測(cè)團(tuán)隊(duì)，“這是我們的幕后英雄”。

　　03

　　AI大底座，加速大模型全場(chǎng)景落地

　　伴隨著大模型及智能體應(yīng)用到產(chǎn)業(yè)一線，業(yè)界發(fā)現(xiàn)，計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等底層基礎(chǔ)設(shè)施也需要適應(yīng)新局面，解決新挑戰(zhàn)。

　　最典型的一點(diǎn)，當(dāng)下產(chǎn)業(yè)端的大模型應(yīng)用實(shí)踐，要打造更開放的基礎(chǔ)設(shè)施平臺(tái)，比如支持多云、多芯、多活，能夠承接多種模型，從而滿足復(fù)雜的應(yīng)用場(chǎng)景和業(yè)務(wù)需求。

　　目前，多模態(tài)大模型的打造，需要的算力是之前的10倍甚至百倍。全球企業(yè)都有一個(gè)特點(diǎn)，基于異構(gòu)算力，來完成模型的訓(xùn)練、調(diào)用和推理，解決普遍面臨的算力緊缺并提升性價(jià)比。

　　除了計(jì)算，在存儲(chǔ)方面，模型訓(xùn)練高峰時(shí)段可能在數(shù)十秒內(nèi)就要處理 TB 級(jí)別的數(shù)據(jù)存儲(chǔ)，而傳統(tǒng)應(yīng)用中，這些海量小文件的處理任務(wù)，可分散在幾個(gè)月時(shí)間跨度里完成。這使得存儲(chǔ)產(chǎn)品必須朝向更高吞吐、更高IOPS、更高帶寬和更低延時(shí)進(jìn)化。“同樣的GPU算力規(guī)模下，存儲(chǔ)性能的高低，可能帶來模型訓(xùn)練周期3倍的差異。”曹鵬在演講中提到。

　　在Scaling law之下，超大規(guī)模集群對(duì)硬件間的網(wǎng)絡(luò)效率提出挑戰(zhàn)。不久前，馬斯克高調(diào)披露已建成10萬卡***超級(jí)算力中心，業(yè)界對(duì)背后的網(wǎng)絡(luò)架構(gòu)——英偉達(dá)Spectrum-X也極為關(guān)注。畢竟，穩(wěn)健、低延遲的網(wǎng)絡(luò)關(guān)乎到集群里的計(jì)算資源能否被充分利用。

　　這些動(dòng)向都表明，基礎(chǔ)設(shè)施關(guān)乎大模型的落地進(jìn)程。而在這場(chǎng)系統(tǒng)戰(zhàn)面前，廠商們需要構(gòu)建更強(qiáng)大的AI底座，才能加速大模型在全場(chǎng)景落地。

　　京東云峰會(huì)上，披露了京東云AI底座的最近演進(jìn)。如在高性能的存力方面，作為京東云自主研發(fā)的新一代存儲(chǔ)產(chǎn)品云海，歷經(jīng)了10余年京東自身復(fù)雜場(chǎng)景歷練，能提供大模型超大量數(shù)據(jù)傳輸所需的極致性能。

　　峰會(huì)上，全面升級(jí)到3.0版本的京東云云海，在吞吐、帶寬、延時(shí)等性能上進(jìn)一步提升，為大模型全面落地提供了更堅(jiān)實(shí)的支撐。云海也與所有主流國產(chǎn)化平臺(tái)兼容互認(rèn)。

　　據(jù)了解，目前京東云云海在建設(shè)銀行等重量級(jí)金融機(jī)構(gòu)中大模型訓(xùn)練中，提供了底層數(shù)據(jù)存儲(chǔ)的支撐。同時(shí)在上層應(yīng)用上，也通過數(shù)據(jù)要素的合作，幫助這些企業(yè)去做線上數(shù)字化轉(zhuǎn)型。

　　在算力層面，京東打造了云艦AI算力云平臺(tái)。它具備了對(duì)多元異構(gòu)算力資源的統(tǒng)一管理和調(diào)度能力，包括各類CPU、GPU和國產(chǎn)化AI加速芯片，支持多地域分布式算力的統(tǒng)一調(diào)度，提供高性價(jià)比的算力供給。

　　另外，vGPU池化方案，通過GPU異構(gòu)資源池化，能將AI算力利用率提升70%，可有效降低算力成本。行業(yè)普遍存在算力焦慮，這也是京東云提供的一種解法。

　　此外，京東云大模型安全可信平臺(tái)，涵蓋超過200種特有的紅藍(lán)對(duì)抗攻擊手法，覆蓋監(jiān)管合規(guī)要求的全部31類風(fēng)險(xiǎn)類型，風(fēng)險(xiǎn)分析準(zhǔn)確率高達(dá)95%以上。

　　針對(duì)大模型企業(yè)今年以來的價(jià)格戰(zhàn)，曹鵬提到，去年京東云峰會(huì)就提過要通過技術(shù)升級(jí)來降低成本，要全網(wǎng)比價(jià)，對(duì)標(biāo)主流云廠商的最低成交價(jià)再低10%。目前，京東云有超過100個(gè)產(chǎn)品規(guī)格通過比價(jià)售賣，并設(shè)立10億比價(jià)金，把技術(shù)帶來的紅利回饋給開發(fā)者群體。

　　總體而言，在2024京東云峰會(huì)中，京東通過發(fā)布從基礎(chǔ)設(shè)施、模型服務(wù)，再到智能體應(yīng)用的全棧產(chǎn)品，正加速與產(chǎn)業(yè)的融合，從而讓更多企業(yè)的大模型落地，通過業(yè)務(wù)跑出來。