科技創(chuàng)新浪潮奔涌,產(chǎn)業(yè)變革方興未艾。眼下技術(shù)迭代持續(xù)加速、產(chǎn)業(yè)邊界深度重構(gòu),高成長(zhǎng)企業(yè)正以澎湃動(dòng)能重塑全球產(chǎn)業(yè)格局。由清科創(chuàng)業(yè)、投資界、四川三江招商集團(tuán)共同主辦的“2025高成長(zhǎng)企業(yè)CEO大會(huì)”于6月18-20日舉辦。
本屆大會(huì)特別走進(jìn)中國(guó)科技城——綿陽(yáng),依托綿陽(yáng)作為國(guó)家戰(zhàn)略科技力量重要承載地的獨(dú)特優(yōu)勢(shì),以“智匯科技城·創(chuàng)變新未來(lái)”為主題,旨在匯聚前沿科技項(xiàng)目,構(gòu)建資本+產(chǎn)業(yè)落地的創(chuàng)新生態(tài)閉環(huán)。
會(huì)上,面壁智能聯(lián)合創(chuàng)始人&CEO李大海發(fā)表題為《高效大模型路徑探索》的主旨發(fā)言。
以下為演講實(shí)錄,
經(jīng)投資界(ID:pedaily2012)編輯:
非常高興能夠來(lái)到綿陽(yáng)參加今天的活動(dòng),綿陽(yáng)擁有非常深厚的科技底蘊(yùn),此行也學(xué)到很多東西。
面壁智能成立于2022年8月,名稱來(lái)源于劉慈欣《三體》小說(shuō)中的“面壁者計(jì)劃”,富有科技想象力。公司自創(chuàng)立之初即立志成為一家普惠型的通用人工智能(AGI)公司,希望未來(lái)的AGI技術(shù)人人可用、用得起,以此改善大眾生活。
從公司創(chuàng)業(yè)開始,團(tuán)隊(duì)始終專注于行業(yè)深耕,最早做模型訓(xùn)練,到推理框架,再到做智能體,在這個(gè)領(lǐng)域做了非常深的積累。2023年底,行業(yè)出現(xiàn)“百模大戰(zhàn)”情況,模型高度同質(zhì)化。團(tuán)隊(duì)在反思自身核心優(yōu)勢(shì)后,明確了“高效”是面壁智能的獨(dú)特標(biāo)簽。通過(guò)高效的訓(xùn)練和推理方法,面壁智能可在更小的參數(shù)規(guī)模下實(shí)現(xiàn)與大型模型相當(dāng)?shù)男Ч,并進(jìn)一步深入探討“高效”的本質(zhì)來(lái)源。
借鑒芯片行業(yè)的“計(jì)算密度”概念(即摩爾定律),我們提出了大模型領(lǐng)域“能力密度”的新指標(biāo),用以衡量單位參數(shù)下模型所具備的知識(shí)和能力。分析發(fā)現(xiàn),大模型的知識(shí)密度是每100天再提升一倍。相對(duì)于摩爾定律的18個(gè)月提升一倍,大模型100天迭代速度快了5倍。由此發(fā)現(xiàn)大模型的知識(shí)密度提升的速度是芯片計(jì)算密度的提升速度的5倍,這是一個(gè)非?斓淖兓俣。
面壁智能為何能做出更高效的大模型?這源自我們的核心壁壘,就是在端側(cè),F(xiàn)在大模型其實(shí)主要就是分云側(cè)跟端側(cè),在云側(cè),當(dāng)我們的模型的知識(shí)密度更高的時(shí)候,我們能夠取得更低的成本優(yōu)勢(shì),但是在當(dāng)前成本優(yōu)勢(shì)在云側(cè)并不是一個(gè)最重要的因素,因?yàn)楝F(xiàn)在大家更多的是看各種測(cè)試榜單,你是不是能夠做出一個(gè)更聰明、效果更好的大模型,這是大家最關(guān)注的問(wèn)題。很多大廠在競(jìng)爭(zhēng)的時(shí)候,他有非常充分的預(yù)算。它可以通過(guò)補(bǔ)貼的方式去把成本的劣勢(shì)給它填補(bǔ)掉,這樣競(jìng)爭(zhēng)的優(yōu)勢(shì)就是不明顯的。
但是在終端是不一樣的,我們?cè)诮K端上其實(shí)面臨非常多的限制,比如算力、功耗散熱、以及內(nèi)存的帶寬等,在這些限制下,大家是在同一個(gè)起跑線上,我的知識(shí)密度越高,我就能夠在同樣的設(shè)備上做出更聰明的模型,所以知識(shí)密度在端側(cè)有非常大的價(jià)值。
面壁智能自2023年底起開始聚焦端側(cè)大模型,主要分成基座大模型,多模態(tài)大模型和全模態(tài)大模型。今年1月,正式發(fā)布全球首個(gè)具備實(shí)時(shí)“看、聽、說(shuō)”能力的端側(cè)全模態(tài)模型。
今年 6 月,在北京智源大會(huì)上,我們發(fā)布了面壁小鋼炮4.0的模型MiniCPM 4.0,代號(hào)“前進(jìn)4”。這是我們公司的企業(yè)文化,特別喜歡去使用《三體》里面的各種各樣的元素去對(duì)產(chǎn)品和各種活動(dòng)進(jìn)行命名。上個(gè)月阿里千問(wèn)發(fā)了千問(wèn)3的一系列模型,我們通過(guò)長(zhǎng)上下文稀疏創(chuàng)新技術(shù),做到了長(zhǎng)文本推理速度要比他們快非常多,能夠最快實(shí)現(xiàn)200倍的速度提升。
其實(shí)在2023、2024年,云側(cè)大模型在月之暗面的帶領(lǐng)下已經(jīng)卷了一波長(zhǎng)上下文。今天我們?cè)诙藗?cè)也要開始對(duì)長(zhǎng)上下文進(jìn)行一個(gè)建設(shè),因?yàn)槎藗?cè)基座模型有了好的長(zhǎng)文本能力,才能夠有更多的空間和能力去讓大家去構(gòu)建更加智能、個(gè)性化的上層應(yīng)用。我們不僅速度快,效果也是非常好的,我們有個(gè)0.5B模型是同一尺寸下效果最好的模型,遠(yuǎn)好于像谷歌 Gemma 3 1B 模型。背后涉及的技術(shù)在這里不展開,重點(diǎn)給大家講講我們持續(xù)發(fā)端側(cè)基座模型背后的原因。
現(xiàn)在大家都關(guān)注Agent,好的Agent 要有好的模型支撐,才能實(shí)現(xiàn)更好的能力。MiniCPM 4.0能夠比較流暢使用15種主流應(yīng)用,將這些應(yīng)用跟我們端側(cè)能力結(jié)合在一起,能有非常好的體驗(yàn)。另外我們也做了一個(gè)類似Deep Research的產(chǎn)品——SurveyGo,把8B的模型放到PC上,能夠很好通過(guò)網(wǎng)上收到的資源去深入的分析,同時(shí)跟用戶本地的電腦上的私有文檔進(jìn)行結(jié)合分析,從而得到一個(gè)真正符合用戶個(gè)性化、可信、全面的Deep Research級(jí)別的報(bào)告。
端側(cè)模型擁有很高產(chǎn)業(yè)價(jià)值和廣闊應(yīng)用空間。端側(cè)模型與各類終端的結(jié)合不僅可以確保信息安全,保護(hù)用戶隱私,還可以提高服務(wù)可靠性,即使斷網(wǎng)也能保證服務(wù)運(yùn)行,并且在未來(lái)高需求趨勢(shì)下,能以很低的成本提供智能服務(wù)。未來(lái),面壁智能將持續(xù)打造同等參數(shù)下性能更高、成本更低的高效大模型,推動(dòng)「端側(cè)大腦」在千行百業(yè)規(guī)模化應(yīng)用。
在智能汽車領(lǐng)域,面壁智能將端側(cè)模型部署于智能座艙,使其成為汽車的大腦協(xié)同,實(shí)現(xiàn)與環(huán)境協(xié)同,為駕駛者帶來(lái)更智能、更人性化的出行體驗(yàn)。例如,通過(guò)艙外攝像頭識(shí)別施工路段后,系統(tǒng)可主動(dòng)提示關(guān)閉車窗、啟用內(nèi)循環(huán),降低揚(yáng)塵影響。這類應(yīng)用場(chǎng)景充分體現(xiàn)了端側(cè)模型在提升車輛交互與陪伴能力方面的獨(dú)特價(jià)值。
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...