如果你在年前剛買了英偉達(dá)的股票,那么這個(gè)春節(jié)或許會(huì)過得不太開心,自從DeepSeek在1月20日正式發(fā)布DeepSeek-R1模型并開源后,英偉達(dá)的股價(jià)就在除夕節(jié)的前一天來了一次“自由落體”,從148美元的高位一度跌到116美元。
圖源:百度
很多報(bào)道都將英偉達(dá)的股價(jià)暴跌歸咎于“AI界拼多多”DeepSeek-R1模型,這倒也沒錯(cuò),因?yàn)镈eepSeek-R1以一種“蠻橫”的方式,打破了英偉達(dá)在AI算力層面的壟斷。不過,有人將其理解為DeepSeek-R1“不需要”英偉達(dá)顯卡,這顯然是錯(cuò)誤的,畢竟DeepSeek-R1的訓(xùn)練服務(wù)器用的也是英偉達(dá)計(jì)算卡,并不是和英偉達(dá)徹底割席。
其中的關(guān)鍵在于DeepSeek-R1是一個(gè)開源模型,采取的“蒸餾模型”對(duì)算力要求銳減,且不硬性綁定英偉達(dá)顯卡。在擺脫英偉達(dá)硬件束縛的情況下,仍然在推理性能等方面都表現(xiàn)出與ChatGPT-o1接近的能力,部分領(lǐng)域還有所超越。
簡(jiǎn)而言之,DeepSeek讓英偉達(dá)的高算力顯卡不再是AI的“必選項(xiàng)”,這相當(dāng)于給整個(gè)AI產(chǎn)業(yè)特別是中國(guó)AI產(chǎn)業(yè)注入了一劑強(qiáng)心針。但這對(duì)英偉達(dá)而言確實(shí)算不上是好消息,因?yàn)橛ミ_(dá)的高利潤(rùn),恰恰來源于AI生態(tài)的“割裂性”。
別名“CloseAI”,OpenAI從來都不Open
OpenAI的地位毋庸置疑,作為最早被廣泛認(rèn)知的AI大模型企業(yè),ChatGPT依然是頂流,并且也是所有AI大模型的對(duì)標(biāo)基準(zhǔn)。不過,雖然名字叫OpenAI,但是ChatGPT卻一點(diǎn)也不“Open”,甚至是對(duì)用戶使用限制最嚴(yán)格的AI之一。
比如,前段時(shí)間OpenAI就指責(zé)DeepSeek使用ChatGPT的數(shù)據(jù)進(jìn)行模型“蒸餾”,違反了用戶使用條例里的相關(guān)規(guī)定,不過最終因?yàn)闆]有證據(jù),相關(guān)爭(zhēng)議不了了之。OpenAI CEO對(duì)外表示并沒有起訴DeepSeek的計(jì)劃,并直言DeepSeek做得很棒。
DeepSeek引發(fā)的AI行業(yè)震動(dòng),也在讓OpenAI重新審視自己的AI模型開放策略,并重新評(píng)估開源模型的可能。
這對(duì)英偉達(dá)的打擊是致命的:ChatGPT幾乎就是與英偉達(dá)AI生態(tài)深度綁定的代名詞,你甚至可將其稱為英偉達(dá)CUDA生態(tài)的基石。
微軟等OpenAI的金主一直希望OpenAI可適配更多類型的顯卡,然而到目前為止,其只是適配了部分AMD顯卡,而且還需要通過轉(zhuǎn)譯等方式來運(yùn)行,效率和性能表現(xiàn)都遠(yuǎn)不如直接用英偉達(dá)的顯卡來運(yùn)行。
CUDA+ChatGPT,實(shí)質(zhì)上組成了一個(gè)封閉式的AI生態(tài),這讓需要頂級(jí)AI支持的企業(yè)不得不選擇與OpenAI及英偉達(dá)合作。在OpenAI的帶動(dòng)下,Claude、Gemini等AI大模型幾乎都與英偉達(dá)深度綁定。英偉達(dá)除了擁有性能遙遙領(lǐng)先的算力卡,CUDA完善的生態(tài)和開發(fā)工具鏈也是吸引AI開發(fā)者的法寶。
咋看下來,AI似乎以封閉為主?實(shí)則不然,諸如AMD的ROCm、Khronos Group的OpenCL等AI生態(tài)反而走的都是開源形式。畢竟在CUDA生態(tài)占優(yōu)的情況下,其他生態(tài)只能通過開源來增加自己的盟友。
DeepSeek才是OpenSeek,開源贏了?
日光之下沒有新事。
當(dāng)年P(guān)C產(chǎn)業(yè),微軟與Intel聯(lián)合制霸,組建了沿襲多年的“Win-Tel”聯(lián)盟,Windows生態(tài)負(fù)責(zé)消耗Intel的算力,Intel不斷升級(jí)制程推動(dòng)PC生態(tài)成熟與普及。歷史上甚至留下了“安迪比爾定律”這樣的名場(chǎng)面總結(jié),也就是“Andy gives, Bill takes away”(安迪提供什么,比爾拿走什么),安迪·格魯夫作為英特爾的CEO,致力于提升硬件性能,而比爾·蓋茨則通過微軟的操作系統(tǒng)和應(yīng)用程序不斷消耗這些性能,推動(dòng)用戶不斷升級(jí)硬件。
兩個(gè)巨頭,賺得缽滿盆滿;余下玩家,跟著喝湯。在Win-Tel封閉聯(lián)盟下,Unix、Linux等開源生態(tài)來吸納盟友。
今天的AI計(jì)算格局,像極了PC發(fā)展歷程。AI大模型的生態(tài)日益割裂,OpenAI與英偉達(dá)等頭部企業(yè)試圖用封閉來確保領(lǐng)先,迫使后來者以開源來進(jìn)行應(yīng)對(duì)。幾年來,開源生態(tài)都無法與CUDA的完整生態(tài)抗衡,時(shí)間上并沒有一個(gè)可與ChatGPT抗衡的AI模型出現(xiàn)。
2024年,百度CEO李彥宏甚至多次斷言,“開源模型會(huì)越來越落后。”他的理由是,基礎(chǔ)模型文心 4.0 可根據(jù)需要,兼顧效果、相應(yīng)速度、推理成本等各種考慮,剪裁出適合各種場(chǎng)景的更小尺寸模型,并且支持精調(diào)和 post pretrain。這樣通過降維剪裁出來的模型,比直接用開源模型調(diào)出來的模型,同等尺寸下,效果明顯更好;同等效果下,成本明顯更低。
對(duì)此,周鴻祎持反對(duì)意見,他認(rèn)為“沒有開源就沒有 Linux、沒有互聯(lián)網(wǎng),甚至包括我們自己借助了開源技術(shù)才能發(fā)展至今”。他還預(yù)言,在未來一到兩年內(nèi),開源技術(shù)的力量很可能會(huì)超過閉源技術(shù)。
觀點(diǎn)不重要,重要的是結(jié)果。橫空出世的DeepSeek,證明了開源的力量——這里雷科技要PS一下(杠精勿杠):DeepSeek不是代碼開源,其只開源了部分推理代碼和模型權(quán)重,完整的訓(xùn)練框架、系統(tǒng)代碼、數(shù)據(jù)處理等都沒有開源。不過,行業(yè)公認(rèn)它依然是開源路線下的AI產(chǎn)物,其開源程度足以讓外界學(xué)習(xí),給AI企業(yè)甚至AI巨頭啟發(fā)。
不是第一個(gè)開源的,為何DeepSeek贏了?
在DeepSeek前,市場(chǎng)上并不缺少高質(zhì)量的開源AI大模型,比如Meta的Llama、阿里的Qwen等,但是在高質(zhì)量AI模型里,只有DeepSeek選擇了MIT+類OpenRAIL的授權(quán)方式進(jìn)行開源。
圖源:deepseek
簡(jiǎn)單來說,DeepSeek允許第三方對(duì)其代碼進(jìn)行自由使用、修改、復(fù)制和分發(fā)代碼,只要保留原作者的版權(quán)聲明和許可證聲明即可,這幾乎是開源生態(tài)中最「Open」的協(xié)議。
目前DeepSeek開源社區(qū)已有多個(gè)開發(fā)者上傳數(shù)十款不同顯卡的算子庫。簡(jiǎn)單來說,DeepSeek做好了一個(gè)底層,并搭好了一個(gè)基于英偉達(dá)顯卡的基礎(chǔ)模板,同時(shí)給出了基礎(chǔ)版的異構(gòu)部署方案,「舞臺(tái)搭好了,現(xiàn)在請(qǐng)各位開始你們的表演」。
在MIT開源協(xié)議的基礎(chǔ)上,第三方可根據(jù)需要隨意修改DeepSeek的運(yùn)行代碼,使其適配不同的硬件設(shè)備,這是DeepSeek-R1普及的第一個(gè)撒手锏(關(guān)于DeepSeek如何重新定義AI硬件掀起“DeepSeek硬件”潮流,雷科技已進(jìn)行系列分析和報(bào)道,歡迎全網(wǎng)搜索查看)。
第二個(gè)撒手锏則是跨平臺(tái)的API封裝,如果你研究過DeepSeek-R1的部署代碼,會(huì)發(fā)現(xiàn)DeepSeek將CUDA、ROCm、OpenCL等底層指令都封裝為統(tǒng)一接口,這意味著開發(fā)者無需修改代碼就可在不同的AI硬件之間遷移模型。
為了更好地適配不同硬件生態(tài),DeepSeek從底層開始對(duì)AI大模型和代碼進(jìn)行優(yōu)化,并引入了即時(shí)編譯技術(shù),讓AI模型可根據(jù)顯卡類型動(dòng)態(tài)生成最優(yōu)計(jì)算圖,使得不同的計(jì)算設(shè)備,都可高效運(yùn)行DeepSeek模型。
看起來似乎并不難,為什么此前沒有其他AI企業(yè)嘗試使用即時(shí)編譯技術(shù),實(shí)現(xiàn)廣泛的硬件適配呢?原因出在代碼上。DeepSeek為解決H800顯卡性能不足以及跨芯片通信的瓶頸問題,最終選擇繞過CUDA和C/C++,從更底層的PTX開始編碼。
你可以將PTX理解為一種接近匯編語言的玩意。開發(fā)者可通過PTX編寫指令,直接調(diào)動(dòng)硬件來運(yùn)行AI。PTX雖是英偉達(dá)AI生態(tài)的一部分,但是并不針對(duì)特定的GPU運(yùn)行,因此將其轉(zhuǎn)譯為其他硬件平臺(tái)的指令后會(huì)遠(yuǎn)比以往更高效和方便。
圖源:Codeplay
簡(jiǎn)單地說,你可以將AI理解為一個(gè)項(xiàng)目組:用戶是公司的CEO,CUDA是項(xiàng)目組的管理人員,PTX是組員(實(shí)際上有更底層的干活人員)。在正常的流程中,你想執(zhí)行一個(gè)項(xiàng)目,需要先告訴CUDA你的需求,然后CUDA將其分解成不同的工作內(nèi)容再轉(zhuǎn)給PTX讓“組員”執(zhí)行,這時(shí)候你的公司效率就取決于CUDA的數(shù)量與能力。
DeepSeek則制定了一個(gè)新的工作流程:你可與PTX更扁平地溝通,將工作直接分配到干活的人,相當(dāng)于越過其中一個(gè)步驟,對(duì)整個(gè)流程進(jìn)行提效。從DeepSeek公布的論文來看,他們成功地將流處理器(CUDA)的寄存器使用率從78%提升至92%、計(jì)算單元閑置時(shí)間減少40%、全局內(nèi)存訪問延遲從600周期降至450周期,從而實(shí)現(xiàn)了算力效率的暴漲和算力成本的暴跌。
在更基礎(chǔ)的代碼系統(tǒng)支持下,DeepSeek的AI模型在轉(zhuǎn)譯時(shí)也擁有更高的效率,并且可在一定程度上繞開CUDA的限制,進(jìn)而適配不同的硬件。實(shí)際上,已有很多人通過CPU來復(fù)現(xiàn)DeepSeek的AI模型部署,借助虛擬顯存等技術(shù),將內(nèi)存轉(zhuǎn)為顯存,利用核顯算力來驅(qū)動(dòng)模型,極大地降低了AI大模型的部署門檻和成本。
DeepSeek的創(chuàng)新還有許許多多,比如混合顯卡集群調(diào)度算法的優(yōu)化、邊緣設(shè)備適配優(yōu)化、梯度累積顯存壓縮等一系列技術(shù),使其可以更好地適配多顯卡系統(tǒng)。
前幾天小雷在朋友圈看到一個(gè)段子,英偉達(dá)、DeepSeek們最大的壁壘,除了自身足夠強(qiáng)大外, 也與“這個(gè)世界會(huì)匯編語言的人越來越少”有關(guān)。因?yàn)橛ミ_(dá)的CUDA以及DeepSeek需要使用類匯編語言級(jí)能力開發(fā).
很多人都忽略了DeepSeek的軟件開發(fā)能力。想從PTX層面對(duì)代碼進(jìn)行優(yōu)化,難度無異于使用匯編語言對(duì)系統(tǒng)內(nèi)核進(jìn)行編程,這是只有極少數(shù)頂層開發(fā)者具備的編程能力,其復(fù)雜度相當(dāng)于手繪一部《黑神話悟空》一樣。正是因?yàn)橛兄鴱?qiáng)大的開發(fā)能力,DeepSeek才可與合作伙伴(如AMD、華為)深度合作,針對(duì)性優(yōu)化推理效率。
在小雷看來,DeepSeek給行業(yè)帶來的啟發(fā)不只是“蒸餾”等模型實(shí)現(xiàn)本身,它還展示了繞過CUDA等老生態(tài),從更底層的代碼對(duì)AI大模型進(jìn)行重構(gòu)的巨大潛力,很可能會(huì)在行業(yè)掀起一股模仿潮流,讓更多AI公司用匯編語言來進(jìn)行底層優(yōu)化。
掀起多層變革,DeepSeek真正改變了世界
在雷科技看來,DeepSeek給AI行業(yè)帶來的變革是深刻的:
1、史無前例“便宜”的AI讓AI有了工業(yè)化大生產(chǎn)的基礎(chǔ),給大規(guī)模商業(yè)化的AI產(chǎn)品如AI搜索的PMF(產(chǎn)品市場(chǎng)契合度)創(chuàng)造了可能,這很重要;ヂ(lián)網(wǎng)有Google等現(xiàn)象級(jí)應(yīng)用,移動(dòng)互聯(lián)網(wǎng)有iPhone、微信等現(xiàn)象級(jí)產(chǎn)品,4G有抖音/TikTok等殺手級(jí)應(yīng)用。如果一直沒有全民級(jí)的AI殺手锏應(yīng)用,AI產(chǎn)業(yè)終將是越吹越大的泡沫,遲早會(huì)破。
(圖源:DeepSeek官網(wǎng))
2、突破了英偉達(dá)在AI算力領(lǐng)域的封鎖,突破了“OpenAI+英偉達(dá)”的制霸聯(lián)盟,讓更多軟件AI開發(fā)者與芯片開發(fā)者可以抓住和推動(dòng)AI浪潮,而這將進(jìn)一步影響1。深層來看,DeepSeek也將助力世界各國(guó)突破美國(guó)在AI產(chǎn)業(yè)的制霸野心,讓好的技術(shù)成為人人可用的工具,讓所有主體在AI面前人人平等。
3、開源力量的勝利,將讓AI產(chǎn)業(yè)進(jìn)行百家爭(zhēng)鳴的創(chuàng)新階段。DeepSeek為AI行業(yè)提供了一個(gè)全新的開源范式,并且直觀地展現(xiàn)了開源所帶來的收益和效果。從閉源到開源,這或許就是AI生態(tài)的一個(gè)里程碑式的轉(zhuǎn)折點(diǎn)。高手在民間,真正的創(chuàng)新一定來自于成敗上千萬的開發(fā)者,而不是少數(shù)巨頭。
毫無疑問,華麗出水的DeepSeek和它的團(tuán)隊(duì),在這個(gè)春節(jié)期間驚艷了世人,也真正意義上改變了世界。
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...