作者:木沐

　　編譯:文刀

　　一份被意外泄露的谷歌內部文件，將Meta的LLaMA大模型“非故意開源”事件再次推到聚光燈前。

　　“泄密文件”的作者據悉是谷歌內部的一位研究員，他大膽指出，開源力量正在填平OpenAI與谷歌等大模型巨頭們數年來筑起的護城河，而最大的受益者是Meta，因為該公司2月意外泄露的LLaMA模型，正在成為開源社區(qū)訓練AI新模型的基礎。

　　幾周內，開發(fā)者與研究人員基于LLaMA搞起微調訓練，接連發(fā)布了Alpaca、Vicuna、Dromedary等中小模型，不只訓練成本僅需幾百美元，硬件門檻也降低至一臺筆記本電腦甚至一部手機，測試結果不比GPT-4差。

　　除了AI模型之外，FreedomGPT等類ChatGPT應用也如雨后春筍般涌現，基于LLaMa的“羊駝家族”不斷壯大，這位研究員認為，Meta很可能借此形成生態(tài)，從而成為最大贏家。

　　事實上，人工智能的世界里，的確有一部分進入了“安卓時刻”，這個部分就是開源社區(qū)。特斯拉前AI主管Andrej Karpathy評價開源社區(qū)中的AI進化時稱，他看到了“寒武紀大爆發(fā)的早期跡象”。

　　在AI競速的賽道上，奔跑的不只有科技巨頭，開源社區(qū)正在從小徑中涌入大道，成為人工智能開發(fā)層面不可忽視的力量。

　　LLaMa意外開源養(yǎng)出 “羊駝家族”

　　“我們沒有護城河，OpenAI 也沒有。”一篇來自Google 內部的文章在 SemiAnalysis 博客傳播，文章作者認為，Meta的LLaMa開源模型快速聚集起生態(tài)雛形，正在消除與GPT之間的差距，開源AI最終會打破 Google與OpenAI的護城河。

　　這篇文章讓人重新注意到了Meta的 LLaMA 大模型，該模型代碼被泄露后的2個月里意外成了開源社區(qū)訓練自然語言模型的基礎，還產生了諸多中小模型及應用。

　　時間回到今年2月24日，Meta推出大語言模型LLaMA，按參數量分為7B、13B、33B和65B四個版本。別看參數量遠遠不及GPT-3，但效果在AI圈內獲得了一些正面評價，尤其是能在單張GPU運行的優(yōu)勢。

　　Meta在官方博客中曾稱，像LLaMA這種體積更小、性能更高的模型，能夠供社區(qū)中無法訪問大量基礎設施的人研究這些模型，進一步實現人工智能大語言模型開發(fā)和訪問的民主化。

　　“民主化”來得異�？�。LLaMA推出一周后，一位名叫l(wèi)lamanon的網友在國外論壇4chan上以種子文件的方式上傳了7B和65B的LLaMA模型，下載后大小僅為 219GB。此后，這個種子鏈接被發(fā)布到開源社區(qū)GitHub，下載量超過千次。LLaMA就這樣被泄露了，但也因此誕生了諸多實驗成果。

　　最初，名叫 Georgi Gerganov 的開發(fā)者開源了一個名為llama.cpp的項目，他基于LLaMA 模型的簡易Python語言的代碼示例，手擼了一個純 C/C++ 語言的版本，用作模型推理。換了語言的最大優(yōu)勢就是研究者無需 GPU、只用 CPU能運行LLaMA模型，這讓大模型的訓練硬件門檻大大降低。

　　正如谷歌那位研究員寫得那樣，“訓練和實驗的門檻從一個大型研究機構的全部產出降低到1個人、1晚上和1臺性能強大的筆記本電腦就能完成。”在開發(fā)者的不斷測試下，LLaMA已經能夠在微型計算機樹莓派4和谷歌Pixel 6手機上運行。

　　開源社區(qū)的創(chuàng)新熱情也徹底點燃，每隔幾天都會有新進展，幾乎形成了一個“LLaMA(羊駝)生態(tài)”。

　　3月15日，斯坦福大學微調LLaMA后發(fā)布了Alpaca(美洲駝)模型，僅用了52K數據，訓練時長為3小時。研究者宣稱，測試結果與GPT-3.5不分伯仲，而訓練成本還不到600美元，在一些測試中，Alpace與GPT-3.5的獲勝次數分別為90對89。

　　隨后，加州大學伯克利分校、卡內基梅隆大學、加州大學圣地亞哥分校的研究人員又提出新的模型Vicuna(小羊駝)，也是基于LLaMa做出來的，訓練成本僅300美元。

　　在該項目的測評環(huán)節(jié)，研究人員讓GPT-4當“考官”，結果顯示，GPT-4在超過90%的問題中更強傾向于Vicuna的回答，并且Vicuna在總分上達到了ChatGPT的92%。

　　用GPT-4測評Vicuna與其他開源模型

　　短短幾周，基于LLaMa構建的“羊駝家族”不斷壯大。

　　4月3日，伯克利人工智能研究院發(fā)布了基于LLaMa微調的新模型 Koala(考拉)，訓練成本小于100美元，在超過一半的情況下與 ChatGPT 性能相當;5月4日，卡內基梅隆大學語言技術研究所、IBM 研究院與馬薩諸塞大學阿默斯特分校的研究者們，推出了開源自對齊語言模型Dromedary(單峰駱駝)，通過不到300行的人工標注，就能讓65B的LLaMA基礎語言模型在TruthfulQA(真實性基準)上超越GPT-4。

　　在國內，垂直醫(yī)療領域的 “羊駝家族”成員也出現了，哈爾濱工業(yè)大學基于LLaMa模型的指令微調，推出了中文醫(yī)學智能問診模型HuaTuo(華駝)，該模型能夠生成專業(yè)的醫(yī)學知識回答。

　　哈工大推出中文醫(yī)學智能問診模型HuaTuo(華駝)

　　基于該模型的開源創(chuàng)新不僅在大模型上，應用層也有多點開花之勢。

　　3月31日，AI公司Age of AI推出了語言模型FreedomGPT，正是基于斯坦福大學的Alpaca開發(fā)出來的;3月29日，加州大學伯克利分校在它的Colossal-AI基礎下發(fā)布了ColossalChat對話機器人，能力包括知識問答、中英文對話、內容創(chuàng)作、編程等。

　　從基礎模型層到應用層，基于LLaMa所誕生的“羊駝家族”還在一路狂奔。

　　由于被 “開源” 的 LLaMA 出自 Meta 之手，那位發(fā)文的谷歌研究員認為，Meta意外成了這場AI競爭中的最大受益者——借助開源社區(qū)的力量，Meta獲得了全世界頂級開發(fā)者的免費勞動力，因為大多數開源的 AI 創(chuàng)新都發(fā)生在他們的基礎架構內，因此，沒有什么能阻止 Meta將這些成果直接整合到他們的產品中。

　　開源力量觸發(fā)“AI的安卓時刻”

　　ChatGPT引爆AI熱后，英偉達的CEO黃仁勛將這股浪潮喻為“AI的iPhone時刻”，他認為，AI行業(yè)進入了如iPhone誕生顛覆手機行業(yè)時的革命性時間點。而當LLaMA開啟開源社區(qū)的小宇宙后，網友認為，“AI的安卓時刻”來了。

　　回顧過去，谷歌曾以開源思想讓更多的開發(fā)者參與到安卓應用生態(tài)的建設中，最終讓安卓成為電腦與手機的系統(tǒng)/應用主流。如今，LLaMA再次讓AI業(yè)內看到了開源力量的強大。

　　智能軟硬件件開發(fā)公司出門問問的CEO李志飛也注意到了谷歌這篇內部聲音：

　　“大模型這個領域，Google已經在聲勢上大幅落后于OpenAI。在開源生態(tài)上，如果Google再猶豫不決，后面就算想開源也會大幅度落后于Meta的LLaMA。相反，如果開源，可以把OpenAI的壁壘進一步降低，而且會吸引(或留住)很多支持開源的高級人才。”

　　特斯拉前AI主管Andrej Karpathy認為：

　　“當前開源大模型的生態(tài)之勢，已經有了寒武紀大爆發(fā)的早期跡象。”

　　確實，開發(fā)者對開源的AI模型前所未有的熱情正在從Github的打星量指標中溢出：Alpaca獲得了23.2k星，llama.cpp獲26.3k星，LLaMA獲20.8k星……而在“羊駝家族”之前，AutoGPT等開源項目也在Github擁有超高的人氣，突破100k星。

　　開發(fā)者對開源AI模型的打星量

　　此外，為了追趕 ChatGPT，構建大型開源社區(qū)的 AI 初創(chuàng)公司Hugging Face 也在近日推出了開源聊天機器人HuggingChat，該機器人的底層模型擁有300 億個參數，并對外開放了訓練數據集。英偉達 AI 科學家 Jim Fan認為，如果后續(xù)開發(fā)應用程序，Hugging Face將比 OpenAI 更具優(yōu)勢。

　　開源力量來勢洶洶，手握OpenAI的微軟也并不準備把雞蛋都放在一個籃子里。今年4月，微軟推出了開源模型DeepSpeed Chat，為用戶提供了 “傻瓜式” 操作，將訓練速度提升了15倍。

　　以LLaMA 為核心的AI開源社區(qū)正在平行空間中，與OpenAI等走閉源路線的大模型巨頭展開競速，開源思想與實踐中爆發(fā)出的創(chuàng)新力量已經不容巨頭小覷了。