最近，芯片獨角獸Groq宣布獲得D輪6.4億美元(約合人民幣45.86億元)融資，估值達到28億美元(約合人民幣200億元)。

　　本次融資由貝萊德旗下私募基金組合業(yè)務BlackRock Private Equity Partners領投，思科旗下投資基金Cisco Investments及三星電子旗下投資基金Samsung Catalyst Fund跟投。

　　Groq專做推理芯片，去年，Groq適配了Meta的大型語言模型LLaMA，使其能夠在自己的芯片上運行，而無需英偉達的芯片。

　　AI大模型分為訓練和推理兩個環(huán)節(jié)，需要用到訓練芯片和推理芯片�？梢岳斫鉃樽尨竽Ｐ�“成型”，用到訓練芯片，大模型建好了，讓它執(zhí)行命令、回答問題，用到推理芯片。

　　經(jīng)常在科技報道中看到，微軟、谷歌、Meta、xAI等公司囤積了很多英偉達GPU，如A100、A800、***，用來訓練大模型，這些都是訓練芯片，注重*的計算能力，要求很高、很貴。

　　而推理芯片更注重綜合指標，相對來說對性能的要求并不高，對精度要求也要更低，在特定的場景下，對通用性要求也低。

　　對于訓練芯片，企業(yè)愿意出最多的錢、砸性能*的芯片;而對于推理芯片，企業(yè)則會更多考慮芯片的能耗、成本，選用性價比*的。推理階段，就沒必要全用英偉達的，能省點是點，畢竟訓練階段已經(jīng)花了巨資。

　　在訓練芯片領域，目前能撼動英偉達的對手，還沒有，但是推理芯片領域，則有不少想挑戰(zhàn)英偉達。像AMD CEO蘇姿豐就堅信：未來大模型推理市場的規(guī)模將遠遠大于模型訓練市場(不“堅信”也不行啊，訓練芯片實在沒法跟英偉達搶市場)。

　　Groq創(chuàng)辦于2016年底，創(chuàng)始人喬納森·羅斯(Jonathan Ross)來自谷歌，是開發(fā)張量處理器(TPU)的關鍵成員，他設計并實現(xiàn)了TPU的核心功能。當年擊敗圍棋大師李世石的“阿爾法狗”用的就是TPU�？梢�，羅斯是真正的大佬級人物。

　　Groq的產(chǎn)品是“語言處理單元”(LPU)，據(jù)稱其推理速度相較于英偉達 GPU 提高了 10 倍，成本卻降低到十分之一。目前有超過 70000 名開發(fā)人員使用 GroqCloud 創(chuàng)建應用程序。使用Groq的LPU的小模型或中模型一秒鐘可以生成500-750個字段(token)，而ChatGPT一秒鐘只有40個。

　　注意看，LPU的部署場景非常有諸多限制，而英偉達的芯片雖然在一些特定指標上被Groq的LPU超過，但它是通用的，幾乎適應任何AI模型、AI任務，LPU做不到。而且，英偉達的CUDA平臺被開發(fā)者廣泛適應，再遷移去使用LPU的架構可能導致任務不穩(wěn)定。

　　今年 4 月，羅斯表示，Groq不再試圖直接向客戶銷售硬件，而是轉向向開發(fā)者提供云計算服務(GroqCloud)。這是因為客戶自己購買和設置 Groq 的芯片成本太高，風險太大。

　　而且Groq的LPU也不便宜，每塊卡的售價高達20000美元，只能用于推理。如果是垂直模型、行業(yè)模型，考慮到LPU的速度，單位成本可能比較劃算。

　　隨著這筆新資金的到位，Groq可能會在明年轉向4nm制造工藝，以支持更大的模型、增強通用性。羅斯說：“我們打算提供資源，讓任何人都能創(chuàng)造尖端的AI產(chǎn)品，而不僅僅是*的科技公司。這筆資金將使我們能夠在GroqCloud中再部署10萬多個LPU。”

　　Groq的融資，也是對中國的相關企業(yè)的間接鼓舞。中 美在生成式AI發(fā)展上雖然不完全同步，但方向基本一致，這波巨額融資說明高性能推理芯片的價值正在被更廣泛地認可。在中國，在推理芯片市場“國產(chǎn)化”浪潮中可能會有一波紅利。

　　西部證券在今年早些時候也認為，生成式AI的發(fā)展是一個不斷迭代升級的過程，隨著國內(nèi)生成式AI模型的質量持續(xù)提升，有望出現(xiàn)更多優(yōu)質應用，從而帶動推理算力需求快速上升。在推理場景下，算力的性價比顯得更為重要。在供給端有所限制的情況下，國產(chǎn)推理芯片有望受益于國內(nèi)生成式AI應用的落地，迎來重大發(fā)展機遇。