近日，地平線成功在旭日3中的BPU®️計(jì)算單元上，部署運(yùn)行參數(shù)規(guī)模高達(dá)14億的大語(yǔ)言模型(Large Language Model , LLM)。這不僅是業(yè)界在端側(cè)成功部署大模型的一次突破性實(shí)踐，更驗(yàn)證了BPU®️對(duì)先進(jìn)神經(jīng)網(wǎng)絡(luò)算法的高效支持，為大模型在端側(cè)實(shí)現(xiàn)產(chǎn)品級(jí)應(yīng)用拓展了更廣闊的想象空間。

　　大模型端側(cè)部署的技術(shù)實(shí)踐對(duì)加速智能化產(chǎn)業(yè)變革具有重要意義。端側(cè)部署具備實(shí)時(shí)性、低時(shí)延優(yōu)勢(shì)，能夠靈活支持弱網(wǎng)或無(wú)網(wǎng)等豐富場(chǎng)景，為終端用戶提供更流暢、穩(wěn)定的交互體驗(yàn);同時(shí)端側(cè)支持信息本地化處理，可有效保護(hù)用戶數(shù)據(jù)與隱私安全;端側(cè)計(jì)算還將大幅緩解云端算力壓力，端云協(xié)同更會(huì)驅(qū)動(dòng)產(chǎn)業(yè)降本提效，加速實(shí)現(xiàn)大模型技術(shù)的應(yīng)用普惠。