9月21日,華為云CTO張宇昕在華為全聯(lián)接大會2023主題演講中表示,大模型重塑千行萬業(yè)的背后,是眾多復(fù)雜的技術(shù)挑戰(zhàn),需要核心技術(shù)的持續(xù)創(chuàng)新和突破。華為云以全局的系統(tǒng)性創(chuàng)新,不斷攻堅克難,構(gòu)建AI時代最佳云底座。
張宇昕指出,隨著大模型出現(xiàn)能力涌現(xiàn)、多模態(tài)融合、MOE等趨勢,模型參數(shù)將從現(xiàn)在的5400億很快超過數(shù)萬億,對海量的穩(wěn)定算力、大規(guī)模并行訓(xùn)練、以及整體的架構(gòu)設(shè)計都提出了更高要求;同時,數(shù)據(jù)集規(guī)模和Token長度的激增也將帶來新的挑戰(zhàn)。這些挑戰(zhàn)相互影響、環(huán)環(huán)相扣,可以說大模型及相關(guān)應(yīng)用是迄今為止最復(fù)雜的軟硬件系統(tǒng)工程。
為應(yīng)對AI時代的挑戰(zhàn),華為云實現(xiàn)了軟硬件結(jié)合的系統(tǒng)性創(chuàng)新:
在系統(tǒng)架構(gòu)層,華為云QingTian架構(gòu)全新升級分布式QingTian架構(gòu),通過打破計算、存儲、網(wǎng)絡(luò)的邊界,把過去主從式架構(gòu)升級為對等架構(gòu),極大地提升了AI算力。
基于分布式QingTian架構(gòu),華為云昇騰AI云服務(wù)提供了算力集群、計算引擎CANN、AI開發(fā)框架MindSpore和AI開發(fā)平臺ModelArts,為大模型和AI應(yīng)用的開發(fā)、運行提供最佳算力服務(wù)。
在數(shù)據(jù)處理層,華為云提供云上全流程一站式能力,包括數(shù)據(jù)存儲、分析、共享、標注方案,讓企業(yè)實現(xiàn)大模型數(shù)據(jù)“找得到”“存得下”“記得住”“用得了”。
在AI云存儲方面,華為云獨創(chuàng)了具備220TB超大帶寬和微秒級超低時延的內(nèi)存服務(wù)EMS,以此支持NPU/GPU的內(nèi)存擴展,可以容納PB級超大規(guī)模參數(shù),讓參數(shù)存得下;同時,基于SFS Turbo文件存儲的大并發(fā)、高吞吐緩存服務(wù),可提供千萬級IOPS,將10億條數(shù)據(jù)和元數(shù)據(jù)的準備時間從100小時縮短至5小時,讓數(shù)據(jù)準備速度快;此外,基于OBS對象存儲構(gòu)建的低成本大容量知識湖服務(wù),通過深度歸檔、智能存儲分級和存儲管理統(tǒng)計平臺實現(xiàn)數(shù)據(jù)精細化管理,數(shù)據(jù)和向量的存儲TCO降低30%,讓海量數(shù)據(jù)存得起。
作為大模型的“超級外腦”,向量數(shù)據(jù)庫是AI時代的剛需產(chǎn)品。華為云GaussDB向量數(shù)據(jù)庫具備千億級大規(guī)模向量數(shù)據(jù)快速查詢更新的能力,檢索規(guī)模提升10倍,查詢時延<10ms,響應(yīng)速度提升2倍。另外,GaussDB向量數(shù)據(jù)庫具有千維查詢能力,查詢結(jié)果更精準,助力企業(yè)業(yè)務(wù)更智能。
榜單收錄、高管收錄、融資收錄、活動收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報生成中...