4月28日消息(九九)今天上午，以“算力網(wǎng)絡(luò)點(diǎn)亮AI新時(shí)代”為主題的中國(guó)移動(dòng)算力網(wǎng)絡(luò)大會(huì)在蘇州開幕。在大會(huì)主論壇上，中國(guó)工程院院士鄭緯民指出，人工智能對(duì)算力產(chǎn)生爆發(fā)式需求，模型研發(fā)、模型訓(xùn)練、模型精調(diào)、模型推理都需要算力，算力存在于大模型生命周期的每一環(huán)。

　　鄭緯民進(jìn)一步指出，構(gòu)建基于國(guó)產(chǎn)AI卡的萬(wàn)卡大模型訓(xùn)練平臺(tái)需要考慮到幾個(gè)問(wèn)題：

　　一是半精度運(yùn)算性能與雙精度運(yùn)算性能的平衡

　　設(shè)計(jì)中不僅要考慮半精度運(yùn)算性能，還要考慮雙精度運(yùn)算能力，雙精度與半精度運(yùn)算性能之比為1：50-100為宜。根據(jù)科學(xué)計(jì)算(AI For Science)和大模型訓(xùn)練的發(fā)展趨勢(shì)，提出了變精度平衡設(shè)計(jì)的思想，為適應(yīng)科學(xué)計(jì)算和更廣泛的AI算法和應(yīng)用提供了保障。

　　二是網(wǎng)絡(luò)平衡設(shè)計(jì)

　　網(wǎng)絡(luò)設(shè)計(jì)不能針對(duì)CNN算法，還需考慮極大規(guī)模預(yù)訓(xùn)練模型對(duì)系統(tǒng)的需求。大規(guī)模預(yù)訓(xùn)練模型需要高帶寬低延遲網(wǎng)絡(luò)。并支持?jǐn)?shù)據(jù)并行，模型并行和專家平行模式。

　　三是體系結(jié)構(gòu)感知的內(nèi)存平衡設(shè)計(jì)

　　一方面訪問(wèn)內(nèi)存的請(qǐng)求使網(wǎng)絡(luò)擁塞，降低吞吐量，反映到應(yīng)用程序上表現(xiàn)為訪存性能顯著下降;另一方面，多個(gè)訪問(wèn)內(nèi)存的請(qǐng)求可能訪問(wèn)同一存控對(duì)應(yīng)的內(nèi)存空間，負(fù)載不均，存控需要順序處理訪存請(qǐng)求。

　　四是IO子系統(tǒng)平衡設(shè)計(jì)

　　需要支持檢查點(diǎn)，增加SSD。另外，系統(tǒng)的本地nvme ssd僅通過(guò)本地文件系統(tǒng)訪問(wèn)，限制了其應(yīng)用范圍，需要將每臺(tái)服務(wù)器上的快速本地nvme整合成應(yīng)用可見的全局分布式文件系統(tǒng)。