最近，螞蟻開(kāi)源了兩項(xiàng)與大模型相關(guān)的新技術(shù):ATorch 和 Lookahead。

　　ATorch 是一個(gè)大模型分布式訓(xùn)練加速擴(kuò)展庫(kù)，可實(shí)現(xiàn)深度學(xué)習(xí)自動(dòng)資源動(dòng)態(tài)優(yōu)化和分布式訓(xùn)練穩(wěn)定性提升，可提升深度學(xué)習(xí)的智能性，千億模型千卡級(jí)別訓(xùn)練的算力利用率可達(dá)60%。

　　Lookahead 是一個(gè)推理加速框架，可以大幅提升大模型的推理效率，可將推理加速2-6倍。

　　ATorch 采用了分層架構(gòu)設(shè)計(jì)，功能清晰、設(shè)計(jì)全面，為開(kāi)發(fā)者提供極致精簡(jiǎn)的開(kāi)發(fā)體驗(yàn)。作為 PyTorch 框架的高性能擴(kuò)展加速庫(kù)，ATorch 最少化用戶代碼侵入，為千億參數(shù)大模型千卡級(jí)訓(xùn)練提供易用的高性能方案。在實(shí)踐中，ATorch 已經(jīng)在多個(gè)開(kāi)源模型的訓(xùn)練優(yōu)化實(shí)踐中表現(xiàn)出色，將算力利用率提升了很多，并且穩(wěn)定性也得到了顯著提升。ATorch 已集成到螞蟻集團(tuán)的大模型訓(xùn)練開(kāi)源產(chǎn)品 DLRover 中，讓大模型開(kāi)發(fā)者能夠更專注于模型架構(gòu)的設(shè)計(jì)，而無(wú)需處理工程方面的細(xì)節(jié)。

　　Lookahead 是一個(gè)推理加速框架，可以將推理加速2-6倍。通過(guò)采用多分支策略，Lookahead 能夠在一次前向過(guò)程中生成更多的 Token，進(jìn)一步壓榨硬件性能。此外，Lookahead 還利用 trie 樹(shù)存儲(chǔ)和檢索 Token 序列，并合并多條草稿中相同的父節(jié)點(diǎn)，提高計(jì)算效率。為了提高易用性，Lookahead 的 trie 樹(shù)構(gòu)建不依賴額外的草稿模型，只利用推理過(guò)程中的 prompt 及生成的回答進(jìn)行動(dòng)態(tài)構(gòu)建，降低了用戶的接入成本。