IBM 研究發(fā)布了一項(xiàng)突破性的 LLM(大型語言模型)基準(zhǔn)測試方法，承諾將計(jì)算成本降低高達(dá)99%。傳統(tǒng)的基準(zhǔn)測試，如斯坦福的 HELM，需要耗費(fèi)超過一天的時間，并且成本高達(dá)1萬美元，這對開發(fā)人員和研究人員來說是一個昂貴的過程。隨著 LLMs 能力的增強(qiáng)，基準(zhǔn)測試的過程變得更加嚴(yán)格，需要大量的計(jì)算能力和時間。

　　IBM 的創(chuàng)新方法源自以色列的 IBM 研究實(shí)驗(yàn)室，由 Leshem Choshen 領(lǐng)導(dǎo)的團(tuán)隊(duì)開發(fā)了一種新方法，大幅降低基準(zhǔn)測試的成本。他們并非運(yùn)行全尺寸基準(zhǔn)測試，而是設(shè)計(jì)了一個使用原始基準(zhǔn)測試規(guī)模的1% 的 “微型” 版本。令人驚訝的是，這些微型基準(zhǔn)測試已被證明幾乎同樣有效，可以在98% 的準(zhǔn)確度內(nèi)估計(jì)出全尺寸測試的性能。

　　該團(tuán)隊(duì)利用人工智能從完整基準(zhǔn)測試中選擇最具代表性的問題，包含在微小版本中。這種選擇性方法確保較小的基準(zhǔn)測試仍然高度預(yù)測整體模型性能，消除了不貢獻(xiàn)有意義評估的冗余或無關(guān)緊要的問題。

　　IBM 的高效方法引起了 AI 社區(qū)的關(guān)注，尤其是在2023年 NeurIPS 的高效 LLM 比賽中。面臨使用有限計(jì)算資源評估大量模型的挑戰(zhàn)，組織者與 IBM 合作實(shí)施了一個名為 Flash HELM 的簡化基準(zhǔn)測試。這種高效方法使他們能夠迅速淘汰表現(xiàn)較差的模型，并將計(jì)算資源集中在最有前途的候選模型上，從而進(jìn)行及時和具有成本效益的評估。

　　Flash HELM 的成功展示了 IBM 高效基準(zhǔn)測試方法的潛力，促使其在 IBM 的 watsonx 平臺上評估所有 LLMs。成本節(jié)約可觀;例如，在像 HELM 這樣的基準(zhǔn)測試中評估 Granite13B 模型可能耗費(fèi)高達(dá)1000個 GPU 小時，但使用高效基準(zhǔn)測試方法顯著降低了這些成本。

　　高效基準(zhǔn)測試不僅降低成本，還通過允許更快速地迭代和測試新算法來加速創(chuàng)新。IBM 研究人員，包括 Youssef Mroueh 在內(nèi)，指出這些方法使得更快速、更經(jīng)濟(jì)的評估成為可能，促進(jìn)了更加靈活的發(fā)展過程。

　　這一概念已經(jīng)超出了 IBM 的范疇。斯坦福實(shí)施了 Efficient-HELM，這是其傳統(tǒng)基準(zhǔn)測試的簡化版本，為開發(fā)人員提供了選擇示例數(shù)量和希望分配的計(jì)算資源量的靈活性。這一做法強(qiáng)調(diào)了一個新興共識，即更大的基準(zhǔn)測試不一定意味著更好的評估。

　　“大型基準(zhǔn)測試不一定通過變得更大而增加價值，”Choshen 說。“這是我們的見解，我們希望它能夠引領(lǐng)更快速、更經(jīng)濟(jì)的 LLM 性能評估方法。”

　　IBM 的高效基準(zhǔn)測試方法代表了人工智能領(lǐng)域的重大進(jìn)步，為評估先進(jìn)語言模型所需的不斷增加的成本和資源需求提供了實(shí)際解決方案。