Meta 公司攜手華盛頓大學(xué)和卡內(nèi)基梅隆大學(xué)，組建科研團(tuán)隊(duì)，合作開(kāi)發(fā)了 ExploreToM 框架，旨在更有效地評(píng)估和訓(xùn)練大語(yǔ)言模型(LLM)的心智理論(Theory of Mind，ToM)能力。

　　心智理論

　　心智理論(Theory of Mind，ToM)是人類(lèi)社會(huì)智能的基礎(chǔ)之一，能讓我們能夠理解他人的想法、意圖和信念。這種認(rèn)知能力對(duì)于有效的溝通和協(xié)作至關(guān)重要，是復(fù)雜社交互動(dòng)的支柱。

　　讓 AI 也具備 ToM 能力，對(duì)于創(chuàng)建能與人類(lèi)無(wú)縫互動(dòng)的智能體至關(guān)重要，只是當(dāng)前大型語(yǔ)言模型(LLM)在 ToM 方面仍面臨巨大挑戰(zhàn)。

　　現(xiàn)有的基準(zhǔn)通常缺乏復(fù)雜性和多樣性，導(dǎo)致高估模型能力。例如，許多基準(zhǔn)測(cè)試基于簡(jiǎn)單的預(yù)定義場(chǎng)景，無(wú)法復(fù)制人類(lèi)用來(lái)推斷心理狀態(tài)的復(fù)雜推理。

　　ExploreToM 框架

　　ExploreToM 通過(guò)生成多樣化、可擴(kuò)展的對(duì)抗性數(shù)據(jù)集，為提升 AI 的 ToM 能力奠定了堅(jiān)實(shí)基礎(chǔ)。該研究強(qiáng)調(diào)了當(dāng)前模型的局限性，以及高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì)于彌合這些差距的潛力。

　　在數(shù)據(jù)集方面，ExploreToM 利用 A* 搜索算法和特定領(lǐng)域語(yǔ)言生成多樣化、高難度的測(cè)試數(shù)據(jù)集，模擬復(fù)雜的社會(huì)情景，挑戰(zhàn) LLM 的認(rèn)知極限。

　　ExploreToM 與現(xiàn)有基準(zhǔn)測(cè)試不同，通過(guò)創(chuàng)建對(duì)抗性故事場(chǎng)景，旨在揭示 LLM 在 ToM 推理中的盲點(diǎn)。

　　此外該框架還引入了非對(duì)稱(chēng)信念更新機(jī)制，可以模擬不同角色對(duì)同一情況持有不同觀(guān)點(diǎn)的復(fù)雜社交互動(dòng)。

　　主流模型測(cè)試效果

　　GPT-4o 和 Llama-3.1-70B 模型在 ExploreToM 數(shù)據(jù)集上的準(zhǔn)確率分別只有 9% 和 0%，凸顯了現(xiàn)有 LLM 在處理復(fù)雜 ToM 推理方面的不足。

　　在 ExploreToM 數(shù)據(jù)上進(jìn)行微調(diào)后，模型在經(jīng)典 ToMi 基準(zhǔn)測(cè)試中的準(zhǔn)確率提高了 27 個(gè)百分點(diǎn)，證明了該框架的有效性。