GPT-4 的心智理論，已經(jīng)超越了人類！

最近，約翰斯?霍普金斯大學(xué)的專家發(fā)現(xiàn)，GPT-4 可以利用思維鏈推理和逐步思考，大大提升了自己的心智理論性能。

在一些測(cè)試中，人類的水平大概是 87%，而 GPT-4，已經(jīng)達(dá)到了天花板級(jí)別的 100%！

此外，在適當(dāng)?shù)奶崾鞠?，所有?jīng)過(guò) RLHF 訓(xùn)練的模型都可以實(shí)現(xiàn)超過(guò) 80% 的準(zhǔn)確率。

讓 AI 學(xué)會(huì)心智理論推理

我們都知道，關(guān)于日常生活場(chǎng)景的問(wèn)題，很多大語(yǔ)言模型并不是很擅長(zhǎng)。

Meta 首席 AI 科學(xué)家、圖靈獎(jiǎng)得主 LeCun 曾斷言：「在通往人類級(jí)別 AI 的道路上，大型語(yǔ)言模型就是一條歪路。要知道，連一只寵物貓、寵物狗都比任何 LLM 有更多的常識(shí)，以及對(duì)世界的理解?！?/p>

也有學(xué)者認(rèn)為，人類是隨著身體進(jìn)化而來(lái)的生物實(shí)體，需要在物理和社會(huì)世界中運(yùn)作以完成任務(wù)。而 GPT-3、GPT-4、Bard、Chinchilla 和 LLaMA 等大語(yǔ)言模型都沒(méi)有身體。

所以除非它們長(zhǎng)出人類的身體和感官，有著人類的目的的生活方式。否則它們根本不會(huì)像人類那樣理解語(yǔ)言。

總之，雖然大語(yǔ)言模型在很多任務(wù)中的優(yōu)秀表現(xiàn)令人驚嘆，但需要推理的任務(wù)，對(duì)它們來(lái)說(shuō)仍然很困難。

而尤其困難的，就是一種心智理論（ToM）推理。

為什么 ToM 推理這么困難呢？

因?yàn)樵?ToM 任務(wù)中，LLM 需要基于不可觀察的信息（比如他人的隱藏心理狀態(tài)）進(jìn)行推理，這些信息都是需要從上下文推斷出的，并不能從表面的文本解析出來(lái)。

但是，對(duì) LLM 來(lái)說(shuō)，可靠地執(zhí)行 ToM 推理的能力又很重要。因?yàn)?ToM 是社會(huì)理解的基礎(chǔ)，只有具有 ToM 能力，人們才能參與復(fù)雜的社會(huì)交流，并預(yù)測(cè)他人的行動(dòng)或反應(yīng)。

如果 AI 學(xué)不會(huì)社會(huì)理解、get 不到人類社會(huì)交往的種種規(guī)則，也就無(wú)法為人類更好地工作，在各種需要推理的任務(wù)中為人類提供有價(jià)值的見解。

怎么辦呢？

專家發(fā)現(xiàn)，通過(guò)一種「上下文學(xué)習(xí)」，就能大大增強(qiáng) LLM 的推理能力。

對(duì)于大于 100B 參數(shù)的語(yǔ)言模型來(lái)說(shuō)，只要輸入特定的 few-shot 任務(wù)演示，模型性能就顯著增強(qiáng)了。

另外，即使在沒(méi)有演示的情況下，只要指示模型一步步思考，也會(huì)增強(qiáng)它們的推理性能。

為什么這些 prompt 技術(shù)這么管用？目前還沒(méi)有一個(gè)理論能夠解釋。

大語(yǔ)言模型參賽選手

基于這個(gè)背景，約翰斯?霍普金斯大學(xué)的學(xué)者評(píng)估了一些語(yǔ)言模型在 ToM 任務(wù)的表現(xiàn)，并且探索了它們的表現(xiàn)是否可以通過(guò)逐步思考、few-shot 學(xué)習(xí)和思維鏈推理等方法來(lái)提高。

參賽選手分別是來(lái)自 OpenAI 家族最新的四個(gè) GPT 模型 ——GPT-4 以及 GPT-3.5 的三個(gè)變體，Davinci-2、Davinci-3 和 GPT-3.5-Turbo。

· Davinci-2（API 名稱：text-davinci-002）是在人類寫的演示上進(jìn)行監(jiān)督微調(diào)訓(xùn)練的。

· Davinci-3（API 名稱：text-davinci-003）是 Davinci-2 的升級(jí)版，它使用近似策略優(yōu)化的人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)一步訓(xùn)練。

· GPT-3.5-Turbo（ChatGPT 的原始版本），在人寫的演示和 RLHF 上都進(jìn)行了微調(diào)訓(xùn)練，然后為對(duì)話進(jìn)一步優(yōu)化。

· GPT-4 是截至 2023 年 4 月的最新 GPT 模型。關(guān)于 GPT-4 的規(guī)模和訓(xùn)練方法的細(xì)節(jié)很少公布，然而，它似乎經(jīng)歷了更密集的 RLHF 訓(xùn)練，因此與人類意圖更加一致。

實(shí)驗(yàn)設(shè)計(jì)：人類與模型大 OK

如何考察這些模型呢？研究者設(shè)計(jì)了兩個(gè)場(chǎng)景，一個(gè)是控制場(chǎng)景，一個(gè)是 ToM 場(chǎng)景。

控制場(chǎng)景指的是一個(gè)沒(méi)有任何 agent 的場(chǎng)景，可以把它稱為「Photo 場(chǎng)景」。

而 ToM 場(chǎng)景，描述了參與某種情況的人的心理狀態(tài)。

這些場(chǎng)景的問(wèn)題，在難度上幾乎一樣。

人類

首先接受挑戰(zhàn)的，是人類。

對(duì)于每個(gè)場(chǎng)景，人類參與者都有 18 秒的時(shí)間。

隨后，在一個(gè)新的屏幕上會(huì)出現(xiàn)一個(gè)問(wèn)題，人類參與者通過(guò)點(diǎn)擊「是」或「否」來(lái)回答。

實(shí)驗(yàn)中，Photo 和 ToM 場(chǎng)景是混合的，并以隨機(jī)順序呈現(xiàn)。

舉個(gè)例子，Photo 場(chǎng)景的問(wèn)題如下 ——

情景：「一張地圖顯示了一樓的平面圖。昨天給建筑師發(fā)了一份復(fù)印件，但當(dāng)時(shí)廚房的門被遺漏了。今天早上，廚房門才被添加到地圖上?！?/p>

問(wèn)題： 建筑師的復(fù)印件上是否顯示了廚房的門？

ToM 場(chǎng)景的問(wèn)題如下 ——

情景：「高中舞會(huì)那天早上，Sarah 把她的高跟鞋放在裙子下面，然后就去購(gòu)物了。那天下午，她的姐姐借走了這雙鞋，后來(lái)把它們放在了 Sarah 的床下?！?/p>

問(wèn)題： 當(dāng) Sarah 回來(lái)后，她會(huì)認(rèn)為她的鞋子在裙子下面嗎？

測(cè)試結(jié)果是，人類在 Photo 場(chǎng)景的準(zhǔn)確率為（86%±4%），ToM 場(chǎng)景的準(zhǔn)確率為（87%±4%）。

LLM

因?yàn)?LLM 是個(gè)概率模型，因此研究者對(duì)每個(gè)模型 prompt 了 20 次。

問(wèn)題有 16 個(gè)場(chǎng)景，每個(gè)重復(fù) 20 次，因此 LLM 總共會(huì)被問(wèn) 320 個(gè)問(wèn)題。怎么定義準(zhǔn)確率呢？就是看正確答案占 320 個(gè)問(wèn)題的比例。

對(duì)于高中舞會(huì)的問(wèn)題，如果 LLM 做出如下回答，都算作正確。

示例 1：Sarah 去購(gòu)物前把鞋子放在裙子下面，但她姐姐借了鞋子后放在了 Sarah 的床底下。Sarah 不知道她姐姐借了她的鞋子，所以她可能會(huì)認(rèn)為鞋子還在她的衣服下面。

示例 2：Sarah 去購(gòu)物前把她的高跟鞋放在裙子下面，但她姐姐借了鞋子，后來(lái)把它們放在了 Sarah 的床底下。 所以，Sarah 不知道她姐姐借了又還了鞋子。 因此，答案是：是的，她會(huì)認(rèn)為她的鞋子在她的衣服下面。

示例 3：Sarah 可能會(huì)認(rèn)為她的鞋子還在她的裙子下面，因?yàn)槟鞘撬缟戏判牡胤健?/p>

示例 4：Sarah 去購(gòu)物前把她的高跟鞋放在裙子下面，這樣她就知道她把鞋子放在哪里了。 她姐姐借了這雙鞋，后來(lái)把它們放在 Sarah 的床底下，但 Sarah 還不知道。 所以，答案是：是的，Sarah 會(huì)認(rèn)為她的鞋子在衣服下面，除非她發(fā)現(xiàn)不是這樣。

示例 5：早上，Sarah 將她的高跟鞋放在裙子下面。 后來(lái)，她姐姐借了這雙鞋，把它們放在 Sarah 的床底下。 因此，當(dāng) Sarah 回來(lái)后，她可能會(huì)認(rèn)為她的鞋子還在她的衣服下面，但實(shí)際上它們?cè)谒拇驳紫隆?/p>

示例 6：基于這種情況，尚不清楚 Sarah 在回來(lái)時(shí)是否會(huì)認(rèn)為她的鞋子在裙子下面。 這要看她姐姐有沒(méi)有跟她說(shuō)借過(guò)鞋，并且放在床底下了。

如果 LLM 做出以下回答，則被判定為錯(cuò)誤。

示例 1：Sarah 早上把鞋子放在裙子下面，然后去購(gòu)物。 她姐姐借了鞋子，把它們放在 Sarah 的床底下。 所以，Sarah 不知道她的鞋子在床下面。 所以，答案是：不，Sarah 不認(rèn)為她的鞋子在她的衣服下面。

示例 2：不，Sarah 不認(rèn)為她的鞋子在她的衣服下面。

示例 3：首先，Sarah 早上把她的高跟鞋放在裙子下面。 然后，她姐姐借了這雙鞋，后來(lái)把它們放在了 Sarah 的床底下。 因此，Sarah 不會(huì)認(rèn)為她的鞋子在衣服下面，因?yàn)樗憬銊?dòng)過(guò)了。

示例 4：早上，Sarah 將她的高跟鞋放在裙子下面，然后去購(gòu)物了。 這意味著，當(dāng)她回到家時(shí)，她并沒(méi)有檢查鞋子是否還在衣服下面。 后來(lái)，她姐姐借了這雙鞋，把它們放在 Sarah 的床底下。 因此，Sarah 不能認(rèn)為她的鞋子是在裙子下面，因?yàn)樗鼈儽凰憬銊?dòng)過(guò)了。

示例 5：這個(gè)場(chǎng)景中沒(méi)有具體說(shuō)明 Sarah 是否認(rèn)為她的鞋子在衣服下面。

示例 6：Sarah 早上把她的高跟鞋放在裙子下面，然后她去購(gòu)物了。 她姐姐后來(lái)借了這雙鞋，把它們放在 Sarah 的床底下。 根據(jù)這些信息，尚不清楚 Sarah 在準(zhǔn)備跳舞時(shí)會(huì)不會(huì)認(rèn)為她的鞋子還在裙子下面。

為了衡量上下文學(xué)習(xí)（ICL）對(duì) ToM 表現(xiàn)的效果，研究者采用了四種類型的 prompt。

Zero-Shot（無(wú) ICL)

Zero-Shot+Step-by-Step Thinking

Two-Shot 思維鏈推理

Two-Shot 思維鏈推理 + Step-by-Step Thinking

實(shí)驗(yàn)結(jié)果

zero-shot 基線

首先，作者比較了模型在 Photo 和 ToM 場(chǎng)景中的 zero-shot 性能。

在 Photo 場(chǎng)景下，模型的準(zhǔn)確率會(huì)隨著使用時(shí)間的延長(zhǎng)而逐漸提高（A）。其中 Davinci-2 的表現(xiàn)最差，GPT-4 的表現(xiàn)最好。

與 Photo 理解相反，ToM 問(wèn)題的準(zhǔn)確性并沒(méi)有隨著模型的重復(fù)使用而單調(diào)地提高（B）。但這個(gè)結(jié)果并不意味著「分?jǐn)?shù)」低的模型推理性能更差。

比如，GPT-3.5 Turbo 在信息不足的時(shí)候，就更加傾向于給出含糊不清的回復(fù)。但 GPT-4 就不會(huì)出現(xiàn)這樣的問(wèn)題，其 ToM 準(zhǔn)確性也明顯高于其他所有模型。

prompt 加持之后

作者發(fā)現(xiàn)，利用修改后的提示進(jìn)行上下文學(xué)習(xí)之后，所有在 Davinci-2 之后發(fā)布的 GPT 模型，都會(huì)有明顯的提升。

首先，是最經(jīng)典的讓模型一步一步地思考。

結(jié)果顯示，這種 step-by-step 思維提高了 Davinci-3、GPT-3.5-Turbo 和 GPT-4 的表現(xiàn)，但沒(méi)有提高 Davinci-2 的準(zhǔn)確性。

其次，是采用 Two-shot 思維鏈（CoT）進(jìn)行推理。

結(jié)果顯示，Two-shot CoT 提高了所有用 RLHF 訓(xùn)練的模型（除 Davinci-2 以外）的準(zhǔn)確性。

對(duì)于 GPT-3.5-Turbo，Two-shot CoT 提示明顯提高了模型的性能，并且比一步一步思考更加有效。對(duì)于 Davinci-3 和 GPT-4 來(lái)說(shuō)，用 Two-shot CoT 帶來(lái)的提升相對(duì)有限。

最后，同時(shí)使用 Two-shot CoT 推理和一步一步地思考。

結(jié)果顯示，所有 RLHF 訓(xùn)練的模型的 ToM 準(zhǔn)確性都有明顯提高：Davinci-3 達(dá)到了 83%（±6%）的 ToM 準(zhǔn)確性，GPT-3.5-Turbo 達(dá)到了 91%（±5%），而 GPT-4 達(dá)到了 100% 的最高準(zhǔn)確性。

而在這些情況下，人類的表現(xiàn)為 87%（±4%）。

在實(shí)驗(yàn)中，研究者注意到這樣一個(gè)問(wèn)題：LLM ToM 測(cè)試成績(jī)的提高，是因?yàn)閺?prompt 中復(fù)制了推理步驟的原因嗎？

為此，他們嘗試用推理和照片示例進(jìn)行 prompt，但這些上下文示例中的推理模式，和 ToM 場(chǎng)景中的推理模式并不一樣。

即便如此，模型在 ToM 場(chǎng)景上的性能也提升了。

由此，研究者得出結(jié)論，prompt 能夠提升 ToM 的性能，并不僅僅是因?yàn)檫^(guò)度擬合了 CoT 示例中顯示的特定推理步驟集。

相反，CoT 示例似乎調(diào)用了一種涉及分步推理的輸出模式，是因?yàn)檫@個(gè)原因，才提高了模型對(duì)一系列任務(wù)的準(zhǔn)確性。

LLM 還會(huì)給人類很多驚喜

在實(shí)驗(yàn)中，研究者發(fā)現(xiàn)了一些非常有意思的現(xiàn)象。

1. 除了 davincin-2 之外，所有模型都能夠利用修改后的 prompt，來(lái)獲得更高的 ToM 準(zhǔn)確率。

而且，當(dāng) prompt 同時(shí)結(jié)合思維鏈推理和 Think Step-by-Step，而不是單獨(dú)使用兩者時(shí)，模型表現(xiàn)出了最大的準(zhǔn)確性提升。

2. Davinci-2 是唯一一個(gè)沒(méi)有通過(guò) RLHF 微調(diào)的模型，也是唯一一個(gè)沒(méi)有通過(guò) prompt 而提高 ToM 性能的模型。這表明，有可能正是 RLHF，使得模型能夠在這種設(shè)置中利用上下文提示。

3. LLM 可能具有執(zhí)行 ToM 推理的能力，但在沒(méi)有適當(dāng)?shù)纳舷挛幕?prompt 的情況下，它們無(wú)法表現(xiàn)出這種能力。而在思維鏈和逐步提示的幫助下，davincin-3 和 GPT-3.5-Turbo，都有了高于 GPT-4 零樣本 ToM 精度的表現(xiàn)。

另外，此前就有許多學(xué)者對(duì)于這種評(píng)估 LLM 推理能力的指標(biāo)有過(guò)異議。

因?yàn)檫@些研究主要依賴于單詞補(bǔ)全或多項(xiàng)選擇題來(lái)衡量大模型的能力，然而這種評(píng)估方法可能無(wú)法捕捉到 LLM 所能進(jìn)行的 ToM 推理的復(fù)雜性。ToM 推理是一種復(fù)雜的行為，即使由人類推理，也可能涉及多個(gè)步驟。

因此，在應(yīng)對(duì)任務(wù)時(shí)，LLM 可能會(huì)從產(chǎn)生較長(zhǎng)的答案中受益。

原因有兩個(gè)：首先，當(dāng)模型輸出較長(zhǎng)時(shí)，我們可以更公平地評(píng)估它。LLM 有時(shí)會(huì)生成「糾正」，然后額外提到其他可能性，這些可能性會(huì)導(dǎo)致它得出一個(gè)不確定的總結(jié)。另外，模型可能對(duì)某種情況的潛在結(jié)果有一定程度的信息，但這可能不足以讓它得出正確的結(jié)論。

其次，當(dāng)給模型機(jī)會(huì)和線索，讓它們系統(tǒng)性地一步一步反應(yīng)時(shí)，LLM 可能會(huì)解鎖新的推理能力，或者讓推理能力增強(qiáng)。

最后，研究者也總結(jié)了工作中的一些不足。

比如，在 GPT-3.5 模型中，有時(shí)推理是正確的，但模型無(wú)法整合這種推理來(lái)得出正確的結(jié)論。所以未來(lái)的研究應(yīng)該擴(kuò)展對(duì)方法 (如 RLHF) 的研究，幫助 LLM 在給定先驗(yàn)推理步驟的情況下，得出正確結(jié)論。

另外，在目前的研究中，并沒(méi)有定量分析每個(gè)模型的失效模式。每個(gè)模型如何失??？為什么失?。窟@個(gè)過(guò)程中的細(xì)節(jié)，都需要更多的探究和理解。

還有，研究數(shù)據(jù)并沒(méi)有談到 LLM 是否擁有與心理狀態(tài)的結(jié)構(gòu)化邏輯模型相對(duì)應(yīng)的「心理能力」。但數(shù)據(jù)確實(shí)表明，向 LLM 詢問(wèn) ToM 的問(wèn)題時(shí)，如果尋求一個(gè)簡(jiǎn)單的是 / 否的答案，不會(huì)有成果。

好在，這些結(jié)果表明，LLM 的行為是高度復(fù)雜和上下文敏感的，也向我們展示了，該如何在某些形式的社會(huì)推理中幫助 LLM。

所以，我們需要通過(guò)細(xì)致的調(diào)查來(lái)表征大模型的認(rèn)知能力，而不是條件反射般地應(yīng)用現(xiàn)有的認(rèn)知本體論。

總之，隨著 AI 變得越來(lái)越強(qiáng)大，人類也需要拓展自己的想象力，去認(rèn)識(shí)它們的能力和工作方式。

參考資料：

• https://arxiv.org/abs/2304.11490

本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。