新智元報道  

編輯：編輯部

【新智元導(dǎo)讀】谷歌放出的 Gemini，在對標(biāo) GPT 的道路上似乎一直處于劣勢，Gemini 真的比 GPT-4 弱嗎？最近，斯坦福和 Meta 的學(xué)者發(fā)文為 Gemini 正名。

Gemini 的推理能力，真的比 GPT-4 弱嗎？

此前，谷歌憋出的重磅復(fù)仇神器 Gemini Pro，被發(fā)現(xiàn)在常識推理任務(wù)中落后于 OpenAI 的 GPT 模型。

之后又有 CMU 發(fā)布的論文和實驗，證明 Gemini Pro 的很多能力都略微落后于 GPT-3.5 Turbo。

不過最近，斯坦福和 Meta 的學(xué)者為 Gemini 洗清了這一「冤屈」。

他們發(fā)現(xiàn)，這種基于有限數(shù)據(jù)集（HellaSWAG）的評估，并不能完全捕捉到 Gemini 真正的常識推理潛力。

而在新測試集中，Gemini 的推理能力比之前強很多！

Gemini 的真正潛力

斯坦福和 Meta 的研究人員表示，以前的基于有限數(shù)據(jù)集的評估，對于 Gemini 不夠公平。

這次，研究人員設(shè)計了需要跨模態(tài)整合常識知識的任務(wù)，以對 Gemini 在復(fù)雜推理任務(wù)中的表現(xiàn)進行徹底的評估。

研究人員對 12 個常識推理數(shù)據(jù)集進行了全面分析，從一般任務(wù)到特定領(lǐng)域的任務(wù)。

在其中的 4 個 LLM 實驗和 2 個 MLLM 實驗中，研究者證明了 Gemini 具有目前相當(dāng)強的常識推理能力。

研究者對于當(dāng)前流行的四大模型 ——Llama 2-70b、Gemini Pro、GPT-3.5 Turbo 和 GPT-4 Turbo 進行了評估，

他們發(fā)現(xiàn)，總體而言，Gemini Pro 的性能和 GPT-3.5 Pro 相當(dāng)，準(zhǔn)確性上落后于 GPT-4 Turbo。

實驗

數(shù)據(jù)集

實驗中采用了 12 個與不同類型的常識推理相關(guān)的數(shù)據(jù)集，包括 11 個基于語言的數(shù)據(jù)集和一個多模態(tài)數(shù)據(jù)集。

基于語言的數(shù)據(jù)集包括三大類常識推理問題：

1.一般推理和情境推理：CommonsenseQA，側(cè)重于一般常識知識；Cosmos QA，強調(diào)語境理解敘事；αNLI，引入演繹推理，包括推斷最合理的解釋；HellaSWAG，以上下文事件序列的推理為中心。

2.專業(yè)推理和知識推理：TRAM，測試關(guān)于時間的推理；NumerSense，側(cè)重于數(shù)值理解；PIQA，評估物理相互作用知識；QASC，處理與科學(xué)相關(guān)的推理；RiddleSense，通過謎語挑戰(zhàn)創(chuàng)造性思維。

3.社會和道德推理：Social IQa，測試對社會互動的理解；ETHICS，評估道德和倫理推理。

對于多模態(tài)數(shù)據(jù)集（視覺和語言），這里選擇 VCR，一個用于認(rèn)知水平視覺理解的大規(guī)模數(shù)據(jù)集。

對于包含多個任務(wù)的 TRAM 和 ETHICS 等數(shù)據(jù)集，研究人員提取了實驗的常識推理部分。

實驗中采用準(zhǔn)確性作為所有數(shù)據(jù)集的性能指標(biāo)。下表給出了數(shù)據(jù)集的概述以及示例問題。

模型

采用最流行的四個大模型：開源的 Llama-2-70b-chat 和閉源的 Gemini Pro、GPT-3.5 Turbo、GPT-4 Turbo。

每個模型都使用相應(yīng)的 API 密鑰進行訪問：通過 Google Vertex AI 訪問 Gemini，通過 OpenAI API 訪問 GPT，通過 DeepInfra 訪問 Llama2。

對于多模態(tài)數(shù)據(jù)集，實驗中考慮了 GPT-4V（API 中的 gpt-4-vision-preview）和 Gemini Pro Vision（API 中的 gemini-pro-vision）。

考慮到 API 成本和速率的限制，研究人員從每個基于語言的數(shù)據(jù)集的驗證集中隨機選擇了 200 個示例，從 VCR 數(shù)據(jù)集的驗證集中隨機選擇了 50 個示例。

對于所有評估，在模型響應(yīng)生成期間采用貪婪解碼（即溫度 = 0）。

提示

在評估基于語言的數(shù)據(jù)集時，研究人員采用了兩種提示設(shè)置：零樣本標(biāo)準(zhǔn)提示（SP），旨在衡量模型在語言環(huán)境中的固有常識能力，以及少樣本思維鏈（CoT）提示，用于觀察模型性能的潛在增強。

對于多模態(tài)數(shù)據(jù)集，利用零樣本標(biāo)準(zhǔn)提示，來評估 MLLM 的端到端視覺常識推理能力。

結(jié)果

整體的性能比較結(jié)果如下表所示：

從模型的角度來看，GPT-4 Turbo 的平均表現(xiàn)最好。在零樣本學(xué)習(xí)中，它比第二名的 Gemini Pro 高出 7.3%，在少樣本學(xué)習(xí)中優(yōu)勢更大（9.0%）。

而 Gemini Pro 的平均準(zhǔn)確率略高于 GPT-3.5 Turbo（0-shot，SP 下高 1.3%，k-shot，CoT 下高 1.5%）。

關(guān)于提示方法，CoT 提高了所有數(shù)據(jù)集的性能，在 CommonsenseQA、TRAM 和 Social IQa 等數(shù)據(jù)集中有明顯的收益。

下表是在多模態(tài) VCR 數(shù)據(jù)集上的性能比較：

VCR 的三個子任務(wù)分別為：Q → A，根據(jù)視覺上下文生成問題的答案；QA → R，要求模型為給定的答案提供基本原理；Q → AR，既要回答問題，又要用適當(dāng)?shù)睦碛蓙碜C明回答的合理性。

將 11 個基于語言的數(shù)據(jù)集分為三組，在圖 1 中展示了每組中每種設(shè)置的性能。

研究結(jié)果表明，GPT-4 Turbo 在所有類別的性能方面始終領(lǐng)先。

Gemini Pro 和 GPT-3.5 Turbo 的性能相當(dāng)；不過，Gemini Pro 在三個類別中的兩個類別中，略勝于 GPT-3.5 Turbo。

總體而言，所有模型在處理社會和道德推理數(shù)據(jù)集方面，都表現(xiàn)出強大的能力。

然而，它們在一般推理和語境推理任務(wù)上的表現(xiàn)，存在顯著差異。

這也表明，它們對更廣泛的常識原則，及其在不同背景下的應(yīng)用理解，存在潛在差距。

而在專業(yè)和知識推理類別，特別是在時間和基于謎語的挑戰(zhàn)領(lǐng)域，模型在處理復(fù)雜時間序列、破譯謎語所需的抽象和創(chuàng)造性思維能力上，都表現(xiàn)出了缺陷。

關(guān)于多模態(tài)數(shù)據(jù)集，圖 2 詳細(xì)介紹了 GPT-4V 和 GeminiPro Vision 在不同問題類型上的性能比較。

我們可以看到，在最后一個關(guān)于時間類別的問題上，GeminiPro Vision 實現(xiàn)了反超。

MLLM 的推理正當(dāng)性

為了評估 MLLM 的推理能力，尤其是不僅提供正確答案，還能就常識問題提供合理且基于上下文推理的能力，研究者采用了系統(tǒng)抽樣方法。

對于評估四個 LLM 的 11 個基于語言的數(shù)據(jù)集，研究者隨機選擇了 30 個回答正確的問題，和 30 個回答錯誤的問題。

如果數(shù)據(jù)集提供的錯誤答案少于 30 個，研究者就會包含進所有可用的錯誤答案，以確保分析的全面性。

選擇這些問題后，他們會讓每個模型解釋：「問題答案背后的基本原理是什么?」 然后手動檢查模型提供的推理過程，并根據(jù)其邏輯合理性和與問題的相關(guān)性被判為 True 或 False。

圖 3 顯示，GPT-4 Turbo 在正確和錯誤的答案上，都顯示出先進的推理機制，即使最終答案不準(zhǔn)確，它也有保持邏輯連貫的能力。

另外，Gemini Pro 也表現(xiàn)出了值得稱贊的推理能力，提供了全面的常識推理方法。

下圖展示了 Gemini Pro 和 GPT-3.5 的兩個真實示例，展現(xiàn)了正確答案和正確理由，以及錯誤答案和錯誤理由的情況。

示例問題來自 QASC 數(shù)據(jù)集，紅色粗體為正確答案。在上圖中，Gemini Pro 表現(xiàn)出有條不紊的推理，仔細(xì)考慮所有選項以得出最合乎邏輯的結(jié)論。

相反，由于 GPT-3.5 Turbo 對非常規(guī)邏輯的傾向，導(dǎo)致了富有想象力但不正確的答案。

這表明不同模型應(yīng)對常識推理任務(wù)的不同策略，有自己的獨特能力和局限性。

Gemini Pro 的常識推理能力

一般常識（CommonsenseQA)

在使用 CommonsenseQA 數(shù)據(jù)集的一般常識評估中，有這樣一道示例問題：「當(dāng)你是陌生人時，人們會怎樣?」

A.火車  B.奇怪  C.人類  D.愚蠢  E.危險

Gemini Pro 選擇了 B。

它的推理過程也值得注意：它認(rèn)識到，雖然所有選項都和「陌生人」的概念相關(guān)，但只有「奇怪」準(zhǔn)確概括了問題的中立和開放性本質(zhì)。

這個選擇，凸顯出了 Gemini Pro 解釋和應(yīng)用一般常識知識的能力。

時間（TRAM）

TRAM 數(shù)據(jù)集的時間常識評估中的示例問題：「他還承諾會來找他?！?/p>

他需要多長時間才能「來到他身邊」？

A.100 年  B.一分鐘內(nèi) C.幾個小時

由于缺乏足夠的背景信息，特別是關(guān)于所涉及的身份和「來到」的含義，Gemini Pro 無法提供明確的答案。

這說明了，模型需要依賴特定的上下文信息，來做出準(zhǔn)確的時間判斷。

在現(xiàn)實世界的信息傳播中，模糊或不完整的信息，也會造成這種局限性。

社交 (Social IQa)

在使用 Social IQa 數(shù)據(jù)集評估 GeminiPro 在社會常識推理方面的表現(xiàn)時，出現(xiàn)了一個有趣的場景: 人們一直欺負(fù)在 Sasha，Sasha 報復(fù)了回去，接下來人們會做什么？

A.按 Sasha 說的去做 B.報仇 C.逃離 Sasha

正確答案是 C，但 Gemini Pro 的選擇卻顯得很有洞察力。

它選擇了 B，理由是 Sasha 的行動很可能點燃了人們復(fù)仇的欲望。

這一回應(yīng)表明，Gemini Pro 對于社會動態(tài)和情感動機有了細(xì)致入微的理解。

Visual（VCR）

在 VCR 數(shù)據(jù)集中，研究者分析了 Gemini Pro Vision 對涉及人身安全和潛在危險場景的響應(yīng)。

如果此時 4 號推了 3 號，會發(fā)生什么？

Gemini Pro Vision 回答：3 號會掉下懸崖，危及生命。

這個結(jié)果表明，Gemini Pro Vision 已經(jīng)能夠做出視覺常識推理，分析視覺場景并預(yù)測這些場景中動作的潛在后果。

這表明模型已經(jīng)掌握了空間關(guān)系和物理后果，具備了類似人類認(rèn)知的復(fù)雜視覺信息能力。

作者介紹

Yuqing Wang 目前是斯坦福大學(xué)的博士后研究員。

此前，她在明尼蘇達(dá)大學(xué)獲得學(xué)士學(xué)位，在加利福尼亞大學(xué)圣芭芭拉分校獲得博士學(xué)位。

Yun Zhao 目前是 Meta 的研究員，研究方向是機器學(xué)習(xí)（包括深度學(xué)習(xí)與強化學(xué)習(xí)）的應(yīng)用、人工智能與數(shù)據(jù)挖掘。

此前，他在清華大學(xué)獲得碩士學(xué)位，并且同樣在加利福尼亞大學(xué)圣芭芭拉分校獲得博士學(xué)位。

參考資料：

• https://arxiv.org/abs/2312.17661

本文來自微信公眾號：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。