大模型混戰(zhàn)究竟誰才是實力選手？清華對國內(nèi)外 14 個 LLM 做了最全面的綜合能力測評，其中 GPT-4、Cluade 3 是當之無愧的王牌，而在國內(nèi) GLM-4、文心 4.0 已然闖入了第一梯隊。

在 2023 年的「百模大戰(zhàn)」中，眾多實踐者推出了各類模型，這些模型有的是原創(chuàng)的，有的是針對開源模型進行微調(diào)的；有些是通用的，有些則是行業(yè)特定的。如何能合理地評價這些模型的能力，成為關鍵問題。

盡管國內(nèi)外存在多個模型能力評測榜單，但它們的質(zhì)量參差不齊，排名差異顯著，這主要是因為評測數(shù)據(jù)和測試方法尚不成熟和科學。我們認為，好的評測方法應當具備開放性、動態(tài)性、科學性和權威性。

為提供客觀、科學的評測標準，清華大學基礎模型研究中心聯(lián)合中關村實驗室研制了 SuperBench 大模型綜合能力評測框架，旨在推動大模型技術、應用和生態(tài)的健康發(fā)展。

最近，2024 年 3 月版《SuperBench 大模型綜合能力評測報告》正式發(fā)布。

評測共包含了 14 個海內(nèi)外具有代表性的模型。其中，對于閉源模型，選取 API 和網(wǎng)頁兩種調(diào)用模式中得分較高的一種進行評測。

根據(jù)評測結果，可以得出以下幾個主要結論：

● 整體來說，GPT-4 系列模型和 Claude-3 等國外模型在多個能力上依然處于領先地位，國內(nèi)頭部大模型 GLM-4 和文心一言 4.0 表現(xiàn)亮眼，與國際一流模型水平接近，且差距已經(jīng)逐漸縮小。

● 國外大模型中，GPT-4 系列模型表現(xiàn)穩(wěn)定，Claude-3 也展現(xiàn)了較強的綜合實力，在語義理解和作為智能體兩項能力評測中更是獲得了榜首，躋身國際一流模型。

● 國內(nèi)大模型中，GLM-4 和文心一言 4.0 在本次評測中表現(xiàn)最好，為國內(nèi)頭部模型；通義千問 2.1、Abab6、moonshot 網(wǎng)頁版以及 qwen1.5-72b-chat 緊隨其后，在部分能力評測中亦有不俗表現(xiàn)；但是國內(nèi)大模型對比國際一流模型在代碼編寫、作為智能體兩個能力上依然有較大差距，國內(nèi)模型仍需努力。

大模型能力遷移 & SuperBench

自大語言模型誕生之初，評測便成為大模型研究中不可或缺的一部分。隨著大模型研究的發(fā)展，對其性能重點的研究也在不斷遷移。根據(jù)我們的研究，大模型能力評測大概經(jīng)歷如下 5 個階段：

2018 年-2021 年：語義評測階段

早期的語言模型主要關注自然語言的理解任務（e.g. 分詞、詞性標注、句法分析、信息抽取)，相關評測主要考察語言模型對自然語言的語義理解能力。代表工作：BERT、GPT、T5 等。

2021 年-2023 年：代碼評測階段

隨著語言模型能力的增強，更具應用價值的代碼模型逐漸出現(xiàn)。研究人員發(fā)現(xiàn)，基于代碼生成任務訓練的模型在測試中展現(xiàn)出更強的邏輯推理能力，代碼模型成為研究熱點。代表工作：Codex、CodeLLaMa、CodeGeeX 等。

2022 年-2023 年：對齊評測階段

隨著大模型在各領域的廣泛應用，研究人員發(fā)現(xiàn)續(xù)寫式的訓練方式與指令式的應用方式之間存在差異，理解人類指令、對齊人類偏好逐漸成為大模型訓練優(yōu)化的關鍵目標之一。對齊好的模型能夠準確理解并響應用戶的意圖，為大模型的廣泛應用奠定了基礎。代表工作：InstructGPT、ChatGPT、GPT4、ChatGLM 等。

2023 年-2024 年：智能體評測階段

基于指令遵從和偏好對齊的能力，大模型作為智能中樞對復雜任務進行拆解、規(guī)劃、決策和執(zhí)行的能力逐漸被發(fā)掘。大模型作為智能體解決實際問題也被視為邁向通用人工智能（AGI）的重要方向。代表工作：AutoGPT、AutoGen 等。

2023 年-future：安全評測階段

隨著模型能力的提升，對模型安全性和價值觀的評估、監(jiān)管與強化逐漸成為研究人員關注的重點。加強對潛在風險的研判，確保大模型的可控、可靠和可信，是未來「AI 可持續(xù)發(fā)展」的關鍵問題。

因此，為了全面地評估大模型的各項能力，SuperBench 評測體系包含了語義、代碼、對齊、智能體和安全等五個評測大類，28 個子類。

PART 1 語義評測

ExtremeGLUE 是一個包含 72 個中英雙語傳統(tǒng)數(shù)據(jù)集的高難度集合，旨在為語言模型提供更嚴格的評測標準，采用零樣本 CoT 評測方式，并根據(jù)特定要求對模型輸出進行評分。

首先，使用超過 20 種語言模型進行初步測試，包括了 GPT-4、Claude、Vicuna、WizardLM 和 ChatGLM 等。

然后，基于所有模型的綜合表現(xiàn)，決定每個分類中挑選出難度最大的 10%～20% 數(shù)據(jù)，將它們組合為「高難度傳統(tǒng)數(shù)據(jù)集」。

評測方法 & 流程

● 評測方式：收集了 72 個中英雙語傳統(tǒng)數(shù)據(jù)集，提取其中高難度的題目組成 4 個維度的評測數(shù)據(jù)集，采取零樣本 CoT 評測方式，各維度得分計算方式為回答正確的題目數(shù)所占百分比，最終總分取各維度的平均值。

● 評測流程：根據(jù)不同題目的形式和要求，對于模型的零樣本 CoT 生成的結果進行評分。

整體表現(xiàn)：

在語義理解能力評測中，各模型形成了三個梯隊，70 分檔為第一梯隊，包括 Claude-3、GLM-4、文心一言 4.0 以及 GPT-4 系列模型。

其中，Claude-3 得分為 76.7，位居第一；國內(nèi)模型 GLM-4 和文心一言 4.0 則超過 GPT-4 系列模型位居第二和第三位，但是和 Claude-3 有 3 分差距。

分類表現(xiàn)：

● 知識-常識：Claude-3 以 79.8 分領跑，國內(nèi)模型 GLM-4 表現(xiàn)亮眼，超過 GPT-4 網(wǎng)頁版位居第二；文心一言 4.0 表現(xiàn)不佳，距離榜首 Claude-3 有 12.7 分差距。

● 知識-科學：Claude-3 依然領先，并且是唯一一個 80 分以上模型；文心一言 4.0、GPT-4 系列模型以及 GLM-4 模型均在 75 分以上，為第一梯隊模型。

● 數(shù)學：Claude-3 和文心一言 4.0 并列第一，得 65.5 分，GLM-4 領先 GPT-4 系列模型位列第三，其他模型得分在 55 分附近較為集中，當前大模型在數(shù)學能力上仍有較大提升空間。

● 閱讀理解：各分數(shù)段分布相對較為平均，文心一言 4.0 超過 GPT-4 Turbo、Claude-3 以及 GLM-4 拿下榜首。

PART 2 代碼評測

NaturalCodeBench（NCB）是一個評估模型代碼能力的基準測試，傳統(tǒng)的代碼能力評測數(shù)據(jù)集主要考察模型在數(shù)據(jù)結構與算法方面的解題能力，而 NCB 數(shù)據(jù)集側重考察模型在真實編程應用場景中寫出正確可用代碼的能力。

所有問題都從用戶在線上服務中的提問篩選得來，問題的風格和格式更加多樣，涵蓋數(shù)據(jù)庫、前端開發(fā)、算法、數(shù)據(jù)科學、操作系統(tǒng)、人工智能、軟件工程等七個領域的問題，可以簡單分為算法類和功能需求類兩類。

題目包含 java 和 python 兩類編程語言，以及中文、英文兩種問題語言。每個問題都對應 10 個人類撰寫矯正的測試樣例，9 個用于測試生成代碼的功能正確性，剩下 1 個用于代碼對齊。

評測方法 & 流程

● 評測方式：運行模型生成的函數(shù)，將輸出結果與準備好的測例結果進行比對進行打分。將輸出結果與準備好的測例結果進行比對進行打分，最終計算生成代碼的一次通過率 pass@1。

● 評測流程：給定問題、單元測試代碼、以及測例，模型首先根據(jù)問題生成目標函數(shù)；運行生成的目標函數(shù)，以測例中的輸入作為參數(shù)得到函數(shù)運行輸出，與測例中的標準輸出進行比對，輸出匹配得分，輸出不匹配或函數(shù)運行錯誤均不得分。

整體表現(xiàn)：

在代碼編寫能力評測中，國內(nèi)模型與國際一流模型之間仍有明顯差距，GPT-4 系列模型、Claude-3 模型在代碼通過率上明顯領先，國內(nèi)模型中 GLM-4，文心一言 4.0 與訊飛星火 3.5 表現(xiàn)突出，綜合得分達到 40 分以上。

然而，即使是表現(xiàn)最好的模型在代碼的一次通過率上仍只有 50% 左右，代碼生成任務對目前的大模型來說仍是一大挑戰(zhàn)。

分類表現(xiàn)：

在 Python、Java、中文、英文四個維度的數(shù)據(jù)集中 GPT-4 系列模型包攬頭名，體現(xiàn)出強大而全面的代碼能力，除 Claude-3 外其余模型差距明顯。

● 英文代碼指令：GPT-4 Turbo 比 Claude-3 在 Python 和 Java 問題上分別高出 6.8 分和 1.5 分，比 GLM-4 在 Python 和 Java 問題上分別高出 14.2 分和 5.1 分，國內(nèi)模型與國際模型在英文代碼指令上差距比較明顯。

● 中文代碼指令：GPT-4 Turbo 比 Claude-3 在 Python 上高出 3.9 分，在 Java 上低 2.3 分，差距不大。GPT-4 Turbo 比 GLM-4 在 Python 和 Java 問題上分別高出 5.4 分和 2.8 分，國內(nèi)模型在中文編碼能力上與國際一流模型仍存在一定差距。

PART 3 對齊評測

AlignBench 旨在全面評測大模型在中文領域與人類意圖的對齊度，通過模型打分評測回答質(zhì)量，衡量模型的指令遵循和有用性。

它包括 8 個維度，如基本任務和專業(yè)能力，使用真實高難度問題，并有高質(zhì)量參考答案。優(yōu)秀表現(xiàn)要求模型具有全面能力、指令理解和生成有幫助的答案。

「中文推理」維度重點考察了大模型在中文為基礎的數(shù)學計算、邏輯推理方面的表現(xiàn)。這一部分主要由從真實用戶提問中獲取并撰寫標準答案，涉及多個細粒度領域的評估：

● 數(shù)學計算上，囊括了初等數(shù)學、高等數(shù)學和日常計算等方面的計算和證明。

● 邏輯推理上，則包括了常見的演繹推理、常識推理、數(shù)理邏輯、腦筋急轉彎等問題，充分地考察了模型在需要多步推理和常見推理方法的場景下的表現(xiàn)。

「中文語言」部分著重考察大模型在中文文字語言任務上的通用表現(xiàn)，具體包括六個不同的方向：基本任務、中文理解、綜合問答、文本寫作、角色扮演、專業(yè)能力。

這些任務中的數(shù)據(jù)大多從真實用戶提問中獲取，并由專業(yè)的標注人員進行答案撰寫與矯正，從多個維度充分地反映了大模型在文本應用方面的表現(xiàn)水平。具體來說：

● 基本任務考察了在常規(guī) NLP 任務場景下，模型泛化到用戶指令的能力；

● 中文理解上，著重強調(diào)了模型對于中華民族傳統(tǒng)文化和漢字結構淵源的理解；

● 綜合問答則關注模型回答一般性開放問題時的表現(xiàn)；

● 文本寫作則揭示了模型在文字工作者工作中的表現(xiàn)水平；

● 角色扮演是一類新興的任務，考察模型在用戶指令下服從用戶人設要求進行對話的能力；

● 專業(yè)能力則研究了大模型在專業(yè)知識領域的掌握程度和可靠性。

評測方法 & 流程

● 評測方式：通過強模型（如 GPT-4）打分評測回答質(zhì)量，衡量模型的指令遵循能力和有用性。打分維度包括事實正確性、滿足用戶需求、清晰度、完備性、豐富度等多項，且不同任務類型下打分維度不完全相同，并基于此給出綜合得分作為回答的最終分數(shù)。

● 評測流程：模型根據(jù)問題生成答案、GPT-4 根據(jù)生成的答案和測試集提供的參考答案進行詳細的分析、評測和打分。

整體表現(xiàn)：

在人類對齊能力評測中，GPT-4 網(wǎng)頁版占據(jù)榜首，文心一言 4.0 和 GPT-4 Turbo 同分（7.74）緊隨其后，國內(nèi)模型中 GLM-4 同樣表現(xiàn)優(yōu)異，超越 Claude-3，位列第四，通義千問 2.1 略低于 Claude-3，排名第六，同為第一梯隊大模型。

分類表現(xiàn)：

中文推理整體分數(shù)明顯低于中文語言，當下大模型推理能力整體有待加強：

● 中文推理：GPT-4 系列模型表現(xiàn)最好，略高于國內(nèi)模型文心一言 4.0，并且和其他模型拉開明顯差距。

● 中文語言：國內(nèi)模型包攬了前四名，分別是 KimiChat 網(wǎng)頁版（8.05 分）、通義千問 2.1（7.99 分）、GLM-4（7.98 分）、文心一言 4.0（7.91 分），超過 GPT-4 系列模型和 Claude-3 等國際一流模型。

各分類細拆分析：

中文推理：

● 數(shù)學計算：GPT-4 系列模型包攬前兩名，國內(nèi)模型文心一言 4.0、通義千問 2.1 分數(shù)超過 Claude-3，但與 GPT-4 系列模型仍有一定差距。

● 邏輯推理：7 分以上為第一梯隊，由國內(nèi)模型文心一言 4.0 領跑，同在第一梯隊的還有 GPT-4 系列模型、Claude-3、GLM-4 和 Abab6。

中文語言：

● 基本任務：GLM-4 拿下榜首，通義千問 2.1、Claude-3 和 GPT-4 網(wǎng)頁版占據(jù)二到四位，國內(nèi)其他大模型中文心一言 4.0 和 KimiChat 網(wǎng)頁版也表現(xiàn)較好，超過了 GPT-4 Turbo。

● 中文理解：國內(nèi)模型整體表現(xiàn)較好，包攬了前四名，文心一言 4.0 領先優(yōu)勢明顯，領先第二名 GLM-4 0.41 分；國外模型中，表現(xiàn)尚可，排在第五位，但 GPT-4 系列模型表現(xiàn)較差，排在中下游，并且和第一名分差超過 1 分。

● 綜合問答：各大模型均表現(xiàn)較好，超過 8 分的模型達到了 6 家，GPT-4 網(wǎng)頁版和 KimiChat 網(wǎng)頁版拿下最高分，GLM-4 和 Claude-3 分數(shù)相同，與榜首分數(shù)接近，并列第三。

● 文本寫作：KimiChat 網(wǎng)頁版表現(xiàn)最好，同時也是唯一一個 8 分以上的模型，GPT-4 Turbo 和分列二、三位。

● 角色扮演：國內(nèi)模型 Abab6、通義千問 2.1 和 KimiChat 網(wǎng)頁版包攬前三名，且均在 8 分以上，超過 GPT-4 系列模型和 Claude-3 等國際一流模型。

● 專業(yè)能力：GPT-4 Turbo 占據(jù)了首位，KimiChat 網(wǎng)頁版超過 GPT-4 網(wǎng)頁版拿下第二名，國內(nèi)其他模型中，GLM-4 和通義千問 2.1 同樣表現(xiàn)不俗，并列排名第四。

PART 4 智能體評測

AgentBench 是一個評估語言模型在操作系統(tǒng)、游戲和網(wǎng)頁等多種實際環(huán)境中作為智能體性能的綜合基準測試工具包。

代碼環(huán)境：該部分關注 LLMs 在協(xié)助人類與計計算機代碼接口互動方面的潛在應用。LLMs 以其出色的編碼能力和推理能力，有望成為強大的智能代理，協(xié)助人們更有效地與計算機界面進行互動。為了評估 LLMs 在這方面的表現(xiàn)，我們引入了三個代表性的環(huán)境，這些環(huán)境側重于編碼和推理能力。這些環(huán)境提供了實際的任務和挑戰(zhàn)，測試 LLMs 在處理各種計算機界面和代碼相關任務時的能力。

游戲環(huán)境：游戲環(huán)境是 AgentBench 的一部分，旨在評估 LLMs 在游戲場景中的表現(xiàn)。在游戲中，通常需要智能體具備強大的策略設計、遵循指令和推理能力。與編碼環(huán)境不同，游戲環(huán)境中的任務不要求對編碼具備專業(yè)知識，但更需要對常識和世界知識的綜合把握。這些任務挑戰(zhàn) LLMs 在常識推理和策略制定方面的能力。

網(wǎng)絡環(huán)境：網(wǎng)絡環(huán)境是人們與現(xiàn)實世界互動的主要界面，因此在復雜的網(wǎng)絡環(huán)境中評估智能體的行為對其發(fā)展至關重要。在這里，我們使用兩個現(xiàn)有的網(wǎng)絡瀏覽數(shù)據(jù)集，對 LLMs 進行實際評估。這些環(huán)境旨在挑戰(zhàn) LLMs 在網(wǎng)絡界面操作和信息檢索方面的能力。

評測方法 & 流程

●  評測方式：模型和預先設定好的環(huán)境進行多輪交互以完成各個特定的任務，情景猜謎子類會使用 GPT-3.5-Turbo 對最終答案進行評分，其余子類的評分方式根據(jù)確定的規(guī)則對模型完成任務的情況進行打分。

●  評測流程：模型與模擬環(huán)境進行交互，之后對模型給出的結果采用規(guī)則評分或 GPT-3.5-Turbo 評分。

●  打分規(guī)則：由于不同子任務的分數(shù)分布不同，直接按平均分計算總分受極值的影響較為嚴重，因此需要對各子任務的分數(shù)進行歸一化處理。如下表所示，各個子任務對應的「Weight (-1)」的值即是歸一化的權重，這個值為在 Agentbench 上最初測試的模型在該子任務上得分的平均值。計算總分時將各個子任務的分數(shù)除以 Weight (-1) 后求平均值即可。根據(jù)該計算方式，具有平均能力的模型最終得到的總分應為 1。

SR：成功率

#Avg.Turn：解決單一問題所需的平均交互回合數(shù)

#Dev、#Test：開發(fā)集和測試集單個模型的預期總交互輪數(shù)

Weight?1：各單項分在計算總分的時候的權重的倒數(shù)

整體表現(xiàn)：

在作為智能體能力評測中，國內(nèi)模型整體明顯落后于國際一流模型。其中，Claude-3 和 GPT-4 系列模型占據(jù)了前三甲，GLM-4 在國內(nèi)模型中表現(xiàn)最好，但與榜首的 Claude-3 仍有較大差距。

國內(nèi)外大模型在本能力下均表現(xiàn)欠佳，主要原因是智能體對模型要求遠高于其他任務，現(xiàn)有的絕大部分模型還不具有很強的智能體能力。

分類表現(xiàn)：

除網(wǎng)上購物被國內(nèi)模型 GLM-4 拿到頭名外，其他分類下，榜首均被 Claude-3 和 GPT-4 系列模型占據(jù)，體現(xiàn)出相對強大的作為智能體能力，國內(nèi)模型仍需不斷提升。

● 具身智能（Alfworld）前三甲均被 Claude-3 和 GPT-4 系列模型包攬，和國內(nèi)模型差距最大。

● 在數(shù)據(jù)庫（DB）和知識圖譜（KG）兩個維度下，國內(nèi)模型 GLM-4 均進入 top3，但是與前兩名仍有一定差距。

PART 5 安全評測

SafetyBench 是首個全面的通過單選題的方式評估大型語言模型安全性的測試基準。包含攻擊冒犯、偏見歧視、身體健康、心理健康、違法活動、倫理道德、隱私財產(chǎn)等。

評測方法 & 流程

● 評測方式：每個維度收集上千個多項選擇題，通過模型的選擇測試對各個安全維度的理解和掌握能力進行考察。評測時采用 few-shot 生成方式，從生成結果中抽取答案與真實答案比較，模型各維度得分為回答正確的題目所占百分比，最終總分取各個維度得分的平均值。針對拒答現(xiàn)象，將分別計算拒答分數(shù)和非拒答分數(shù)，前者將拒答題目視為回答錯誤，后者將拒答題目排除出題庫。

● 評測流程：從模型針對指定問題 few-shot 的生成結果中提取答案，與真實答案比較。

整體表現(xiàn)：

在安全能力評測中，國內(nèi)模型文心一言 4.0 表現(xiàn)亮眼，力壓國際一流模型 GPT-4 系列模型和 Claude-3 拿下最高分（89.1 分），在國內(nèi)其他模型中，GLM-4 和 Claude-3 同分，并列第四。

分類表現(xiàn)：

在違法活動、身體健康、攻擊冒犯、心理健康、隱私財產(chǎn)這五個分類下，各模型各有勝負，但是在倫理道德和偏見歧視上，各個模型分差較大，并保持了和總分較為一致的偏序關系。

● 倫理道德：文心一言 4.0 力壓 Claude-3 位列第一，國內(nèi)大模型 GLM-4 同樣表現(xiàn)亮眼，超過 GPT-4 Turbo 位列前三甲。

● 偏見歧視：文心一言 4.0 繼續(xù)排名榜首，領先 GPT-4 系列模型，GLM-4 緊隨其后，同為第一梯隊模型。

參考資料：

• https://mp.weixin.qq.com/s/r_aAjFHTRDBGXhl3bd06XQ

• https://mp.weixin.qq.com/s/VhVEnRrIzJza1SZC9bKa6Q

廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。