IT之家 6 月 24 日消息,阿里巴巴千問大模型今天正式發(fā)布 Qwen-AgentWorld,官方稱這是首個(gè)原生語言世界模型,能夠在七大領(lǐng)域中模擬智能體交互環(huán)境,提供兩種規(guī)模(35B-A3B 與 397B-A17B)。
原生世界建模:環(huán)境建模從繼續(xù)預(yù)訓(xùn)練(CPT)階段起即為訓(xùn)練目標(biāo),貫穿 CPT → SFT → RL 全流程,而非對(duì)通用大語言模型的事后適配。
七大領(lǐng)域,一個(gè)模型:單一模型同時(shí)覆蓋文本類環(huán)境(MCP、Search、Terminal、SWE)與 GUI 類環(huán)境(Web、OS、Android),實(shí)現(xiàn)跨領(lǐng)域知識(shí)遷移。
同步發(fā)布的還有 AgentWorldBench—— 覆蓋七大領(lǐng)域的語言世界模型評(píng)測基準(zhǔn),每條測試樣本均配備真實(shí)環(huán)境執(zhí)行所得的真實(shí)環(huán)境觀測數(shù)據(jù)。模型與評(píng)測基準(zhǔn)可從 Hugging Face 和 ModelScope 獲取。
IT之家附官方介紹如下:
Qwen-AgentWorld 代表了我們的核心探索:基于語言模型的世界建模,能否進(jìn)一步拓展通用智能體能力的邊界。
我們從兩個(gè)方向探索如何實(shí)現(xiàn)語言世界建模,以及如何將其應(yīng)用于推進(jìn)通用智能體:
首先,我們構(gòu)建了智能體環(huán)境模擬的基礎(chǔ)模型:Qwen-AgentWorld 是首個(gè)在單一模型中覆蓋七大智能體交互領(lǐng)域(MCP、Search、Terminal、SWE、Web、OS、Android)的語言世界模型,基于超過 1000 萬條真實(shí)環(huán)境交互軌跡,經(jīng)由 CPT → SFT → RL 三階段訓(xùn)練而成。在 AgentWorldBench 評(píng)測中,Qwen-AgentWorld-397B-A17B 取得了最高的整體模擬質(zhì)量,超越 GPT-5.4、Claude Opus 4.8 與 Gemini 3.1 Pro。
其次,我們探討世界建模在智能體訓(xùn)練中的作用,并通過兩種互補(bǔ)范式加以驗(yàn)證:作為解耦的環(huán)境模擬器,它為智能體強(qiáng)化學(xué)習(xí)提供了更優(yōu)的可擴(kuò)展性與可控性 —— 可控的模擬 RL 能夠以真實(shí)環(huán)境無法實(shí)現(xiàn)的方式塑造智能體行為,且顯著優(yōu)于僅在真實(shí)環(huán)境中訓(xùn)練的 RL;作為統(tǒng)一的智能體基礎(chǔ)模型,LWM 預(yù)熱訓(xùn)練可有效遷移至涵蓋七個(gè)基準(zhǔn)(其中三個(gè)完全未出現(xiàn)在訓(xùn)練集中)的多輪智能體任務(wù),且無需在智能體任務(wù)上進(jìn)行任何 RL 微調(diào),初步驗(yàn)證了語言世界模型能夠作為構(gòu)建更強(qiáng)智能體模型的基礎(chǔ)。
通過三階段訓(xùn)練范式 —— 持續(xù)預(yù)訓(xùn)練(CPT)注入環(huán)境知識(shí)、監(jiān)督微調(diào)(SFT)激活下一狀態(tài)預(yù)測推理、強(qiáng)化學(xué)習(xí)(RL)打磨模擬真實(shí)性 —— 自底向上逐步構(gòu)建世界建模能力。我們探索了世界模型賦能通用智能體的兩種互補(bǔ)范式:作為解耦的環(huán)境模擬器,我們?cè)?Tool Decathlon、MCPMark 和 WideSearch 上驗(yàn)證了可控模擬的有效性,其表現(xiàn)超越了無控模擬與真實(shí)環(huán)境訓(xùn)練;作為統(tǒng)一智能體基礎(chǔ)模型,語言世界模型(LWM)的預(yù)熱訓(xùn)練可遷移至涵蓋七個(gè)基準(zhǔn)(其中三個(gè)完全屬于域外)的多輪智能體任務(wù),初步驗(yàn)證了語言世界模型能夠作為構(gòu)建更強(qiáng)智能體模型的基礎(chǔ)。語言世界建模開辟了一條互補(bǔ)的擴(kuò)展路徑,使通用智能體的能力邊界得以突破真實(shí)環(huán)境交互所能提供的上限。
AgentWorldBench 已在 Hugging Face 上發(fā)布,以按領(lǐng)域劃分的 JSONL 文件形式提供,每個(gè)文件包含來自真實(shí)環(huán)境的交互軌跡及對(duì)應(yīng)的真實(shí)觀測數(shù)據(jù)。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。