IT之家 10 月 20 日消息，美團(tuán) LongCat 團(tuán)隊(duì)今日正式發(fā)布當(dāng)前高度貼近真實(shí)生活場(chǎng)景、面向復(fù)雜問(wèn)題的大模型智能體評(píng)測(cè)基準(zhǔn) ——VitaBench。

IT之家從官方介紹獲悉，VitaBench 以外賣(mài)點(diǎn)餐、餐廳就餐、旅游出行三大高頻真實(shí)生活場(chǎng)景為典型載體，構(gòu)建了包含 66 個(gè)工具的交互式評(píng)測(cè)環(huán)境，并進(jìn)行了跨場(chǎng)景的綜合任務(wù)設(shè)計(jì)。例如，在旅游規(guī)劃任務(wù)中，要求智能體通過(guò)思考、調(diào)用工具和用戶交互，完整執(zhí)行從買(mǎi)好票到訂好餐廳的終端狀態(tài)。

該團(tuán)隊(duì)首次基于深度推理、工具使用與用戶交互三大維度對(duì)智能體任務(wù)進(jìn)行了量化拆解，以可控地構(gòu)建復(fù)雜問(wèn)題。團(tuán)隊(duì)發(fā)現(xiàn)，即便是當(dāng)前領(lǐng)先的推理模型，在主榜（復(fù)雜跨場(chǎng)景任務(wù)）中的成功率也僅有 30%，揭示了現(xiàn)有智能體與復(fù)雜真實(shí)生活場(chǎng)景應(yīng)用需求之間的顯著差距。VitaBench 現(xiàn)已全面開(kāi)源，旨在為推進(jìn)智能體在真實(shí)生活場(chǎng)景中的研發(fā)與應(yīng)用提供重要基礎(chǔ)設(shè)施。

隨著大語(yǔ)言模型在復(fù)雜推理與工具調(diào)用能力上的快速進(jìn)步，基于 LLM 的智能體在真實(shí)生活場(chǎng)景中的應(yīng)用日益廣泛。然而，現(xiàn)有的智能體評(píng)測(cè)基準(zhǔn)與現(xiàn)真實(shí)生活場(chǎng)景的應(yīng)用需求之間依然存在顯著差距，主要體現(xiàn)在：工具生態(tài)簡(jiǎn)單化、信息密度不足、模型探索性受限、交互動(dòng)態(tài)性缺失。

通過(guò)對(duì)美團(tuán)生活服務(wù)場(chǎng)景的深入分析，LongCat 團(tuán)隊(duì)指出：真實(shí)世界的任務(wù)復(fù)雜性，源于三大維度的交織 ——

• 推理復(fù)雜性：需整合多源信息、自主推理規(guī)劃任務(wù)完成路徑；

• 工具復(fù)雜性：需在高度互聯(lián)的工具圖中理解領(lǐng)域特征，精確調(diào)用目標(biāo)工具；

• 交互復(fù)雜性：需在多輪對(duì)話中主動(dòng)澄清、追蹤意圖、適應(yīng)多樣化的用戶行為并給予反饋。

為系統(tǒng)衡量這三重挑戰(zhàn)下的模型表現(xiàn)，團(tuán)隊(duì)構(gòu)建了 VitaBench，一個(gè)依托“生活服務(wù)”場(chǎng)景、高度仿真的綜合性 Agent 評(píng)測(cè)基準(zhǔn)。VitaBench 的評(píng)測(cè)榜單未來(lái)將長(zhǎng)期維護(hù)更新，現(xiàn)已全面開(kāi)源：

項(xiàng)目主頁(yè)：https://vitabench.github.io

論文鏈接：https://arxiv.org/ abs / 2509.26490

代碼倉(cāng)庫(kù)：https://github.com/ meituan-longcat / vitabench

數(shù)據(jù)集：https://huggingface.co/ datasets / meituan-longcat / VitaBench

排行榜：https://vitabench.github.io/#Leaderboard

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。