IT之家 5 月 13 日消息，OpenAI 今日宣布推出了一個(gè)專門面向醫(yī)療大模型的測(cè)試評(píng)估集 ——HealthBench 并開源，旨在更好地衡量 AI 系統(tǒng)在醫(yī)療健康領(lǐng)域能力。
與以往測(cè)試集不同的是，HealthBench 的 5000 段核心測(cè)試對(duì)話，由來自 60 個(gè)國(guó)家 / 地區(qū)的 26 個(gè)專業(yè) 262 名醫(yī)生打造，極大增強(qiáng)了該測(cè)試集的難度、真實(shí)性以及豐富度。
與以前的狹窄基準(zhǔn)不同，HealthBench 通過 48562 個(gè)獨(dú)特的醫(yī)生編寫的評(píng)分標(biāo)準(zhǔn)進(jìn)行有意義的開放式評(píng)估，涵蓋多個(gè)健康背景（例如，緊急情況、全球健康）和行為維度（例如，準(zhǔn)確性、遵循指示、溝通）。
此外，HealthBench 采用了多輪對(duì)話測(cè)試，而不是簡(jiǎn)單的答題或選擇題模式。IT之家注意到，測(cè)試數(shù)據(jù)顯示大模型在醫(yī)療保健領(lǐng)域的表現(xiàn)有了顯著提升。例如，從之前的 GPT-3.5Turbo 的 16% 到 GPT-4o 的 32%，再到 o3 的 60%，整體性能有了顯著進(jìn)步。尤其是小型模型的進(jìn)步更為突出，GPT-4.1nano 不僅在性能上超越了 GPT-4o，而且成本降低了 25 倍。
參考資料：
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。