IT之家 11 月 24 日消息,一項(xiàng)關(guān)于人工智能(AI)的最新研究表明,大語言模型(LLM)在理解雙關(guān)語方面有所欠缺。

來自英國和意大利多所高校的專家團(tuán)隊(duì)近期開展了一項(xiàng)研究,重點(diǎn)考察大語言模型對(duì)雙關(guān)語的理解能力,結(jié)果發(fā)現(xiàn)其表現(xiàn)令人失望。該團(tuán)隊(duì)由南威爾士卡迪夫大學(xué)(Cardiff University)與意大利威尼斯福斯卡里宮大學(xué)(Ca’ Foscari University of Venice)的研究人員組成,他們得出結(jié)論:盡管大語言模型能夠識(shí)別雙關(guān)語的表層結(jié)構(gòu),卻無法真正領(lǐng)會(huì)其中的幽默含義。
IT之家注意到,研究團(tuán)隊(duì)測(cè)試了一個(gè)典型雙關(guān)語例句:“I used to be a comedian, but my life became a joke.”(我曾是一名喜劇演員,但我的人生卻成了一句‘玩笑話’/一場(chǎng)‘鬧劇’。)當(dāng)研究人員將句末“a joke”替換為語義相近但無雙關(guān)意味的“chaotic”(混亂不堪)時(shí),大語言模型仍傾向于判定該句含有雙關(guān)。
另一個(gè)測(cè)試?yán)錇椋骸癓ong fairy tales have a tendency to dragon.”(冗長的童話故事往往容易“dragon”[拖得太長]。)此處“dragon”諧音“drag on”(拖沓延續(xù)),構(gòu)成雙關(guān)。然而,即便將其替換為同義詞“prolong”(延長),甚至一個(gè)隨機(jī)詞,大語言模型仍會(huì)誤判該句存在雙關(guān)成分。
卡迪夫大學(xué)計(jì)算機(jī)科學(xué)與信息學(xué)院的何塞?卡馬喬?科拉多斯(Jose Camacho Collados)教授指出,此項(xiàng)研究揭示了大語言模型對(duì)幽默的理解仍極為薄弱?!翱傮w而言,大語言模型傾向于記憶訓(xùn)練數(shù)據(jù)中學(xué)到的內(nèi)容,因此能較好識(shí)別已存在的雙關(guān)語,但這并不意味著它們真正理解這些雙關(guān)語?!彼忉尩?,“我們通過修改現(xiàn)有雙關(guān)語、刻意移除構(gòu)成雙關(guān)的雙重語義后,始終能‘欺騙’大語言模型。在這些情況下,模型會(huì)將修改后的句子與記憶中的雙關(guān)語強(qiáng)行關(guān)聯(lián),并編造各種理由‘論證’其仍屬雙關(guān)。歸根結(jié)底,我們發(fā)現(xiàn):大語言模型對(duì)雙關(guān)語的理解,其實(shí)只是一種‘幻覺’?!?/p>
研究團(tuán)隊(duì)進(jìn)一步發(fā)現(xiàn),面對(duì)不熟悉的文字游戲,大語言模型區(qū)分雙關(guān)語與非雙關(guān)語句的準(zhǔn)確率可降至 20%。
研究人員還測(cè)試了另一則雙關(guān)語:“Old LLMs never die, they just lose their attention.”(老一代大語言模型永不消亡,它們只是失去了‘注意力’[attention]。)此處“attention”暗指 Transformer 架構(gòu)中的“注意力機(jī)制”。當(dāng)研究者將“attention”替換為“ukulele”(尤克里里)時(shí),某大語言模型竟仍判定其為雙關(guān),理由是“ukulele”聽上去近似“you-kill-LLM”(你干掉了 LLM)。團(tuán)隊(duì)雖對(duì)該模型的“聯(lián)想創(chuàng)造力”感到驚訝,但顯然它仍未真正“懂”這個(gè)笑話。
研究人員強(qiáng)調(diào),該成果凸顯了人們?cè)谝蕾嚧笳Z言模型執(zhí)行需具備幽默感、共情能力或文化敏感性的任務(wù)時(shí),應(yīng)保持高度審慎。相關(guān)研究成果已于本月早些時(shí)候在中國蘇州舉行的“2025 年自然語言處理實(shí)證方法會(huì)議”(EMNLP 2025)上發(fā)表,論文題為《雙關(guān)非本意:大語言模型與幽默理解的幻象》(Pun unintended: 大語言模型 and the illusion of humor understanding)。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。