IT之家 6 月 24 日消息，近年來(lái)，人工智能蓬勃發(fā)展，聊天機(jī)器人等應(yīng)用逐漸普及，人們可以通過(guò)簡(jiǎn)單的指令從這些聊天機(jī)器人（例如 ChatGPT）獲取信息。然而，這些聊天機(jī)器人仍然容易出現(xiàn)“幻覺(jué)”問(wèn)題，即提供錯(cuò)誤的答案，有時(shí)甚至是危險(xiǎn)的信息。

造成“幻覺(jué)”的原因之一是訓(xùn)練數(shù)據(jù)不準(zhǔn)確、泛化能力不足以及數(shù)據(jù)采集過(guò)程中的副作用。不過(guò)，牛津大學(xué)的研究人員另辟蹊徑，在最新出版的《自然》雜志上詳細(xì)介紹了一種他們新開(kāi)發(fā)的方法，用于檢測(cè)大型語(yǔ)言模型 (LLMs) 的“捏造” (即任意生成的不正確信息) 問(wèn)題。

LLM 通過(guò)在訓(xùn)練數(shù)據(jù)中尋找特定模式來(lái)生成答案。但這種方法并非總是奏效，就像人類能從云朵形狀中看到動(dòng)物一樣，AI 機(jī)器人也可能找到并不存在的模式。然而，人類知道云朵只是形狀而已，天上并沒(méi)有漂浮的巨型大象。LLM 則可能將此視為真實(shí)的，從而“捏造”出并不存在的新科技和其他虛假信息。

牛津大學(xué)的研究人員利用語(yǔ)義熵的概念，通過(guò)概率來(lái)判斷 LLM 是否出現(xiàn)“幻覺(jué)”。語(yǔ)義熵指的是同一個(gè)詞語(yǔ)擁有多種含義的情況，例如，“desert”可以指沙漠，也可以表示拋棄某人。當(dāng) LLM 使用這類詞語(yǔ)時(shí)，可能會(huì)對(duì)表達(dá)的含義感到困惑。通過(guò)檢測(cè)語(yǔ)義熵，研究人員旨在判斷 LLM 的輸出內(nèi)容是否存在“幻覺(jué)”的可能。

利用語(yǔ)義熵的優(yōu)勢(shì)在于無(wú)需額外的監(jiān)督或強(qiáng)化學(xué)習(xí)，即可快速檢測(cè) LLM 的“幻覺(jué)”問(wèn)題。由于該方法不依賴于特定任務(wù)的數(shù)據(jù)，因此即使 LLM 面臨從未遇到過(guò)的新任務(wù)，也能加以應(yīng)用。這將大大提升用戶對(duì)于 LLM 的信任感，即使是 AI 首次遇到某個(gè)問(wèn)題或指令。

研究團(tuán)隊(duì)表示：“我們的方法可以幫助用戶理解何時(shí)需要對(duì) LLM 的輸出保持謹(jǐn)慎，并為原本因不可靠性而受限的 LLM 應(yīng)用開(kāi)辟了新天地。”

如果語(yǔ)義熵被證明是一種有效的“幻覺(jué)”檢測(cè)手段，那么我們可以利用這類工具對(duì)人工智能的輸出進(jìn)行雙重校驗(yàn)，使其成為更加可靠的伙伴。不過(guò)IT之家需要提醒的是，就像人類并非無(wú)懈可擊一樣，即使配備了最先進(jìn)的錯(cuò)誤檢測(cè)工具，LLM 也仍然可能出錯(cuò)。因此，始終對(duì) ChatGPT 等聊天機(jī)器人提供的答案進(jìn)行仔細(xì)核查仍然是明智之舉。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。