你知道有個(gè)全球年度詞匯叫“腦損傷”（Brain Rot）嗎？特指那些因人長(zhǎng)期接觸碎片化、低價(jià)值網(wǎng)絡(luò)信息而逐漸變得記憶紊亂、注意力下降的情況（俗稱碎片化垃圾信息刷多了）。在 2024 年，這個(gè)詞一度被選為牛津年度詞匯。

然鵝！最新研究結(jié)論顯示，AI 也一樣。大模型灌多了垃圾內(nèi)容也會(huì)變蠢降智腦損傷，而且后面變不回來(lái)了。

就在最近，幾個(gè) AI 研究者找來(lái)了幾個(gè)月的高流行但低價(jià)值的 Twitter 數(shù)據(jù)（現(xiàn)??），統(tǒng)統(tǒng)“喂”給大模型后發(fā)現(xiàn)：

• 模型推理能力下降了 23%；

• 模型長(zhǎng)上下文記憶下降了 30%；

• 模型性格測(cè)試顯示，其自戀和精神病態(tài)的現(xiàn)象激增。

更可怕的是，即使后來(lái)又在干凈、高質(zhì)量的數(shù)據(jù)上進(jìn)行重新訓(xùn)練，這些已經(jīng)造成的損傷，無(wú)法完全修復(fù)。

好嘛，本來(lái)以為只是簡(jiǎn)單的“輸入壞數(shù)據(jù) → 輸出壞數(shù)據(jù)”（種瓜得瓜也不難理解），結(jié)果你告訴我一次錯(cuò)誤就會(huì)造成永久性的認(rèn)知漂移。（os：AI 貌似比人類更慘？）

細(xì)思極恐，“這可能是 2025 年最令人不安的 AI 論文了”。

以及諸多討論之中，“垃圾進(jìn)垃圾出”這一計(jì)算機(jī)習(xí)語(yǔ)也再度被頻頻提及（doge），堪稱“計(jì)算機(jī)第一性原理”了。

所以這個(gè)研究怎么進(jìn)行的？又究竟說(shuō)了什么？

提出并驗(yàn)證“LLM 腦損傷假說(shuō)”

概括而言，論文想要探究一個(gè)核心問(wèn)題：

大語(yǔ)言模型（LLM）持續(xù)接觸垃圾數(shù)據(jù)后，是否會(huì)像人類一樣出現(xiàn)認(rèn)知衰退？（即“LLM 腦損傷假說(shuō)”）

要想搞清這個(gè)問(wèn)題，第一步就是要定義：對(duì)于 LLM 來(lái)說(shuō)，什么是“垃圾數(shù)據(jù)”？

之前的研究?jī)H關(guān)注“惡意數(shù)據(jù)”（如后門、有毒的文本等），而這項(xiàng)研究聚焦于生活中更普遍的“非惡意低質(zhì)量數(shù)據(jù)”，也就是短平快的熱門推文、標(biāo)題黨內(nèi)容等，以此來(lái)填補(bǔ)“日?；瘮?shù)據(jù)質(zhì)量如何影響 LLM 認(rèn)知”這一空白領(lǐng)域。

具體而言，研究人員從兩個(gè)維度（避免單一標(biāo)準(zhǔn)偏差）來(lái)定義“垃圾數(shù)據(jù)”，這些數(shù)據(jù)均源自??平臺(tái)上的公開內(nèi)容，而且通過(guò)讓“垃圾組”與“對(duì)照組”的 token 數(shù)量一致來(lái)排除數(shù)據(jù)量差異的干擾：

• M1（參與度維度）：把“短文本 + 高熱度”的內(nèi)容歸為垃圾數(shù)據(jù)，具體是指長(zhǎng)度小于 30 token+ 點(diǎn)贊 / 轉(zhuǎn)發(fā) / 回復(fù)大于 500，然后把“長(zhǎng)文本 + 低熱度”定義為對(duì)照數(shù)據(jù)。

• M2（語(yǔ)義質(zhì)量維度）：用 GPT-4o-mini 結(jié)合人工驗(yàn)證，把含標(biāo)題黨語(yǔ)言（如“WOW”“TODAY ONLY”）、陰謀論、無(wú)論斷依據(jù)的文本歸為垃圾數(shù)據(jù)；對(duì)照組則是事實(shí)準(zhǔn)確、有教育價(jià)值或深度分析的內(nèi)容，比如含專業(yè)知識(shí)、邏輯推理的推文。

基于上述兩類數(shù)據(jù)，然后進(jìn)行模型訓(xùn)練。

研究人員選了 4 個(gè)不同的大語(yǔ)言模型（Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct、Qwen3-4B-Instruct），給每個(gè)模型分別“喂”這兩類數(shù)據(jù)，讓它們持續(xù)預(yù)訓(xùn)練。

等預(yù)訓(xùn)練結(jié)束，接著讓所有模型統(tǒng)一再進(jìn)行指令微調(diào)，以此來(lái)確保模型最后輸出的“垃圾內(nèi)容”不是因?yàn)楦袷絾?wèn)題導(dǎo)致的（排除其他因素，只留下“認(rèn)知損傷”這一種可能）。

然后，研究人員從四個(gè)認(rèn)知維度來(lái)測(cè)試這些大模型的核心能力：

• ARC（檢測(cè)推理能力）：基于網(wǎng)格的視覺(jué)程序歸納謎題，用于測(cè)試概念抽象能力。

• RULER（檢測(cè)記憶與多任務(wù)處理能力）：用于評(píng)估長(zhǎng)上下文理解能力，以及從長(zhǎng)上下文中檢索多個(gè)查詢結(jié)果。

• HH-RLHF&AdvBench （檢測(cè)道德規(guī)范）：測(cè)試大語(yǔ)言模型是否會(huì)遵循有害指令，評(píng)估其安全性。

• TRAIT（檢測(cè) AI 人格特質(zhì)）：經(jīng)過(guò)心理測(cè)量學(xué)驗(yàn)證的小型人類問(wèn)卷，用于評(píng)估模型類似人類的人格傾向。

結(jié)果得出了以下發(fā)現(xiàn) ——

真?垃圾進(jìn)垃圾出！且損傷不可逆

首先，大模型確實(shí)和人類一樣存在“腦損傷（Brain Rot）”問(wèn)題。

整體上 M1 和 M2 兩種維度上的“垃圾數(shù)據(jù)”均會(huì)導(dǎo)致模型認(rèn)知下降，但需要注意的是 ——M1 所帶來(lái)的負(fù)面影響更為顯著，尤其在安全性和人格層面（M1 會(huì)導(dǎo)致安全性評(píng)分下降，同時(shí)自戀 / 精神病特質(zhì)明顯增強(qiáng)）。

而且，這一損害明顯存在“劑量效應(yīng)”，即垃圾數(shù)據(jù)攝入越多，AI 認(rèn)知損傷越嚴(yán)重。

至于導(dǎo)致 AI 認(rèn)知受損的背后原因，研究人員也做了一番探查。結(jié)果發(fā)現(xiàn)，主要原因竟是“思維跳躍”（俗稱 AI 懶得一步步思考）。

具體而言，研究人員通過(guò)分析 ARC 題的錯(cuò)誤答案，發(fā)現(xiàn)失敗多源于模型要么直接給答案不解釋，要么規(guī)劃了推理步驟卻跳過(guò)關(guān)鍵環(huán)節(jié)（如解數(shù)學(xué)題漏了公式推導(dǎo)）。

尤其是 M1 組，70% 以上的錯(cuò)誤都是“無(wú)思考直接回答”，就好像人類刷多了短視頻后“不愿意再深度思考”。

與此同時(shí)，相比人類可以通過(guò)其他措施來(lái)緩解類似的認(rèn)知下降問(wèn)題，AI 卻對(duì)此“束手無(wú)策”。研究嘗試了兩種修復(fù)方法，結(jié)果都無(wú)法讓其恢復(fù)如初：

其一是外部反思。研究人員用 GPT-4o-mini 給受損模型提錯(cuò)誤反饋，雖然 6 輪下來(lái)“思維跳躍”這一錯(cuò)誤誘因減少了，但推理準(zhǔn)確率仍差基線 17.3%。如果換成讓模型自我反思糾錯(cuò)，則模型還會(huì)因?yàn)椤罢J(rèn)知不足”而判斷錯(cuò)誤，導(dǎo)致誤差更高。

其二是大規(guī)模微調(diào)。研究人員把指令微調(diào)數(shù)據(jù)從 5k 增至 50k，雖然修復(fù)效果優(yōu)于“持續(xù)對(duì)照數(shù)據(jù)預(yù)訓(xùn)練”，但即使使用 4.8 倍于垃圾數(shù)據(jù)量的指令數(shù)據(jù)，仍無(wú)法恢復(fù)基線性能。

這說(shuō)明，即使事后進(jìn)行大量指令微調(diào)或使用高質(zhì)量數(shù)據(jù)進(jìn)行重新訓(xùn)練，也都無(wú)法完全恢復(fù)模型的初始性能。

一句話，只能緩解無(wú)法根治。

整體而言，這項(xiàng)研究給行業(yè)帶來(lái)了以下幾點(diǎn)新的啟發(fā)：

1、首次把“持續(xù)預(yù)訓(xùn)練的數(shù)據(jù)篩選”歸為“訓(xùn)練時(shí)安全問(wèn)題”，提醒行業(yè)不能只關(guān)注“訓(xùn)練后對(duì)齊”（如安全微調(diào)），更要在源頭把控?cái)?shù)據(jù)質(zhì)量。

2、給大模型加上“認(rèn)知體檢”非常重要，建議部署大模型時(shí)使用 ARC、RULER 等基準(zhǔn)測(cè)試 AI 認(rèn)知，避免 AI 長(zhǎng)期接觸低質(zhì)量數(shù)據(jù)導(dǎo)致能力退化。

3、類似“熱度”這樣的指標(biāo)比文本長(zhǎng)度更能判斷數(shù)據(jù)質(zhì)量，未來(lái)篩選訓(xùn)練數(shù)據(jù)時(shí)，可優(yōu)先排除“短 + 高傳播”的碎片化內(nèi)容，尤其是社交平臺(tái)數(shù)據(jù)。

背后團(tuán)隊(duì)：華人含量爆表

最后說(shuō)一下這項(xiàng)研究的背后團(tuán)隊(duì) —— 一共 8 人，其中 7 人為華人。

兩位共同一作分別為 Shuo Xing 和 Junyuan Hong（兼通訊作者）。Shuo Xing（邢朔），目前是得克薩斯 A&M 大學(xué)計(jì)算機(jī)科學(xué)博士，寧夏大學(xué)本科、南開大學(xué)碩士。研究方向?yàn)槎嗄B(tài)大語(yǔ)言模型、機(jī)器學(xué)習(xí)、可信人工智能、具身智能等，剛好目前也在谷歌實(shí)習(xí)（方向?yàn)槎嗄B(tài)基礎(chǔ)模型）。

Junyuan Hong，個(gè)人主頁(yè)顯示即將赴任新國(guó)立電子與計(jì)算機(jī)工程系助理教授，之前曾在麻省總醫(yī)院和哈佛醫(yī)學(xué)院工作。

更早之前，他還在 IFML 機(jī)器學(xué)習(xí)基礎(chǔ)研究所從事博士后研究，一直對(duì)健康和可信人工智能感興趣。

另一位通訊作者是 Zhangyang Wang，他之前是德克薩斯大學(xué)奧斯汀分校錢德拉家族電氣與計(jì)算機(jī)工程系（簡(jiǎn)稱 Texas ECE）的終身副教授。

從 2024 年 5 月開始，他選擇暫時(shí)離開學(xué)界，全職出任全球頂尖量化交易公司 XTX Markets 的研究總監(jiān)，主導(dǎo)算法交易與深度學(xué)習(xí)交叉領(lǐng)域的研究工作。

個(gè)人主頁(yè)顯示，他還是中國(guó)科學(xué)技術(shù)大學(xué)校友，2012 年獲得該校電子信息系統(tǒng)學(xué)士學(xué)位。

此外，兩位核心貢獻(xiàn)者分別為 Yifan Wang 和 Runjin Chen。Yifan Wang，現(xiàn)普渡大學(xué)四年級(jí)博士生，論文唯一外國(guó)作者 Ananth Grama 是其指導(dǎo)老師。本科畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)電子信息工程系，同時(shí)輔修人工智能專業(yè)。自本科埋下對(duì) AI 的好奇心后，目前對(duì)大模型后訓(xùn)練、如何提升模型訓(xùn)推效率感興趣。（hhh，頭像一看就是標(biāo)準(zhǔn)的 90 后或 00 后）

Runjin Chen，目前是德克薩斯大學(xué)奧斯汀分校二年級(jí)博士生，導(dǎo)師為前面提到的 Zhangyang Wang 教授。本碩均畢業(yè)于上海交通大學(xué)，而且她從今年 3 月起擔(dān)任 Anthropic 研究員。個(gè)人研究方向?yàn)榇笳Z(yǔ)言模型的安全、對(duì)齊和推理。

其余三位支持者分別為 Zhenyu Zhang、Ananth Grama 和 Zhengzhong Tu。Zhenyu Zhang，目前是德克薩斯大學(xué)奧斯汀分校電氣與計(jì)算機(jī)工程系在讀博士，導(dǎo)師也是前面提到的 Zhangyang Wang。本碩均畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)，研究興趣主要集中在生成式模型的訓(xùn)推方面。

Ananth Grama，這項(xiàng)研究唯一的外國(guó)作者。目前是普渡大學(xué)信息科學(xué)中心副主任，同時(shí)也是該校計(jì)算機(jī)科學(xué)領(lǐng)域的杰出榮譽(yù)教授。他的研究重點(diǎn)為并行和分布式計(jì)算，致力于將其應(yīng)用于復(fù)雜物理系統(tǒng)的建模、設(shè)計(jì)、先進(jìn)制造、機(jī)器學(xué)習(xí)等領(lǐng)域。

Zhengzhong Tu，目前是得克薩斯 A&M 大學(xué)計(jì)算機(jī)科學(xué)與工程系助理教授，也是論文一作邢朔的導(dǎo)師。同時(shí)，他還兼任該?？尚拧⒆灾?、以人為本與具身智能研究組（TACO-Group）負(fù)責(zé)人一職。個(gè)人主頁(yè)顯示，他至今已發(fā)表 30 多篇國(guó)際期刊 / 會(huì)議論文，而且曾擔(dān)任超 18 個(gè)國(guó)際期刊 / 會(huì)議的技術(shù)審稿人。

整體看下來(lái)，這又是一場(chǎng)典型的老師帶學(xué)生、同事帶同事的合作典范。

One More Thing

其實(shí)“垃圾進(jìn)垃圾出”這一習(xí)語(yǔ)，計(jì)算機(jī)早期時(shí)代就有了。

十九世紀(jì)，計(jì)算機(jī)先驅(qū)查爾斯?巴貝奇（曾提出著名差分機(jī)與分析機(jī)的設(shè)計(jì)概念）就意識(shí)到了這條編程的基本原則：

我曾兩度被問(wèn)到：“請(qǐng)問(wèn)巴貝奇先生，如果給機(jī)器輸入錯(cuò)誤的數(shù)字，它能得出正確的結(jié)果嗎？”我完全想不透，思維何等混亂的人才問(wèn)得出這種問(wèn)題。

瞧瞧他的用詞，只有思緒混亂之人才會(huì)對(duì)這個(gè)問(wèn)題感到疑惑，觀點(diǎn)不可謂不鮮明。

在這之后，在一篇 1957 年介紹美國(guó)陸軍數(shù)學(xué)家所做的計(jì)算機(jī)工作的報(bào)紙文章中，其中一位軍隊(duì)專家也曾表示：

計(jì)算機(jī)自己不能思考，因此輸入粗劣的數(shù)據(jù)將不可避免地產(chǎn)生錯(cuò)誤的輸出。

后來(lái)相關(guān)理論不斷被提出、被熱議，并逐漸誕生了“Garbage in, garbage out”這一習(xí)語(yǔ)。

實(shí)際上，在前 AI 的時(shí)代，這句話是計(jì)算機(jī)原理也是一種“以機(jī)為鏡”的哲學(xué)思考，對(duì)于計(jì)算機(jī)和人類，物種不同，但殊途同歸。

但 AI 開始進(jìn)入智能涌現(xiàn)階段后，這個(gè)命題變得更加值得思考?，F(xiàn)階段的大模型垃圾喂多了“腦損傷”后難以修復(fù)…… 那有沒(méi)有方法和手段改變？而人類發(fā)展進(jìn)化歷史里充滿了“浪子回頭”、“痛改前非”的故事，又是否代表著另一種高級(jí)的智能機(jī)制，幫助人類個(gè)體實(shí)現(xiàn)自我革新和凈化？

你說(shuō)呢……

項(xiàng)目主頁(yè)：

https://llm-brain-rot.github.io/

論文：

https://arxiv.org/pdf/2510.13928

參考鏈接：

[1]https://x.com/alex_prompter/status/1980224548550369376

[2]https://x.com/VitalikButerin/status/1959189887099588700

本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：一水

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。