DeepSeek V3.1 上演的 bug 大秀“極你太美”，可謂是讓全網(wǎng)熱議了一波。
簡單來說呢，就是陸續(xù)有開發(fā)者們發(fā)現(xiàn)，當(dāng)他們在調(diào)用 API 進(jìn)行代碼開發(fā)的過程中，輸出結(jié)果里會時不時蹦出來“極”字。
像這樣：
這個問題最初是在火山引擎、chutes 等平臺上被發(fā)現(xiàn)，但隨著事件的發(fā)酵，更多平臺也被卷入了進(jìn)來，包括騰訊的 CodeBuddy，甚至是 DeepSeek 官方……
事件之火，在國外 Reddit 上也是討論聲一片，重災(zāi)區(qū)是“extreme”、“極”和“極”：
“extreme”（id:15075）
“極”（id:2577，簡體中文的 extreme）
“極”（id:16411，繁體中文中的 extreme）
騰訊 CodeBuddy 還出現(xiàn)了更加奇葩的情況，直接插了句帶“極”字兒的廣告……
若是開發(fā)者們沒有細(xì)看，直接用了生成的代碼，那定然是會導(dǎo)致編譯不通過等情況，可以說是對需要高精度、結(jié)構(gòu)化輸出的場景是致命一擊。
截至目前，大家已經(jīng)統(tǒng)一將問題的矛頭指向了 DeepSeek V3.1 模型本身，以及 CodeBuddy 幫忙問了：
已經(jīng)和 DeepSeek 團(tuán)隊取得聯(lián)系，將在最近的一個版本中進(jìn)行修復(fù)。
現(xiàn)在該如何防范“極”字 bug？
就目前來看，雖然完全解決問題要等到 DeepSeek 官方下場，但已經(jīng)有網(wǎng)友開始支招解決這個問題了。
例如小紅書網(wǎng)友 @大模型產(chǎn)品經(jīng)理，便分享了一招 —— 提示詞緩解：
關(guān)鍵的一句提示詞是這樣的：
禁止如下符號序列模式：
[空格] [幾個token] [占位符/省略符號]
并且這個方法主要是針對調(diào)用 API 的第三方平臺，若是在 DeepSeek V3.1 官方，則不需要。
為什么會這樣？
最后，至于為什么 DeepSeek V3.1 會出現(xiàn)這樣的 bug，知乎網(wǎng)友、階躍星辰黃哲威給出了他的看法，并獲得了高贊。
他首先指出，這種現(xiàn)象并非孤例。在他使用小模型和開源數(shù)據(jù)蒸餾，以及在測試早期的 R1 模型時，就曾遇到過類似的 bug。
黃哲威認(rèn)為，這與大模型編程編題時可能出現(xiàn)的一種“惡性模式”（malicious pattern）有關(guān)。他舉例說，在枚舉素數(shù)的任務(wù)中，一個正常的模型本應(yīng)無限地列舉下去，如“素數(shù)表 2, 3, 5, 7 …”。
然而，他觀察到之前一個代號為 R1-0528 的模型會出現(xiàn)一種奇特行為：在列舉一段后會自行停止，變成一個有限的列表，例如“素數(shù)表 2, 3, 5, 7 … 997, 極長”。
這個“極長”的用法，與現(xiàn)在討論的“極”字問題非常相似，常常出現(xiàn)在大量惡性重復(fù)之后，作為正常推理過程的回正。有時，模型甚至?xí)敵觥?0000000…0000 極大的數(shù)字”這樣的內(nèi)容。
他進(jìn)一步描述了這種 bug 的觸發(fā)場景。當(dāng)模型陷入“thinking”的末尾循環(huán)無法跳出時，有千分之一的概率會突然蹦出一個“極”字，然后終止思考（），這似乎是一種特殊的終止符或標(biāo)記。
通過觀察 R1 模型大量的輸出，黃哲威發(fā)現(xiàn)了不少問題，包括超長響應(yīng)（response）、大面積的空白字符、不斷的短句重復(fù)等，甚至連 thinking 末尾的英文字符都變得破碎。
基于以上觀察，他提出了一個核心推測：這個問題的根源可能在于數(shù)據(jù)清洗不徹底。他認(rèn)為，在進(jìn)行 SFT（監(jiān)督微調(diào)）數(shù)據(jù)合成，乃至構(gòu)建預(yù)訓(xùn)練數(shù)據(jù)時，可能沒有將一組名為“‘極長’的數(shù)組”的“臟數(shù)據(jù)”清洗干凈。
他推斷，R1 模型在處理一些難題的解答時，似乎大量使用了 RAG（檢索增強生成）技術(shù)，而后續(xù)的 RL+（強化學(xué)習(xí)）階段，模型直接將這個“極”字當(dāng)作了某種終止符或者語言切換標(biāo)記來學(xué)習(xí)和使用了。
最后，黃哲威總結(jié)道，如果 R1 迭代時的數(shù)據(jù)沒有清洗干凈，模型自行蒸餾并“污染”到正常的輸出過程中，是完全可能發(fā)生的。這為理解 DeepSeek V3.1 模型出現(xiàn)的“極”字問題提供了一個可能的解釋路徑。
至于這個被網(wǎng)友戲稱為“極你太美”、“‘極’速版”的問題到底何時會徹底解決，就要等 DeepSeek 官方的新版本了。
參考鏈接：
[2]https://www.zhihu.com/question/1942934856603505597
[3]https://www.reddit.com/r/LocalLLaMA/comments/1mzsg6v/deepseek_v31_getting_token_extreme_%E6%9E%81_%E6%A5%B5_out_of/
[4]https://linux.do/t/topic/897789
本文來自微信公眾號：量子位（ID：QbitAI），作者：金磊
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。