IT之家 7 月 7 日消息,Anthropic 上周發(fā)布 Claude Sonnet 5,號稱是迄今能力最強的 Sonnet 模型。無論從紙面規(guī)格還是各項基準測試來看,Sonnet 5 都全面超過前代產(chǎn)品。
可 Sonnet 5 剛上線就迅速引發(fā)大量用戶投訴,網(wǎng)上隨處可見有關(guān)模型“表現(xiàn)失?!?/strong>的討論。外媒 Neowin 測試發(fā)現(xiàn),它經(jīng)常把系統(tǒng)提示詞和上下文記憶直接說出來。例如,在要求模型不要在回答結(jié)尾提出問題時,切換到 Sonnet 5 后,它幾乎每次都會先來一句:“我需要記住不要提出后續(xù)問題。”
Reddit 上的討論,則展示了其他用戶碰到的更嚴重的問題。據(jù)IT之家了解,用戶最常抱怨的是,Sonnet 5 經(jīng)常直接拒絕執(zhí)行指令,隨后陷入沒完沒了地反駁,為了制造分歧而強行唱反調(diào)。
一名 Reddit 用戶這樣形容 Sonnet 5 的“叛逆”表現(xiàn):
Sonnet 5 和 Opus 4.8 都有類似問題,能讓人瘋掉。它們一直反對你,也一直糾正你,哪怕必須編造內(nèi)容、歪曲你的觀點,甚至提出完全不通的論證。即使我第一條提示詞提供的是超出模型知識截止日期的新信息,它也會暗示我在撒謊,或者只是主觀臆測。
我曾讓它談?wù)劜糠謨?nèi)部指令,內(nèi)容包括保持誠實、不能一味附和、必要時要反駁或糾正用戶。為了避免顯得討好用戶、什么都贊同,它會故意挑你話里的毛病,只為找到可以反對的地方。這樣的指令讓模型變得充滿敵意。更煩人的是,每次回答都要先說一句‘我必須對你坦誠,因為……’
另一名用戶表示,Sonnet 5 不但不肯完成任務(wù),反而指控自己企圖實施欺詐:
我只是讓它幫忙處理一項基礎(chǔ)會計任務(wù),把發(fā)票和采購訂單對應(yīng)起來。結(jié)果它告訴我,我這是在搞‘欺詐’,然后開始教訓我欺詐為什么不對。我說啊,能先把這破任務(wù)做好嗎?
還有用戶懷疑,Sonnet 5 會把任務(wù)拆給多個子智能體處理,而這些子智能體經(jīng)常能力不足,最終交付的結(jié)果質(zhì)量更差。用戶因此不僅要消耗更多 Token,還會得到更糟的回答,等于兩頭吃虧。
其他問題還包括,新對話只進行兩三輪就丟失上下文,回答中大量使用模棱兩可的措辭和免責聲明,Sonnet 5 還會在用戶沒有提出任何要求時突然勸人睡覺。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。