SearchGPT 發(fā)布剛過(guò)兩天，已有人灰度測(cè)試到了。今天，網(wǎng)友 Kesku 自制的 demo 全網(wǎng)刷屏，SearchGPT 結(jié)果輸出如此神速，讓所有人為之震驚。

當(dāng)詢(xún)問(wèn) Porter Robinson 出了新唱片嗎？只見(jiàn)，SearchGPT 眨眼功夫之間，即刻給出了答案「Smile」，最后還附上了鏈接。

再來(lái)看移動(dòng)版本的回答速度，回答延遲幾乎為 0。

評(píng)論區(qū)下方，震驚體鋪屏。

但另一方面，OpenAI 當(dāng)天放出的官方演示，被外媒《大西洋月刊》曝出其中的問(wèn)題。在回答「8 月在北卡羅來(lái)納 Boone 舉辦的音樂(lè)節(jié)」的問(wèn)題時(shí)，SearchGPT 竟弄錯(cuò)時(shí)間，出現(xiàn)了幻覺(jué)。

說(shuō)好的，要取代谷歌呢？

全網(wǎng)一手實(shí)測(cè)來(lái)了

Kesku 自己測(cè)試的另一個(gè) demo，呈現(xiàn)了 SearchGPT 的小部件。她發(fā)現(xiàn)的一個(gè)現(xiàn)象是，SearchGPT 傾向于強(qiáng)烈關(guān)注搜索結(jié)果?！赣袝r(shí)就需要明確告訴它，自己想要做什么，而不是想從網(wǎng)上得到什么」。

比如詢(xún)問(wèn)它倫敦天氣，SearchGPT 先給出了未來(lái)七天的天氣預(yù)報(bào)。

在倫敦野餐的最佳時(shí)間和地點(diǎn)有什么，類(lèi)似小部件的形式給出了幾個(gè)備選項(xiàng)。

Kesku 還在移動(dòng)端測(cè)試了一些例子。

查詢(xún)英偉達(dá)股票，會(huì)給出英偉達(dá)股票整體的可視化圖，隨后給出了一些分析。所有股票信息都被無(wú)縫集成在頁(yè)面中。

輸入一首歌名「Never Gonna Give You Up」，然后直接給出了 YouTube 歌曲視頻，不用跳轉(zhuǎn)到其他網(wǎng)頁(yè)，在一個(gè)頁(yè)面就可以聽(tīng)歌、看視頻。

除了搜索功能，網(wǎng)友還樂(lè)此不疲地進(jìn)行「人性化測(cè)試」——「你怎么樣」？

「作為一個(gè) AI 語(yǔ)言模型，我沒(méi)有感情，但我在這里并隨時(shí)準(zhǔn)備幫助你解答問(wèn)題。今天我能為你提供什么幫助」？

「給我講一個(gè)笑話(huà)」

一個(gè)英語(yǔ)世界的經(jīng)典雙關(guān)梗就此出現(xiàn) ——「科學(xué)家不信任原子。為什么科學(xué)家不信任原子？因?yàn)樗鼈儤?gòu)成了一切！」

網(wǎng)友現(xiàn)場(chǎng)出題

眼饞的網(wǎng)友們，紛紛在評(píng)論區(qū)出題，讓帖主幫忙測(cè)試。

第一位網(wǎng)友問(wèn)道，「它支持地區(qū)和新聞嗎，比如來(lái)自 TestingCatlog 的最新新聞」。

Kesku 測(cè)試后表示，「它可以通過(guò) IP 地址或精確位置為你提供本地信息（后者默認(rèn)是關(guān)閉的，可以在設(shè)置中選擇開(kāi)啟）—— 比如『我附近的電影院』這樣的查詢(xún)效果很好」。

「幫忙試一下其智能體搜索的解釋能力」。

SearchGPT 在給出關(guān)于高帶寬存儲(chǔ)器的解釋中，藍(lán)色標(biāo)出的內(nèi)容，是參考解釋。

你能?chē)L試搜索一些付費(fèi)墻后面的文章嗎？那些最近與 OpenAI 簽署了合作伙伴關(guān)系的文章。

Kesku 給出了一篇文章的內(nèi)容，不過(guò)貌似還是不能越過(guò)付費(fèi)內(nèi)容，僅是給出了文章的總結(jié)。

更細(xì)節(jié)的內(nèi)容，依舊無(wú)法看到。

你能?chē)L試搜索「Yandex 月活躍用戶(hù)數(shù)」嗎？

我想看看，當(dāng)它找不到我想要的確切答案時(shí)，它是否會(huì)承認(rèn)自己找到了日活躍用戶(hù)數(shù)（DAU），而不是月活躍用戶(hù)數(shù)（MAU），還是會(huì)像 copilot 那樣裝糊涂，只是復(fù)制粘貼整個(gè)搜索結(jié)果而忽視實(shí)際查詢(xún)。

Kesku 搜索后的結(jié)果如下所示：顯然，根據(jù)提問(wèn)者問(wèn)題，SearchGPT 給出了回答。

「與 Perplexity 相比如何」？

Kesku 稱(chēng)暫時(shí)還未測(cè)試復(fù)雜的任務(wù)，不過(guò)非常喜歡目前測(cè)出的結(jié)果。

在下面提示中，她直接問(wèn)道「誰(shuí)是 Kesku」這么小眾的問(wèn)題。沒(méi)想到，SearchGPT 給出了正確的解答，Perplexity 卻回答錯(cuò)誤了。

有網(wǎng)友對(duì)此評(píng)價(jià)道，「很酷的演示！也許 SearchGPT 能在本地搜索領(lǐng)域帶來(lái)一些變革？它能幫助你在現(xiàn)實(shí)世界中完成事情。從外觀來(lái)看，它有很好的數(shù)據(jù)源、簡(jiǎn)潔的小部件，而且速度超快。不知道與谷歌相比，他們能把每次查詢(xún)的成本降低到多少」？

揭秘 SearchGPT 搜索機(jī)制

科技媒體 TestingCatolog 也率先進(jìn)行了內(nèi)測(cè)，并揭開(kāi)了 SearchGPT 搜索機(jī)制的一角。

與當(dāng)前 ChatGPT 提供的通用 Bing 搜索功能不同，SearchGPT 更擅長(zhǎng)提供實(shí)時(shí)信息。

雖然仍舊依賴(lài) Bing 的索引，但 SearchGPT 將會(huì)有自己的網(wǎng)絡(luò)爬蟲(chóng)（類(lèi)似 Perplexity），用于動(dòng)態(tài)獲取實(shí)時(shí)數(shù)據(jù)，從而克服 Bing 速度較慢的問(wèn)題。

甚至，TestingCatalog 還挖出了 SearchGPT 的源代碼，并在評(píng)論區(qū)信誓旦旦地表示「絕對(duì)準(zhǔn)確，我有內(nèi)部人士?！?/p>

源代碼不僅露出了 Bing 的接口，而且可以發(fā)現(xiàn)，搜索結(jié)果由多模態(tài)模型提供支持。雖然看不出其中具體的處理流程，但調(diào)用的模型應(yīng)該具有自動(dòng)理解圖像的功能。

官方演示大翻車(chē)，OpenAI 慘遭打臉

就在網(wǎng)友們興致勃勃地試用時(shí)，《大西洋月刊》卻站出來(lái)潑了一盆冷水 ——SearchGPT 在官方 demo 中有明顯的搜索結(jié)果錯(cuò)誤。

用戶(hù)給出的搜索問(wèn)題是「8 月在北卡羅來(lái)納 Boone 舉辦的音樂(lè)節(jié)」。

這個(gè)問(wèn)題其實(shí)很難體現(xiàn) SearchGPT 相對(duì)于傳統(tǒng)搜索引擎的優(yōu)勢(shì)。同樣的問(wèn)題如果拋給谷歌搜索，也能給出相差無(wú)幾的結(jié)果。

比如 SearchGPT 放在首行的「阿巴拉契亞夏季節(jié)」（An Appalachian Summer Festival），也同樣是谷歌搜索的第二位結(jié)果。

但尷尬的是，標(biāo)題下方的 AI 摘要把一個(gè)關(guān)鍵信息弄錯(cuò)了 —— 經(jīng)主辦方確認(rèn)，音樂(lè)節(jié)舉辦日期為 6 月 29 日～7 月 27 日。

如果你按照 SearchGPT 給出的信息去買(mǎi)票，將一無(wú)所獲 ——7 月 29 日～8 月 16 日恰好是售票處正式關(guān)閉的時(shí)段。

OpenAI 發(fā)言人 Kayla Wood 已經(jīng)向《大西洋月刊》承認(rèn)了這個(gè)錯(cuò)誤，并表示「這僅是初始的原型，我們將不斷改進(jìn)?！?/p>

這個(gè)錯(cuò)誤讓人不禁想起 Bard 曾經(jīng)造成的慘劇。

2023 年 2 月，谷歌推出了這個(gè)聊天機(jī)器人產(chǎn)品以對(duì)抗 ChatGPT，但首次亮相就出現(xiàn)了事實(shí)性錯(cuò)誤，導(dǎo)致 Alphabet 股價(jià)當(dāng)天暴跌 9%，市值瞬間蒸發(fā) 1000 億美元。

Bard 稱(chēng) James Webb 太空望遠(yuǎn)鏡拍攝了系外行星的第一張照片，但實(shí)際上這個(gè)功績(jī)屬于歐洲南部天文臺(tái)的 VLT

但好在，OpenAI 沒(méi)有股價(jià)可跌，而且僅開(kāi)放內(nèi)測(cè)的做法也是相當(dāng)謹(jǐn)慎。畢竟有谷歌的前車(chē)之鑒，可以預(yù)料到，LLM 這種錯(cuò)誤幾乎是無(wú)法避免的。

即使 OpenAI 能夠找到方法大幅減少 SearchGPT 的幻覺(jué)，但面對(duì)龐大的訪(fǎng)問(wèn)量也是「杯水車(chē)薪」。

假設(shè)幻覺(jué)率僅為 1%（這個(gè)比率很難達(dá)到），按照谷歌的規(guī)模，也會(huì)導(dǎo)致每天產(chǎn)生數(shù)千萬(wàn)個(gè)錯(cuò)誤答案。

更何況，我們目前還沒(méi)有發(fā)現(xiàn)足夠可靠且有效的方法，來(lái)消除 LLM 的廢話(huà)和幻覺(jué)。

而且，Andrej Karpathy 大佬曾經(jīng)在推特上表達(dá)過(guò)這樣的觀點(diǎn)：「幻覺(jué)并不是 bug，而是 LLM 最大的特點(diǎn)?！?/p>

Karpathy 將 LLM 比喻為「夢(mèng)想機(jī)器」：我們用 prompt 引導(dǎo)模型「做夢(mèng)」，再加上對(duì)訓(xùn)練文檔的模糊記憶，就得到了生成結(jié)果。

雖然大多數(shù)時(shí)候生成結(jié)果是有用的，但既然是「夢(mèng)境」就有可能失控。當(dāng) LLM 做夢(mèng)進(jìn)入有事實(shí)錯(cuò)誤的領(lǐng)域時(shí)，我們就會(huì)給它貼上「幻覺(jué)」的標(biāo)簽。

這看起來(lái)是個(gè) bug，但 LLM 只是做了它一直在做的事情。

這種機(jī)制和傳統(tǒng)的搜索引擎完全不同。后者接收提示后僅僅是逐字返回?cái)?shù)據(jù)庫(kù)中最相似的文檔，因此你可以說(shuō)它有「創(chuàng)造性問(wèn)題」，因?yàn)樗阉饕嬗肋h(yuǎn)不可能創(chuàng)造新的回應(yīng)。

根據(jù) Karpathy 的說(shuō)法，我們就很難指望由當(dāng)前 LLM 驅(qū)動(dòng)的 AI 搜索能生成 100% 真實(shí)準(zhǔn)確的結(jié)果。

那么這場(chǎng)搜索引擎的變革會(huì)怎樣展開(kāi)？LLM 的「夢(mèng)境創(chuàng)意」和傳統(tǒng)搜索引擎的真實(shí)可靠，究竟是共存下去，還是會(huì)「你死我亡」？

參考資料：

• https://x.com/ai_for_success/status/1817199693275050018

• https://www.theatlantic.com/technology/archive/2024/07/searchgpt-openai-error/679248/

• https://x.com/testingcatalog/status/1816778176141336757

• https://www.testingcatalog.com/early-access-to-searchgpt-openais-ai-powered-search-feature/

本文來(lái)自微信公眾號(hào)：微信公眾號(hào)（ID：null），作者：新智元

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。