重磅！

谷歌的一份名為《我們沒有護(hù)城河，OpenAI 也沒有》的內(nèi)部文件疑似被泄露，

今天早上，外媒 SemiAnalysis 公布了這份重磅炸彈泄露文件。

據(jù)悉，這份文件是一名匿名人士在 Discord 服務(wù)器上分享出來的，文件來自谷歌內(nèi)部的一名研究員，真實(shí)性已被確認(rèn)。

SemiAnalysis 特別強(qiáng)調(diào)，這份文件僅代表谷歌員工的意見，不代表整個(gè)公司的意見。

內(nèi)部文件

我們沒有護(hù)城河，OpenAI 也沒有

我們一直在嚴(yán)密監(jiān)視著 OpenAI。誰將跨越下一個(gè)里程碑？下一步將是什么？

但現(xiàn)在，令人不安的事實(shí)就是：我們無法贏得這場(chǎng)軍備競(jìng)賽，OpenAI 也不能。

就在我們兩方對(duì)戰(zhàn)的時(shí)候，第三方正在悄悄地吃掉屬于我們的好處。

沒錯(cuò)，我說的就是開源。說白了，他們已經(jīng)超越了我們。我們認(rèn)為的「重大開放問題」如今已經(jīng)解決，掌握在所有用戶手中。幾個(gè)簡(jiǎn)單的例子：

• 手機(jī)上的 LLMs：在 Pixel 6 上，以每秒 5 個(gè) token 的速度，就能運(yùn)行基礎(chǔ)模型。

• 可擴(kuò)展的個(gè)人 AI：只要一個(gè)晚上，就能在筆記本電腦上微調(diào)出一個(gè)個(gè)性化 AI。

• 負(fù)責(zé)任的發(fā)布：這一點(diǎn)倒是沒有「解決」，說「避免」會(huì)更貼切。現(xiàn)在網(wǎng)上到處都是充滿了各種藝術(shù)模型的網(wǎng)站，沒有任何限制，開源的大語言模型也不甘其后。

• 多模態(tài)：當(dāng)前的多模態(tài) ScienceQA SOTA，只用一個(gè)小時(shí)就能訓(xùn)練出來。

雖然我們的模型在質(zhì)量上仍然略有優(yōu)勢(shì)，但差距正在以驚人的速度縮小。

這些開源模型更快、更可定制、更私密，性能也更強(qiáng)大。

他們只用 100 美元和 13B 的參數(shù)，就能做到我們用 1000 萬美元和 540B 的參數(shù)下才能做的事。他們?cè)趲字軆?nèi)完成，而不是幾個(gè)月。

這對(duì)我們有著巨大的沖擊：

• 我們沒有獨(dú)家秘密武器了。最大的希望就是，學(xué)習(xí)其他人正在做的事，與他們合作。我們應(yīng)該優(yōu)先考慮允許第三方集成。

• 當(dāng)這些免費(fèi)的、不受限的開源平替具有完全相當(dāng)?shù)馁|(zhì)量，用戶不會(huì)再為受限的模型付費(fèi)了。我們應(yīng)該考慮下，我們真正的增值在哪里。

• 巨型模型正在減慢我們的速度。從長(zhǎng)遠(yuǎn)來看，最好的模型是那些可以快速迭代的模型。既然我們知道在參數(shù)少于 200 億時(shí)模型會(huì)有怎樣的可能，我們就應(yīng)該更關(guān)注小模型。

發(fā)生了什么

3 月初，隨著 Meta 的 LLaMA 被泄露給公眾，開源社區(qū)得到了第一個(gè)真正性能強(qiáng)大的基礎(chǔ)模型。它沒有指令或?qū)υ捳{(diào)整，也沒有 RLHF。

盡管如此，開源社區(qū)立刻明白：他們得到的東西有多么重要。

隨后，大量創(chuàng)新的開源平替模型不斷地涌現(xiàn)出來。每隔幾天，就出現(xiàn)一個(gè)大進(jìn)展。

才短短一個(gè)月，就有了指令調(diào)整、量化、質(zhì)量改進(jìn)、人工評(píng)估、多模態(tài)、RLHF 這么多功能的變體，許多還是建立在彼此的基礎(chǔ)上的。

最重要的是，他們已經(jīng)解決了規(guī)模的問題，現(xiàn)在任何一個(gè)人，都可以參與其中。

如今，許多全新的想法都來自普通人。訓(xùn)練和實(shí)驗(yàn)的門檻已經(jīng)大大降低，從前需要一個(gè)大型研究機(jī)構(gòu)合力工作，現(xiàn)在，只需要一臺(tái)功能強(qiáng)大的筆記本，一個(gè)人在一晚上就能搞定。

我們本可以預(yù)見到這一切

這對(duì)任何人來說，都不算什么驚喜。圖像生成領(lǐng)域的復(fù)興之后，緊接著就是開源 LLM 的復(fù)興。

許多人說，這就是大語言模型的“Stable Diffusion”時(shí)刻。

在這兩個(gè)領(lǐng)域，讓公眾能夠以低成本參與，都是通過低秩適應(yīng)（LoRA）來實(shí)現(xiàn)的。它讓微調(diào)機(jī)制的成本大大降低，

還實(shí)現(xiàn)了模型規(guī)模的重大突破。（比如圖像合成的 Latent Diffusion，LLM 的 Chinchilla）

在獲得足夠高質(zhì)量的模型后，世界各地的個(gè)人和機(jī)構(gòu)都開始了一系列對(duì)模型的創(chuàng)新和迭代。而這些創(chuàng)新，也迅速超越了大科技公司。

在圖像生成領(lǐng)域，這些貢獻(xiàn)至關(guān)重要，使 Stable Diffusion 走上了與 Dall-E 完全不同的道路。

Stable Diffuision 的開源，導(dǎo)致了產(chǎn)品集成、市場(chǎng)、用戶界面的創(chuàng)新，而在 Dall-E 身上，這些卻沒有發(fā)生。

這樣做的后果是顯而易見的，Stable Diffusion 迅速占據(jù)了主流，與之相比，OpenAI 的解決方案已經(jīng)變得無關(guān)緊要了。

同樣的事情是否會(huì)發(fā)生在 LLM 領(lǐng)域？目前還未知，但這兩件事，有太多相似之處。

我們錯(cuò)過了什么？

開源社區(qū)最近取得成功的很多創(chuàng)新，直接解決了我們還未解決的很多難題。

更多地關(guān)注他們的工作，可以幫我們避免重新造輪子。

LoRA 是一種非常強(qiáng)大的技術(shù)，我們可能應(yīng)該對(duì)它更加關(guān)注。

LoRA 通過將模型更新表示為低秩分解來工作，這將更新矩陣的大小減少了數(shù)千倍以上。

這就讓模型微調(diào)的時(shí)間和成本都大大降低。

如果在幾個(gè)小時(shí)內(nèi)，就能在消費(fèi)級(jí)硬件上微調(diào)出一個(gè)個(gè)性化的語言模型，這件事的意義就太重大了。尤其是，它還可以實(shí)時(shí)整合許多最新的、多樣化的知識(shí)。

但這項(xiàng)技術(shù)在谷歌內(nèi)部并未得到充分重視，盡管它直接影響了我們最寄予厚望的項(xiàng)目。

從頭開始重新訓(xùn)練模型，是一條艱難的道路

LoRA 如此有效的部分原因在于，與其他形式的微調(diào)一樣，它是可堆疊的。

可以應(yīng)用指令調(diào)整改進(jìn)模型，這樣在其他貢獻(xiàn)者添加對(duì)話、推理或工具時(shí)，就可以直接使用。

雖然單獨(dú)的微調(diào)是低秩的，但它們的總和不需要，因此模型的全秩更新就可以隨著時(shí)間的推移而累積。

這意味著，只要有新的、更好的數(shù)據(jù)集和任務(wù)出現(xiàn)，模型就可以以低廉的成本保持最新狀態(tài)，無需支付完整運(yùn)行的成本。

相比之下，從頭開始訓(xùn)練巨型模型不僅會(huì)失去預(yù)訓(xùn)練的過程，還會(huì)失去在頂部進(jìn)行的任何迭代改進(jìn)。

在開源世界中，這些改進(jìn)很快就會(huì)占據(jù)主導(dǎo)地位，這使得全面重新訓(xùn)練模型的成本極其昂貴。

我們應(yīng)該考慮，每個(gè)新的應(yīng)用或想法是否真的需要一個(gè)全新的模型？

如果我們真的有重大的架構(gòu)改進(jìn)，以至于無法直接重新使用模型權(quán)重，那么我們應(yīng)該去投資更積極的蒸餾形式，來盡可能多地保留上一代模型的功能。

如果我們能夠在小模型上快速迭代，那么從長(zhǎng)遠(yuǎn)來看，大模型并不是強(qiáng)到無所不能

LoRA（大型語言模型的低秩適應(yīng)）是微軟提出的一種新穎技術(shù)，旨在解決微調(diào)大型語言模型的問題。

它的更新對(duì)于最受歡迎的模型大小來說非常便宜（約 100 美元），這意味著幾乎任何有想法的人都可以生成一個(gè)，并分發(fā)出去。

以后，一天之內(nèi)訓(xùn)練一個(gè)模型都是平平事。

以這樣的速度，用不了多久，這些微調(diào)的累積效應(yīng)很快就會(huì)彌補(bǔ)起初的模型大小的劣勢(shì)。

事實(shí)上，這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過了我們使用最大模型所能做的，而且最好的模型與 ChatGPT 在很大程度上已經(jīng)無法區(qū)分。

專注于研究一些大模型，反而讓我們處于不利地位。

要數(shù)據(jù)質(zhì)量，不要數(shù)據(jù)規(guī)模

許多項(xiàng)目通過對(duì)小型、精選數(shù)據(jù)集上進(jìn)行訓(xùn)練來節(jié)省時(shí)間。這表明數(shù)據(jù)擴(kuò)展規(guī)律具有一定的靈活性。

這樣數(shù)據(jù)集的存在源于「Data Doesn't Do What You Think」一文中的思路，它們正迅速成為在谷歌之外進(jìn)行訓(xùn)練的標(biāo)準(zhǔn)方式。

這些數(shù)據(jù)集是通過合成方法（比如，從現(xiàn)有模型中篩選出最佳響應(yīng)）和從其他項(xiàng)目中搜集而構(gòu)建。谷歌在這兩者中都不占主導(dǎo)地位。

幸運(yùn)的是，這些高質(zhì)量的數(shù)據(jù)集是開源的，因此可以免費(fèi)使用。

與開源直接競(jìng)爭(zhēng)，是一個(gè)失敗的命題

AI 新進(jìn)展對(duì)谷歌的商業(yè)戰(zhàn)略有著直接、即時(shí)的影響。如果有一個(gè)免費(fèi)的、高質(zhì)量、且沒有使用限制的替代品，誰會(huì)為谷歌產(chǎn)品付費(fèi)？

而且我們不應(yīng)該指望能夠趕上?，F(xiàn)代互聯(lián)網(wǎng)之所以依賴開源，是有原因的。開放源碼有一些我們無法復(fù)制的顯著優(yōu)勢(shì)。

比起他們需要我們，我們更需要他們

我們技術(shù)的保密一直是一個(gè)脆弱的命題。

谷歌的研究人員正定期離開，前往其他公司。所以我們可以假設(shè)他們知道我們所知道的一切。而且只要這條渠道是開放的，他們就會(huì)繼續(xù)這樣做。

但是，由于 LLM 的前沿研究成本低廉，保持技術(shù)領(lǐng)域的競(jìng)爭(zhēng)優(yōu)勢(shì)變得更加困難。

世界各地的研究機(jī)構(gòu)都在相互借鑒，以廣度優(yōu)先的方式探索遠(yuǎn)遠(yuǎn)超出我們自身能力的解決方案空間。

我們可以試著緊緊抓住我們的秘密，而外部創(chuàng)新會(huì)削弱了其價(jià)值，又或者我們可以嘗試著互相學(xué)習(xí)。

與公司相比，個(gè)人受到許可的限制程度較小

近來，模型的創(chuàng)新大多在 Meta 的 LLaMA 模型權(quán)重泄露之后進(jìn)行的。

雖然這肯定會(huì)隨著真正的開源模型變得更好而改變，但關(guān)鍵是他們不必等待。

「?jìng)€(gè)人使用」所提供的法律保護(hù)以及起訴個(gè)人的不切實(shí)際意味著，個(gè)人在這些技術(shù)熾熱時(shí)就能獲得這些技術(shù)。

作為自己的客戶意味著，你理解用例

瀏覽人們?cè)趫D像生成領(lǐng)域中創(chuàng)建的模型，從動(dòng)畫生成器到 HDR 景觀，創(chuàng)造力源源不斷地涌現(xiàn)出來。

這些模型由深入特定子類型的人使用和創(chuàng)建，賦予了我們無法企及的知識(shí)深度和共鳴。

擁有生態(tài)系統(tǒng)：讓開源為我們工作

矛盾的是，大廠競(jìng)相爭(zhēng)先的背后，贏家就是 Meta。

因?yàn)樾孤兜哪Ｐ?LLaMA 是他們的，所以相當(dāng)于他們有效地獲得了整個(gè)星球價(jià)值的免費(fèi)勞動(dòng)力。

由于大多數(shù)開源創(chuàng)新都基于 LLaMA，所以沒有什么能阻止他們直接將其納入自己的產(chǎn)品中。

擁有生態(tài)系統(tǒng)的價(jià)值，未來將不可估量。曾經(jīng)的谷歌已經(jīng)成功地在其開源產(chǎn)品（如 Chrome 和 Android）中使用了這一范式。

通過擁有創(chuàng)新發(fā)生的平臺(tái)，谷歌鞏固了自己作為思想領(lǐng)袖和方向制定者的地位。

我們對(duì)模型的控制越嚴(yán)格，開源替代品就越有吸引力。

谷歌和 OpenAI 都傾向于嚴(yán)格控制模型使用，開啟一種防御性的反應(yīng)。

但是這種控制只是虛構(gòu)的，因?yàn)槿魏卧噲D將 LLMs 用于未經(jīng)批準(zhǔn)的目的的人，都可以選擇自由提供的模型。

谷歌應(yīng)該在開源社區(qū)中確立自己的領(lǐng)導(dǎo)地位，通過合作來發(fā)揮引領(lǐng)作用。

這可能意味著要采取一些令人不安的步驟，比如發(fā)布小型 ULM 變體的模型權(quán)重。這必然意味著放棄對(duì)我們模型的一些控制。

但這種妥協(xié)是不可避免的。我們不能同時(shí)做到既推動(dòng)創(chuàng)新，又控制創(chuàng)新。

結(jié)束語：OpenAI 怎么樣？

鑒于 OpenAI 目前的封閉政策，所有關(guān)于開源的討論可能讓人覺得不公平。

如果他們不愿意，我們?yōu)槭裁匆窒砟兀康聦?shí)是，我們正通過源源不斷地被挖走的高級(jí)研究人員與他們分享了一切。

在我們阻止這股潮流之前，保密是沒有意義的。

最后，OpenAI 并不重要。

相對(duì)于開放源代碼，他們正在犯同樣的錯(cuò)誤，他們保持優(yōu)勢(shì)的能力必然受到質(zhì)疑。

除非他們改變立場(chǎng)，否則開源替代品可以，而且最終會(huì)超越他們。至少在這方面，我們可以先行一步。

開源時(shí)間線

23 年 2 月 24 日，LLAMA 發(fā)布

Meta 發(fā)布 LLaMA，開源代碼，但沒有公布權(quán)重。此時(shí)，LLaMA 尚未進(jìn)行指令或?qū)υ捳{(diào)優(yōu)。

與許多當(dāng)前模型一樣，它是一個(gè)相對(duì)較小的模型（參數(shù)分別為 7B、13B、33B 和 65B），經(jīng)過相對(duì)較長(zhǎng)時(shí)間的訓(xùn)練，因此與其大小相比具有相當(dāng)強(qiáng)大的能力。

23 年 3 月 3 日，不可避免的事情發(fā)生了

不到一周，LLAMA 就被泄露給了公眾。Meta 現(xiàn)有的許可禁止將 LLAMA 用于商業(yè)目的。

突然之間，任何人都可以進(jìn)行試驗(yàn)。在整個(gè)社區(qū)，掀起了模型創(chuàng)新的海嘯。

23 年 3 月 12 日，語言模型在烤箱上運(yùn)行

一個(gè)多星期后，Artem Andreenko 成功在樹莓派上運(yùn)行模型。當(dāng)時(shí)，模型運(yùn)行速度非常慢，因?yàn)闄?quán)重必須在內(nèi)存中分頁，實(shí)用性不強(qiáng)。

盡管如此，這為一系列縮小模型規(guī)模的努力奠定了基礎(chǔ)。

23 年 3 月 13 日，筆記本電腦上的微調(diào)

第二天，斯坦福發(fā)布了 Alpaca，它為 LLaMA 增加了指令調(diào)優(yōu)功能。

然而，重要的是，Eric Wang 的 alpaca-lora 倉(cāng)庫(kù)，它使用 LoRA 在單個(gè) RTX 4090 上幾小時(shí)內(nèi)完成了這個(gè)訓(xùn)練。

從這時(shí)起，突然間，任何人都可以對(duì)模型進(jìn)行微調(diào)，引發(fā)了一場(chǎng)關(guān)于低成本微調(diào)模型的競(jìng)爭(zhēng)。

許多鋪天蓋地的報(bào)道稱 xxx 模型總共花費(fèi)了幾百美元。

更重要的是，低秩更新可以輕松地與原始權(quán)重分開分發(fā)，使他們擺脫了 Meta 原始許可的約束。任何人都可以分享和應(yīng)用它們。

23 年 3 月 18 日，變得更快了

GeorgiGerganov 使用 4 位量化在 MacBookCPU 上運(yùn)行 LLaMA。

這是第一個(gè)「無 GPU」解決方案，速度足夠快，實(shí)用性很強(qiáng)。

23 年 3 月 19 日，一個(gè) 13B 型實(shí)現(xiàn)了與 Bard 的「平衡」

第二天，一個(gè)跨大學(xué)的合作發(fā)布了 Vicuna，并使用 GPT-4 驅(qū)動(dòng)的評(píng)估對(duì)模型輸出進(jìn)行定性比較。雖然評(píng)估方法值得懷疑，但該模型實(shí)質(zhì)上比早期的變體更好。

最最重要的是，只用了 300 美元進(jìn)行訓(xùn)練。

值得注意的是，他們能夠使用來自 ChatGPT 的數(shù)據(jù)，同時(shí)規(guī)避其 API 的限制

他們只需從像 ShareGPT 這樣的網(wǎng)站上獲取令人印象深刻的 ChatGPT 對(duì)話樣本。

23 年 3 月 25 日，選擇自己的模型

Nomic 創(chuàng)建了 GPT4All，它既是一個(gè)模型，更重要的是，它也是一個(gè)生態(tài)系統(tǒng)。

所有人第一次看到模型（包括 Vicuna）匯集在一個(gè)地方。訓(xùn)練費(fèi)用: 100 美元。

23 年 3 月 28 日，開源版 GPT-3

Cerebras 使用 Chinchilla 暗示的最佳計(jì)算計(jì)劃和 μ 參數(shù)化暗示的最佳縮放（optimal scaling）來訓(xùn)練 GPT-3 架構(gòu)。

這比現(xiàn)有的 GPT-3 克隆有很大的優(yōu)勢(shì)，代表了 μ 參數(shù)化在實(shí)際應(yīng)用中的首次使用。這些模型是從零開始訓(xùn)練的，這意味著社區(qū)不再依賴 LLaMA。

23 年 3 月 28 日，一小時(shí)完成多模態(tài)訓(xùn)練

LLaMA-Adapter 采用一種新的參數(shù)有效微調(diào)（PEFT）技術(shù)，在一個(gè)小時(shí)的訓(xùn)練中引入指令調(diào)優(yōu)和多模態(tài)。

令人印象深刻的是，它們只使用了 120 萬個(gè)可學(xué)習(xí)參數(shù)。該模型在多模態(tài) ScienceQA 上刷新了 SOTA。

23 年 4 月 3 日，人們無法區(qū)分 13B 開源模型和 ChatGPT

伯克利發(fā)布了 Koala，這是一個(gè)完全使用免費(fèi)數(shù)據(jù)進(jìn)行訓(xùn)練的對(duì)話模型。

他們采取了衡量真實(shí)人類在 Koala 和 ChatGPT 之間的偏好的關(guān)鍵步驟。

雖然 ChatGPT 仍然稍占上風(fēng)，但超過 50% 的時(shí)間，用戶要么更喜歡 Koala，要么無所謂。訓(xùn)練費(fèi)用: 100 美元。

23 年 4 月 15 日，ChatGPT 級(jí)的開源 RLHF

Open Assistant 發(fā)布了一個(gè)模型，更重要的是，發(fā)布了一個(gè)用于通過 RLHF 進(jìn)行對(duì)齊的數(shù)據(jù)集。

這一模型在人類偏好方面接近 ChatGPT (48.3%:51.7%)。

除了 LLaMA 之外，他們還展示了這個(gè)數(shù)據(jù)集可以應(yīng)用到 Pythia-12B 上，為人們使用一個(gè)完全打開的堆棧來運(yùn)行模型提供了選擇。

此外，由于數(shù)據(jù)集是公開可用的，它使得對(duì)于小型實(shí)驗(yàn)者來說，RLHF 從不可實(shí)現(xiàn)變得便宜，且容易。

谷歌筑墻，啪啪打臉

雖說開源是勝利，但現(xiàn)在的谷歌卻反身架起城墻，拒絕開源。

今年 2 月，長(zhǎng)期擔(dān)任谷歌人工智能部門負(fù)責(zé)人 Jeff Dean 對(duì)內(nèi)宣布了一項(xiàng)令人震驚的政策轉(zhuǎn)變：

推遲與外界分享內(nèi)部工作。

多年來，Dean 一直把部門當(dāng)作一所大學(xué)來管理，鼓勵(lì)研究人員大量發(fā)表學(xué)術(shù)論文。據(jù) Google Research 顯示，自 2019 年以來，他們推動(dòng)了近 500 項(xiàng)研究。

自 ChatGPT 誕生以來，一路風(fēng)生水起，顯然讓谷歌一時(shí)慌了神，并就此必須做出改變。

Dean 表示，谷歌在人工智能領(lǐng)域的發(fā)現(xiàn)只有轉(zhuǎn)化成產(chǎn)品后，才會(huì)共享論文。

Jeff Dean 在谷歌研究部門的季度會(huì)議上表示，這家位于舊金山的初創(chuàng)公司 OpenAI，通過學(xué)習(xí)團(tuán)隊(duì)的論文，才跟上了谷歌的步伐。

我們都知道，ChatGPT 中的 T 便指的是谷歌 Transformer 架構(gòu)，是以 Transformer 架構(gòu)為核心的大型語言模型。

為了追趕 ChatGPT，谷歌開啟了防御模式。這對(duì)谷歌來說，是一個(gè)重大轉(zhuǎn)變。

這一政策首先是為了抵御一批強(qiáng)大的 AI 競(jìng)爭(zhēng)對(duì)手，另外是為了保護(hù)其核心搜索業(yè)務(wù)、以及可能的未來。

然而正如內(nèi)部文件泄露所稱，谷歌不是勝者，OpenAI 也不是，真正的贏家才是 Meta。

開源的勝利，谷歌曾嘗過?，F(xiàn)在，是該做些改變了。

參考資料：

• https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

• https://www.washingtonpost.com/technology/2023/05/04/google-ai-stop-sharing-research/?utm_source=reddit.com

本文來自微信公眾號(hào)：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。