本文來自微信公眾號：SF 中文 （ID：kexuejiaodian），作者：SF

大腦中的海馬體在學(xué)習(xí)、記憶和空間表征等方面發(fā)揮了關(guān)鍵作用，而海馬體發(fā)揮作用的過程都依賴于 NMDA 受體。NMDA 受體就是 N-甲基-D-天冬氨酸受體，是離子型谷氨酸受體的一個亞型，分子結(jié)構(gòu)復(fù)雜。

近日，第 37 屆神經(jīng)信息處理系統(tǒng)年會在美國新奧爾良市舉行。在會上，有科學(xué)團(tuán)隊(duì)提出，人工智能模型 Transformer 具有類似 NMDA 受體的功能。除了這項(xiàng)發(fā)現(xiàn)，他們還設(shè)計了新的非線性函數(shù)，讓 Transformer 模型模擬 NMDA 受體的動力學(xué)性能。

NMDA 受體是一個“智能”通道，可以促進(jìn)記憶和技能的形成。如果大腦中存在谷氨酸，神經(jīng)細(xì)胞會變得興奮，向 NMDA 受體傳遞神經(jīng)遞質(zhì)。同時，鎂離子會負(fù)責(zé)把關(guān)，當(dāng)鎂離子被從 NMDA 受體上擠走，神經(jīng)遞質(zhì)才被允許進(jìn)入下一個神經(jīng)細(xì)胞。在海馬體中，順暢的物質(zhì)傳遞才能保證短期記憶有效地轉(zhuǎn)化為長期記憶，同時鎂離子負(fù)責(zé)選擇性地讓物質(zhì)通過。

在新研究中，科學(xué)家發(fā)現(xiàn) Transformer 模型中也有類似于 NMDA 受體中鎂離子把關(guān)的過程，并且，調(diào)整 Transformer 模型的參數(shù)可以使模型的記憶能力增強(qiáng)。這一發(fā)現(xiàn)促使研究人員思考，是否可以通過研究 NMDA 受體中鎂離子把關(guān)的機(jī)制，來制定出調(diào)控 Transformer 模型記憶鞏固過程的方法，并使模型具有系統(tǒng)的長期記憶，甚至具備意識。

短期記憶與長期記憶

想要明白長期記憶對人工智能的意義，我們需要先理解短期記憶與長期記憶。

或許許多人都有為手機(jī)內(nèi)存不夠苦惱過，大幾千的手機(jī)用了兩三年內(nèi)存就告急了。但是手機(jī)平時用著并不“卡”，也沒有要更換的必要。我們通常會通過刪除或轉(zhuǎn)移走聊天記錄、圖片或視頻等方法，來給手機(jī)騰內(nèi)存空間。

手機(jī)用著不“卡”，可能是因?yàn)槭謾C(jī)的系統(tǒng)內(nèi)存還有富余。系統(tǒng)內(nèi)存是一種隨機(jī)存儲器（RAM），被用于存儲手機(jī)程序運(yùn)行時的數(shù)據(jù)，因此也被稱為運(yùn)行內(nèi)存。系統(tǒng)內(nèi)存無法長期存儲數(shù)據(jù)，可能退出了應(yīng)用程序，相關(guān)的數(shù)據(jù)就丟失了。

與系統(tǒng)內(nèi)存對應(yīng)的是手機(jī)機(jī)身內(nèi)存。手機(jī)聊天記錄丟失，或者無法拍照，可能是由于機(jī)身內(nèi)存剩余的空間不夠了。機(jī)身內(nèi)存是一種只讀存儲器（ROM），可以穩(wěn)定、長期地存儲數(shù)據(jù)。但 ROM 的數(shù)據(jù)也并不是都不可擦除，現(xiàn)在也有了可編程、可擦除的 ROM，因此，我們現(xiàn)在也可以自動清理手機(jī)的機(jī)身內(nèi)存。

與此類似，動物的大腦也是這樣運(yùn)行的?？梢哉f，RAM 相當(dāng)于動物的短期記性，ROM 相當(dāng)于長期記憶，而 ROM 數(shù)據(jù)可擦除或許就相當(dāng)于大腦器質(zhì)性病變。

關(guān)于動物長期記憶和短期記憶的一個著名謠言就是“魚的記憶只有 7 秒”?？茖W(xué)家曾對魚進(jìn)行電擊實(shí)驗(yàn)，發(fā)現(xiàn)魚在 20 秒后還有回避有電擊危險的地方。還有一項(xiàng)新研究顯示，猿類可以記得它們幾十年未見的朋友，這是有記錄以來最持久的非人類社會記憶。

不管是大腦，還是手機(jī)這樣的電腦，都采取了類似的數(shù)據(jù)存儲方式，這是因?yàn)榫湍壳暗募夹g(shù)而言，針對存儲這項(xiàng)功能，任何硬件設(shè)施可發(fā)揮的作用都是有限的，而這種短期記憶和長期記憶結(jié)合的方式就是在受硬件設(shè)施限制的情況下，一種高效率的解決方案。

另外，大腦生成的長期記憶為解決復(fù)雜問題提供了基礎(chǔ)。長期記憶實(shí)際上存在于大腦皮層。在大腦皮層，記憶意味著改變腦細(xì)胞之間的鏈接，構(gòu)建新的鏈路，形成新的網(wǎng)絡(luò)模式。海馬體負(fù)責(zé)將短期以及轉(zhuǎn)化為長期記憶，如果海馬體受損，人就會變得“很健忘”。

Transformer 模型與海馬體

其實(shí)，在這項(xiàng)研究之前，Transformer 模型與海馬體之間就有淵源。

Transformer 模型是一種人工神經(jīng)網(wǎng)絡(luò)模型，可以并行訓(xùn)練，具有全局思維?，F(xiàn)在火爆的 GPT 系列預(yù)訓(xùn)練語言模型就是基于這個模型。2017 年，Transformer 模型作為人工智能領(lǐng)域用于處理自然語言的一種新模型被首次提出，而當(dāng)時的其他神經(jīng)網(wǎng)絡(luò)模型僅將輸入與某些特定的輸入相連。

此前，有研究顯示，Transfrmer 模型是在完全沒有生物學(xué)知識輔助的情況下開發(fā)出來的，但其架構(gòu)卻和大腦中海馬體的結(jié)構(gòu)極其相似。

Transformer 模型的工作原理是一種被稱為“自注意力”（self-attention）的機(jī)制 —— 每個輸入，不管是一個單詞，一個像素，還是序列中的一個數(shù)字，總是與其余每個輸入相連。

與此相對應(yīng)的是，海馬體在情景記憶和空間認(rèn)知等大腦功能中承載了核心功能，它可以調(diào)動抽象的結(jié)構(gòu)性信息，而這些信息通常是大腦行使各種不同的功能而積累的。也就是說，海馬體為了解決具體問題，可以系統(tǒng)地抽取負(fù)責(zé)其他大腦功能的區(qū)域存儲的信息。

我們甚至無法說是“人工智能模型里面有一個海馬體”還是“大腦中有一個 Transformer 模型”。對 Transformer 模型的研究，可以提高我們對大腦的理解，同時，對大腦的深入研究，也可以促進(jìn)人工智能的發(fā)展。

具備長期記憶會讓人工智能更“智能”嗎？

人類有長期記憶才有意識，才有自我。有些海馬體受損的人或許可以對短期記憶表現(xiàn)出的瞬間意識，但此時的他已經(jīng)和曾經(jīng)具有自我的那個人不一樣了。

現(xiàn)在的人工智能模型還沒有長期記憶，它們通常都是重復(fù)使用已經(jīng)學(xué)習(xí)好的模型或者已經(jīng)被人工定義好的模型，不具備不斷獲取信息和知識，并把新的信息與知識加入到系統(tǒng)中的機(jī)制。有觀點(diǎn)認(rèn)為，具備長期記憶將是人工智能模型演進(jìn)到一個更高階段的表現(xiàn)，也是未來人工智能領(lǐng)域的熱點(diǎn)。

但是，梳理了 Transformer 模型與海馬體的關(guān)系之后，我們發(fā)現(xiàn)，有些人工智能技術(shù)并沒有刻意往人的意識和思維方面靠攏，但卻具備了與人的大腦類似的功能。那么，我們一定要按照人類的意識和思維來度量人工智能是否“智能”嗎？

要回答這個問題，需要先回到這項(xiàng)技術(shù)發(fā)展的初期?，F(xiàn)在，人們普遍認(rèn)知的人工智能就是“用機(jī)器模擬人的意識和思維”。但是，在初期，它與“使機(jī)器智能化”這個研究方向是密不可分的。

在那時，許多科學(xué)家努力讓機(jī)器學(xué)習(xí)數(shù)學(xué)思維、邏輯關(guān)系等，讓它們能高效地推理數(shù)學(xué)猜想等（例如數(shù)學(xué)家吳文俊，中國人工智能領(lǐng)域最高榮譽(yù)“吳文俊人工智能科學(xué)技術(shù)獎”就是以他的名字命名），而如果要用“人的思維”去解決這些問題，其實(shí)并不一定高效。

對于曾經(jīng)的電腦和現(xiàn)在的智能手機(jī)，許多人都不會覺得它們“像人”，即使它們在某些方面與人腦類似。這些技術(shù)不算人工智能，發(fā)展這些技術(shù)的初衷并不是為了模擬人的意識和思維，只是以“使機(jī)器智能化”的方式，來更高效地解決一些問題。而最終，這個初衷確實(shí)實(shí)現(xiàn)了。

正如在谷歌大腦（Google Brain）研究 Transformer 模型的計算機(jī)科學(xué)家大衛(wèi)?哈（David Ha）所說的：“我們并不是在嘗試重新建造一個大腦，但我們能否創(chuàng)造出足以復(fù)制大腦所作所為的機(jī)制呢？”或許，無論以什么方式，只要能實(shí)現(xiàn)大腦低成本、高性能的運(yùn)行效果，就可以讓人工智能更“智能”。

關(guān)于人工智能性價比的考慮

近幾年，以 ChatGPT 為代表的大語言模型火爆全球。人們在這些人工智能模型身上看到了無限的可能性，這些模型似乎無所不能，并且還有巨大的潛力?，F(xiàn)在，許多科研機(jī)構(gòu)在調(diào)配資源的時候都會慎重考慮大語言模型。

但是，許多人也開始考慮大語言模型“值不值”。這類大型人工智能模型的運(yùn)行和升級需要大量的資源，增加對它們的投入，勢必會影響其他科研領(lǐng)域的發(fā)展。另一方面，如果人工智能模型一直保持高成本運(yùn)行，自身的發(fā)展也會受到影響。

在這項(xiàng)新研究中，科學(xué)家在 Transformer 模型中發(fā)現(xiàn)的這個機(jī)制與大腦海馬體的鎂離子把關(guān)類似。鎂離子把關(guān)在形成記憶和鞏固記憶方面有重要作用，Transformer 模型中的這個機(jī)制也具有鞏固記憶的效果。那么，對這個機(jī)制進(jìn)行深入研究，或許可以復(fù)制大腦低成本、高性能的運(yùn)行效果，并在節(jié)省大量資源的同時，提升人工智能的發(fā)展速度。

參考文獻(xiàn)：

• https://openreview.net/forum?id=vKpVJxplmB

• https://www.pnas.org/doi/full/10.1073/pnas.2304903120

• https://arxiv.org/abs/2112.04035

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。