本文來(lái)自微信公眾號(hào)：SF 中文 （ID：kexuejiaodian），作者：SF

大腦中的海馬體在學(xué)習(xí)、記憶和空間表征等方面發(fā)揮了關(guān)鍵作用，而海馬體發(fā)揮作用的過(guò)程都依賴于 NMDA 受體。NMDA 受體就是 N-甲基-D-天冬氨酸受體，是離子型谷氨酸受體的一個(gè)亞型，分子結(jié)構(gòu)復(fù)雜。

近日，第 37 屆神經(jīng)信息處理系統(tǒng)年會(huì)在美國(guó)新奧爾良市舉行。在會(huì)上，有科學(xué)團(tuán)隊(duì)提出，人工智能模型 Transformer 具有類似 NMDA 受體的功能。除了這項(xiàng)發(fā)現(xiàn)，他們還設(shè)計(jì)了新的非線性函數(shù)，讓 Transformer 模型模擬 NMDA 受體的動(dòng)力學(xué)性能。

NMDA 受體是一個(gè)“智能”通道，可以促進(jìn)記憶和技能的形成。如果大腦中存在谷氨酸，神經(jīng)細(xì)胞會(huì)變得興奮，向 NMDA 受體傳遞神經(jīng)遞質(zhì)。同時(shí)，鎂離子會(huì)負(fù)責(zé)把關(guān)，當(dāng)鎂離子被從 NMDA 受體上擠走，神經(jīng)遞質(zhì)才被允許進(jìn)入下一個(gè)神經(jīng)細(xì)胞。在海馬體中，順暢的物質(zhì)傳遞才能保證短期記憶有效地轉(zhuǎn)化為長(zhǎng)期記憶，同時(shí)鎂離子負(fù)責(zé)選擇性地讓物質(zhì)通過(guò)。

在新研究中，科學(xué)家發(fā)現(xiàn) Transformer 模型中也有類似于 NMDA 受體中鎂離子把關(guān)的過(guò)程，并且，調(diào)整 Transformer 模型的參數(shù)可以使模型的記憶能力增強(qiáng)。這一發(fā)現(xiàn)促使研究人員思考，是否可以通過(guò)研究 NMDA 受體中鎂離子把關(guān)的機(jī)制，來(lái)制定出調(diào)控 Transformer 模型記憶鞏固過(guò)程的方法，并使模型具有系統(tǒng)的長(zhǎng)期記憶，甚至具備意識(shí)。

短期記憶與長(zhǎng)期記憶

想要明白長(zhǎng)期記憶對(duì)人工智能的意義，我們需要先理解短期記憶與長(zhǎng)期記憶。

或許許多人都有為手機(jī)內(nèi)存不夠苦惱過(guò)，大幾千的手機(jī)用了兩三年內(nèi)存就告急了。但是手機(jī)平時(shí)用著并不“卡”，也沒(méi)有要更換的必要。我們通常會(huì)通過(guò)刪除或轉(zhuǎn)移走聊天記錄、圖片或視頻等方法，來(lái)給手機(jī)騰內(nèi)存空間。

手機(jī)用著不“卡”，可能是因?yàn)槭謾C(jī)的系統(tǒng)內(nèi)存還有富余。系統(tǒng)內(nèi)存是一種隨機(jī)存儲(chǔ)器（RAM），被用于存儲(chǔ)手機(jī)程序運(yùn)行時(shí)的數(shù)據(jù)，因此也被稱為運(yùn)行內(nèi)存。系統(tǒng)內(nèi)存無(wú)法長(zhǎng)期存儲(chǔ)數(shù)據(jù)，可能退出了應(yīng)用程序，相關(guān)的數(shù)據(jù)就丟失了。

與系統(tǒng)內(nèi)存對(duì)應(yīng)的是手機(jī)機(jī)身內(nèi)存。手機(jī)聊天記錄丟失，或者無(wú)法拍照，可能是由于機(jī)身內(nèi)存剩余的空間不夠了。機(jī)身內(nèi)存是一種只讀存儲(chǔ)器（ROM），可以穩(wěn)定、長(zhǎng)期地存儲(chǔ)數(shù)據(jù)。但 ROM 的數(shù)據(jù)也并不是都不可擦除，現(xiàn)在也有了可編程、可擦除的 ROM，因此，我們現(xiàn)在也可以自動(dòng)清理手機(jī)的機(jī)身內(nèi)存。

與此類似，動(dòng)物的大腦也是這樣運(yùn)行的?？梢哉f(shuō)，RAM 相當(dāng)于動(dòng)物的短期記性，ROM 相當(dāng)于長(zhǎng)期記憶，而 ROM 數(shù)據(jù)可擦除或許就相當(dāng)于大腦器質(zhì)性病變。

關(guān)于動(dòng)物長(zhǎng)期記憶和短期記憶的一個(gè)著名謠言就是“魚的記憶只有 7 秒”。科學(xué)家曾對(duì)魚進(jìn)行電擊實(shí)驗(yàn)，發(fā)現(xiàn)魚在 20 秒后還有回避有電擊危險(xiǎn)的地方。還有一項(xiàng)新研究顯示，猿類可以記得它們幾十年未見的朋友，這是有記錄以來(lái)最持久的非人類社會(huì)記憶。

不管是大腦，還是手機(jī)這樣的電腦，都采取了類似的數(shù)據(jù)存儲(chǔ)方式，這是因?yàn)榫湍壳暗募夹g(shù)而言，針對(duì)存儲(chǔ)這項(xiàng)功能，任何硬件設(shè)施可發(fā)揮的作用都是有限的，而這種短期記憶和長(zhǎng)期記憶結(jié)合的方式就是在受硬件設(shè)施限制的情況下，一種高效率的解決方案。

另外，大腦生成的長(zhǎng)期記憶為解決復(fù)雜問(wèn)題提供了基礎(chǔ)。長(zhǎng)期記憶實(shí)際上存在于大腦皮層。在大腦皮層，記憶意味著改變腦細(xì)胞之間的鏈接，構(gòu)建新的鏈路，形成新的網(wǎng)絡(luò)模式。海馬體負(fù)責(zé)將短期以及轉(zhuǎn)化為長(zhǎng)期記憶，如果海馬體受損，人就會(huì)變得“很健忘”。

Transformer 模型與海馬體

其實(shí)，在這項(xiàng)研究之前，Transformer 模型與海馬體之間就有淵源。

Transformer 模型是一種人工神經(jīng)網(wǎng)絡(luò)模型，可以并行訓(xùn)練，具有全局思維?，F(xiàn)在火爆的 GPT 系列預(yù)訓(xùn)練語(yǔ)言模型就是基于這個(gè)模型。2017 年，Transformer 模型作為人工智能領(lǐng)域用于處理自然語(yǔ)言的一種新模型被首次提出，而當(dāng)時(shí)的其他神經(jīng)網(wǎng)絡(luò)模型僅將輸入與某些特定的輸入相連。

此前，有研究顯示，Transfrmer 模型是在完全沒(méi)有生物學(xué)知識(shí)輔助的情況下開發(fā)出來(lái)的，但其架構(gòu)卻和大腦中海馬體的結(jié)構(gòu)極其相似。

Transformer 模型的工作原理是一種被稱為“自注意力”（self-attention）的機(jī)制 —— 每個(gè)輸入，不管是一個(gè)單詞，一個(gè)像素，還是序列中的一個(gè)數(shù)字，總是與其余每個(gè)輸入相連。

與此相對(duì)應(yīng)的是，海馬體在情景記憶和空間認(rèn)知等大腦功能中承載了核心功能，它可以調(diào)動(dòng)抽象的結(jié)構(gòu)性信息，而這些信息通常是大腦行使各種不同的功能而積累的。也就是說(shuō)，海馬體為了解決具體問(wèn)題，可以系統(tǒng)地抽取負(fù)責(zé)其他大腦功能的區(qū)域存儲(chǔ)的信息。

我們甚至無(wú)法說(shuō)是“人工智能模型里面有一個(gè)海馬體”還是“大腦中有一個(gè) Transformer 模型”。對(duì) Transformer 模型的研究，可以提高我們對(duì)大腦的理解，同時(shí)，對(duì)大腦的深入研究，也可以促進(jìn)人工智能的發(fā)展。

具備長(zhǎng)期記憶會(huì)讓人工智能更“智能”嗎？

人類有長(zhǎng)期記憶才有意識(shí)，才有自我。有些海馬體受損的人或許可以對(duì)短期記憶表現(xiàn)出的瞬間意識(shí)，但此時(shí)的他已經(jīng)和曾經(jīng)具有自我的那個(gè)人不一樣了。

現(xiàn)在的人工智能模型還沒(méi)有長(zhǎng)期記憶，它們通常都是重復(fù)使用已經(jīng)學(xué)習(xí)好的模型或者已經(jīng)被人工定義好的模型，不具備不斷獲取信息和知識(shí)，并把新的信息與知識(shí)加入到系統(tǒng)中的機(jī)制。有觀點(diǎn)認(rèn)為，具備長(zhǎng)期記憶將是人工智能模型演進(jìn)到一個(gè)更高階段的表現(xiàn)，也是未來(lái)人工智能領(lǐng)域的熱點(diǎn)。

但是，梳理了 Transformer 模型與海馬體的關(guān)系之后，我們發(fā)現(xiàn)，有些人工智能技術(shù)并沒(méi)有刻意往人的意識(shí)和思維方面靠攏，但卻具備了與人的大腦類似的功能。那么，我們一定要按照人類的意識(shí)和思維來(lái)度量人工智能是否“智能”嗎？

要回答這個(gè)問(wèn)題，需要先回到這項(xiàng)技術(shù)發(fā)展的初期?，F(xiàn)在，人們普遍認(rèn)知的人工智能就是“用機(jī)器模擬人的意識(shí)和思維”。但是，在初期，它與“使機(jī)器智能化”這個(gè)研究方向是密不可分的。

在那時(shí)，許多科學(xué)家努力讓機(jī)器學(xué)習(xí)數(shù)學(xué)思維、邏輯關(guān)系等，讓它們能高效地推理數(shù)學(xué)猜想等（例如數(shù)學(xué)家吳文俊，中國(guó)人工智能領(lǐng)域最高榮譽(yù)“吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)”就是以他的名字命名），而如果要用“人的思維”去解決這些問(wèn)題，其實(shí)并不一定高效。

對(duì)于曾經(jīng)的電腦和現(xiàn)在的智能手機(jī)，許多人都不會(huì)覺(jué)得它們“像人”，即使它們?cè)谀承┓矫媾c人腦類似。這些技術(shù)不算人工智能，發(fā)展這些技術(shù)的初衷并不是為了模擬人的意識(shí)和思維，只是以“使機(jī)器智能化”的方式，來(lái)更高效地解決一些問(wèn)題。而最終，這個(gè)初衷確實(shí)實(shí)現(xiàn)了。

正如在谷歌大腦（Google Brain）研究 Transformer 模型的計(jì)算機(jī)科學(xué)家大衛(wèi)?哈（David Ha）所說(shuō)的：“我們并不是在嘗試重新建造一個(gè)大腦，但我們能否創(chuàng)造出足以復(fù)制大腦所作所為的機(jī)制呢？”或許，無(wú)論以什么方式，只要能實(shí)現(xiàn)大腦低成本、高性能的運(yùn)行效果，就可以讓人工智能更“智能”。

關(guān)于人工智能性價(jià)比的考慮

近幾年，以 ChatGPT 為代表的大語(yǔ)言模型火爆全球。人們?cè)谶@些人工智能模型身上看到了無(wú)限的可能性，這些模型似乎無(wú)所不能，并且還有巨大的潛力?，F(xiàn)在，許多科研機(jī)構(gòu)在調(diào)配資源的時(shí)候都會(huì)慎重考慮大語(yǔ)言模型。

但是，許多人也開始考慮大語(yǔ)言模型“值不值”。這類大型人工智能模型的運(yùn)行和升級(jí)需要大量的資源，增加對(duì)它們的投入，勢(shì)必會(huì)影響其他科研領(lǐng)域的發(fā)展。另一方面，如果人工智能模型一直保持高成本運(yùn)行，自身的發(fā)展也會(huì)受到影響。

在這項(xiàng)新研究中，科學(xué)家在 Transformer 模型中發(fā)現(xiàn)的這個(gè)機(jī)制與大腦海馬體的鎂離子把關(guān)類似。鎂離子把關(guān)在形成記憶和鞏固記憶方面有重要作用，Transformer 模型中的這個(gè)機(jī)制也具有鞏固記憶的效果。那么，對(duì)這個(gè)機(jī)制進(jìn)行深入研究，或許可以復(fù)制大腦低成本、高性能的運(yùn)行效果，并在節(jié)省大量資源的同時(shí)，提升人工智能的發(fā)展速度。

參考文獻(xiàn)：

• https://openreview.net/forum?id=vKpVJxplmB

• https://www.pnas.org/doi/full/10.1073/pnas.2304903120

• https://arxiv.org/abs/2112.04035

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。