IT之家 5 月 13 日消息，研究人員 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了長短期記憶（Long short-term memory，LSTM）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可用來解決循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）長期記憶能力不足的問題。
而最近 Sepp Hochreiter 在 arXiv 上發(fā)布論文，提出了一種名為 xLSTM（Extended LSTM）的新架構(gòu)，號稱可以解決 LSTM 長期以來“只能按照時序處理信息”的“最大痛點(diǎn)”，從而“迎戰(zhàn)”目前廣受歡迎的 Transformer 架構(gòu)。
IT之家從論文中獲悉，Sepp Hochreiter 在新的 xLSTM 架構(gòu)中采用了指數(shù)型門控循環(huán)網(wǎng)絡(luò)，同時為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)引入了“sLSTM”和“mLSTM”兩項記憶規(guī)則，從而允許相關(guān)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地利用 RAM，實(shí)現(xiàn)類 Transformer“可同時對所有 Token 進(jìn)行處理”的并行化操作。
團(tuán)隊使用了 150 億個 Token 訓(xùn)練基于 xLSTM 及 Transformer 架構(gòu)的兩款模型進(jìn)行測試，在評估后發(fā)現(xiàn) xLSTM 表現(xiàn)最好，尤其在“語言能力”方面最為突出，據(jù)此研究人員認(rèn)為 xLSTM 未來有望能夠與 Transformer 進(jìn)行“一戰(zhàn)”。
參考
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。