IT之家 10 月 14 日消息，科技媒體 9to5Mac 今天（10 月 14 日）發(fā)布博文，報(bào)道稱蘋果提出 FS-DFM 擴(kuò)散模型，僅需 8 輪快速迭代，即可生成與傳統(tǒng)模型上千輪迭代質(zhì)量相媲美的文本，且寫入速度比同類模型最多可提高 128 倍。

蘋果公司與俄亥俄州立大學(xué)的研究團(tuán)隊(duì)近期聯(lián)合發(fā)表論文，提出一種名為“少步離散流匹配”（Few-Step Discrete Flow-Matching，簡(jiǎn)稱 FS-DFM）的新型語(yǔ)言模型。

該模型專注于解決長(zhǎng)文本生成領(lǐng)域的效率瓶頸，僅需 8 輪快速精練，就能生成高質(zhì)量的長(zhǎng)篇文本，其效果足以媲美傳統(tǒng)擴(kuò)散模型執(zhí)行上千步迭代所實(shí)現(xiàn)的效果。

在深入了解 FS-DFM 之前，需要區(qū)分兩種主流的語(yǔ)言模型范式：

• 以 ChatGPT 為代表的自回歸模型，其工作方式是逐字（Token）串行生成文本，后一個(gè)字的生成依賴于前面所有內(nèi)容。

• 而擴(kuò)散模型則采用并行策略，一次性生成多個(gè)字，再通過(guò)多輪迭代逐步優(yōu)化，直至形成完整的回應(yīng)。

FS-DFM 作為擴(kuò)散模型的一個(gè)變體，進(jìn)一步簡(jiǎn)化了迭代過(guò)程，旨在用最少的步驟直接生成最終結(jié)果。IT之家援引博文介紹，蘋果研究人員為實(shí)現(xiàn)這一突破，設(shè)計(jì)了一套精妙的三步法：

• 首先，模型經(jīng)過(guò)專門訓(xùn)練，能夠靈活適應(yīng)不同的精煉迭代次數(shù)。

• 其次，團(tuán)隊(duì)引入一個(gè)“教師”模型進(jìn)行引導(dǎo)，確保模型在每輪迭代中都能進(jìn)行大幅且精準(zhǔn)的更新，同時(shí)避免出現(xiàn)“矯枉過(guò)正”的問(wèn)題。

• 最后，他們還優(yōu)化了迭代機(jī)制本身，讓模型能以更少、更穩(wěn)健的步驟生成最終文本。

在性能評(píng)估中，F(xiàn)S-DFM 還支持對(duì)比了擁有 70 億參數(shù)的 Dream 模型和 80 億參數(shù)的 LLaDA 模型。測(cè)試結(jié)果顯示，即使是參數(shù)量?jī)H為 1.7 億至 17 億的 FS-DFM 變體，在困惑度（衡量文本準(zhǔn)確與流暢性的指標(biāo)，越低越好）和熵（衡量模型選詞置信度的指標(biāo)。熵太低，生成的文本可能單調(diào)重復(fù)；熵太高，則可能胡言亂語(yǔ)）兩項(xiàng)關(guān)鍵數(shù)據(jù)上，都表現(xiàn)出更低的困惑度和更穩(wěn)定的熵。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。