IT之家 4 月 20 日消息，來(lái)自 GitHub 的 Lvmin Zhang 與斯坦福大學(xué)的 Maneesh Agrawala 合作，共同推出了一項(xiàng)名為 FramePack 的創(chuàng)新技術(shù)。該技術(shù)通過(guò)采用固定長(zhǎng)度的時(shí)域上下文（fixed-length temporal context）對(duì)視頻擴(kuò)散模型（video diffusion）進(jìn)行了實(shí)用化實(shí)現(xiàn)，顯著提高了處理效率，使得在較低硬件配置下生成更長(zhǎng)、更高質(zhì)量的 AI 視頻成為可能。基于 FramePack 架構(gòu)構(gòu)建的一個(gè) 130 億參數(shù)模型，僅需 6GB 顯存即可生成長(zhǎng)達(dá) 60 秒的視頻片段。
據(jù)IT之家了解，F(xiàn)ramePack 是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，其核心優(yōu)勢(shì)在于利用多階段優(yōu)化技術(shù)，有效降低了本地運(yùn)行 AI 視頻生成任務(wù)對(duì)硬件的要求。據(jù)報(bào)道，目前 FramePack 的圖形用戶界面（GUI）內(nèi)部運(yùn)行的是一個(gè)定制的、基于混元（Hunyuan）的模型，但研究論文同時(shí)指出，現(xiàn)有的預(yù)訓(xùn)練模型也可以通過(guò) FramePack 技術(shù)進(jìn)行微調(diào)以適配該架構(gòu)。
傳統(tǒng)的視頻擴(kuò)散模型在生成視頻時(shí)，通常需要處理先前生成的所有帶噪幀（noisy frames）數(shù)據(jù)來(lái)預(yù)測(cè)下一個(gè)噪聲更少的幀。這個(gè)過(guò)程中所參考的輸入幀數(shù)量被稱為“時(shí)域上下文長(zhǎng)度”，它會(huì)隨著視頻長(zhǎng)度的增加而增長(zhǎng)。這導(dǎo)致標(biāo)準(zhǔn)的視頻擴(kuò)散模型對(duì)顯存（VRAM）有著極高的要求，通常需要 12GB 甚至更多。雖然可以通過(guò)降低視頻長(zhǎng)度、犧牲畫面質(zhì)量或延長(zhǎng)處理時(shí)間來(lái)減少顯存消耗，但這并非理想解決方案。
為此，F(xiàn)ramePack 應(yīng)運(yùn)而生。該新架構(gòu)能根據(jù)幀的重要性對(duì)其進(jìn)行壓縮，并匯集到一個(gè)固定大小的上下文長(zhǎng)度內(nèi)，從而極大地降低了 GPU 的顯存開(kāi)銷。所有輸入幀都經(jīng)過(guò)壓縮處理，以確保滿足預(yù)設(shè)的上下文長(zhǎng)度上限。研究者表示，經(jīng)過(guò)優(yōu)化后，F(xiàn)ramePack 的計(jì)算成本與圖像擴(kuò)散模型的成本相近。
此外，F(xiàn)ramePack 還結(jié)合了緩解“漂移”（drifting）現(xiàn)象的技術(shù) —— 即視頻質(zhì)量隨長(zhǎng)度增加而下降的問(wèn)題，從而在不顯著犧牲保真度的情況下，支持生成更長(zhǎng)的視頻內(nèi)容。
在硬件兼容性方面，目前 FramePack 明確要求使用支持 FP16 和 BF16 數(shù)據(jù)格式的英偉達(dá) RTX 30、40 或 50 系列 GPU。對(duì)于圖靈（Turing）架構(gòu)及更早的英偉達(dá)顯卡，以及 AMD 和 Intel 的硬件支持情況，目前尚未得到驗(yàn)證。操作系統(tǒng)方面，Linux 已確認(rèn)在支持列表之中?？紤]到 6GB 顯存的需求，除了 RTX 3050 4GB 等少數(shù)型號(hào)外，市面上大多數(shù)現(xiàn)代 RTX 顯卡都能滿足運(yùn)行要求。
性能方面，以 RTX 4090 為例，在啟用 teacache 優(yōu)化后，生成速度可達(dá)約每秒 0.6 幀。實(shí)際速度會(huì)因用戶顯卡型號(hào)的不同而有所差異。值得一提的是，F(xiàn)ramePack 在生成過(guò)程中會(huì)逐幀顯示畫面，提供即時(shí)的視覺(jué)反饋。
目前，F(xiàn)ramePack 所使用的模型可能有 30 幀 / 秒的上限，這或許會(huì)限制部分用戶的需求，但 FramePack 的出現(xiàn)無(wú)疑為普通消費(fèi)者進(jìn)行 AI 視頻創(chuàng)作鋪平了道路，提供了一種替代昂貴第三方云服務(wù)的可行方案。即使對(duì)于非專業(yè)內(nèi)容創(chuàng)作者，這項(xiàng)技術(shù)也為制作 GIF 動(dòng)圖、表情包等娛樂(lè)內(nèi)容提供了有趣的工具。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。