IT之家 4 月 17 日消息，阿里通義萬(wàn)相「首尾幀生視頻模型」今日宣布開(kāi)源，該模型參數(shù)量為 14B，號(hào)稱是業(yè)界首個(gè)百億參數(shù)規(guī)模的開(kāi)源首尾幀視頻模型。
它可根據(jù)用戶指定的開(kāi)始和結(jié)束圖片，生成一段能銜接首尾畫(huà)面的 720p 高清視頻，此次升級(jí)將能滿足用戶更可控、更定制化的視頻生成需求。
用戶可在通義萬(wàn)相官網(wǎng)直接免費(fèi)體驗(yàn)該模型，或在 Github、Hugging Face、魔搭社區(qū)下載模型本地部署后進(jìn)行二次開(kāi)發(fā)。
技術(shù)介紹
首尾幀生視頻比文生視頻、單圖生視頻的可控性更高，但這類模型的訓(xùn)練難度較大，首尾幀視頻生成需同時(shí)滿足以下幾點(diǎn)：
1. 生成的視頻內(nèi)容要保證和用戶輸入的兩張圖像一致
2. 能夠遵循用戶的提示詞指令
3. 能從給定的首幀自然、流暢過(guò)渡到尾幀
4. 視頻本身動(dòng)作協(xié)調(diào)、自然
訓(xùn)練及推理優(yōu)化
基于現(xiàn)有的 Wan2.1 文生視頻基礎(chǔ)模型架構(gòu)，通義萬(wàn)相首尾幀生視頻模型進(jìn)一步引入了額外的條件控制機(jī)制，通過(guò)該機(jī)制可實(shí)現(xiàn)流暢且精準(zhǔn)的首尾幀變換。
在訓(xùn)練階段，團(tuán)隊(duì)還構(gòu)建了專門用于首尾幀模式的訓(xùn)練數(shù)據(jù)，同時(shí)針對(duì)文本與視頻編碼模塊、擴(kuò)散變換模型模塊采用了并行策略，這些策略提升了模型訓(xùn)練和生成效率，也保障了模型具備高分辨率視頻生成的效果。
在推理階段，為了在有限內(nèi)存資源的條件下支持高清視頻推理，萬(wàn)相首尾幀模型分別采用了模型切分策略以及序列并行策略，在確保推理效果無(wú)損的前提下，顯著縮短了推理時(shí)間。
功能升級(jí)
基于該模型，用戶可完成更復(fù)雜、更個(gè)性化的視頻生成任務(wù)，可以實(shí)現(xiàn)同一主體的特效變化、不同場(chǎng)景的運(yùn)鏡控制等視頻生成。
例如，上傳相同位置不同時(shí)間段的兩張外景圖片，輸入一段提示詞，通義萬(wàn)相首尾幀生成模型即可生成一段四季交替變化或者晝夜變化的延時(shí)攝影效果視頻；上傳兩張不同畫(huà)面的場(chǎng)景，還可通過(guò)旋轉(zhuǎn)、搖鏡、推進(jìn)等運(yùn)鏡控制銜接畫(huà)面，在保證視頻和預(yù)設(shè)圖片一致性前提下，同時(shí)讓視頻擁有更豐富的鏡頭。
IT之家附開(kāi)源地址：
HuggingFace：https://huggingface.co/Wan-AI/Wan2.1-FLF2V-14B-720P
魔搭社區(qū)：https://www.modelscope.cn/models/Wan-AI/Wan2.1-FLF2V-14B-720P
直接體驗(yàn)入口：https://tongyi.aliyun.com/wanxiang/videoCreation
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。