IT之家 2 月 12 日消息，據(jù)火山引擎官方微信公眾號(hào)消息，今天，豆包視頻生成模型 Seedance 2.0 正式上線火山方舟體驗(yàn)中心。
Seedance 2.0 采用多模態(tài)音視頻聯(lián)合生成架構(gòu)，支持文字、圖片、音頻、視頻四種模態(tài)輸入，集成了目前業(yè)界最全面的多模態(tài)內(nèi)容參考能力。
相比 1.5 版本，Seedance 2.0 的生成質(zhì)量大幅提升，其在復(fù)雜交互和運(yùn)動(dòng)場(chǎng)景下的可用率更高，物理準(zhǔn)確度、逼真度、可控性顯著增強(qiáng)，更加貼合工業(yè)級(jí)創(chuàng)作場(chǎng)景的需求。
企業(yè)和個(gè)人用戶可以在火山方舟體驗(yàn)中心體驗(yàn) Seedance 2.0：基于火山方舟素材庫，選擇多張圖片、多段視頻和音頻作為參考素材，選取模板 prompt 或簡(jiǎn)單描述你想生成的場(chǎng)景，就可以快速體驗(yàn)多模態(tài)參考生視頻的能力。
Seedance 2.0 的 API 服務(wù)，預(yù)計(jì)將在二月中下旬上線火山方舟。
IT之家附官方介紹如下：
多模態(tài)參考素材輸入，創(chuàng)作更簡(jiǎn)單
Seedance 2.0 支持多模態(tài)全能參考，支持最多 9 張圖片、3 段視頻、3 段音頻，最長(zhǎng)可生成 15 秒時(shí)長(zhǎng)。
其中，參考圖生視頻可精準(zhǔn)鎖定主體、元素、場(chǎng)景，還原畫面構(gòu)圖、角色細(xì)節(jié)；參考視頻生視頻可參考輸入素材的鏡頭語言、運(yùn)鏡、復(fù)雜動(dòng)作、音效等。這意味著，企業(yè)現(xiàn)有的任何數(shù)字資產(chǎn)，產(chǎn)品圖、廣告片、品牌音樂、角色資產(chǎn)等，都能成為創(chuàng)作的起點(diǎn)。
Seedance 2.0 還可以同時(shí)處理混合模態(tài)的輸入信息。比如輸入環(huán)境和人物主體圖片，搭配音樂生成模型制作的一段歌曲，Seedance 2.0 就能生成 MV，歌手的口型、鼓手的打擊動(dòng)作都與音樂完美匹配。
真實(shí)還原物理規(guī)律，復(fù)雜場(chǎng)景下更高可用率
Seedance 2.0 畫面真實(shí)感大幅提升，運(yùn)動(dòng)軌跡符合物理規(guī)律，在多主體交互和復(fù)雜運(yùn)動(dòng)場(chǎng)景中表現(xiàn)出色，生成可用率達(dá)到業(yè)界領(lǐng)先水平。比如生成體操運(yùn)動(dòng)員比賽視頻，運(yùn)動(dòng)員的動(dòng)作流暢自然，同時(shí)符合重力、慣性、人體力學(xué)等物理規(guī)律。
精準(zhǔn)遵循生成和編輯指令，視頻生成更可控
Seedance 2.0 擁有非常強(qiáng)大的指令遵循能力，能精準(zhǔn)還原復(fù)雜腳本，保持穩(wěn)定的主體一致性。同時(shí)，模型還具備一定的編導(dǎo)思維，可自主規(guī)劃鏡頭語言，并設(shè)計(jì)視覺呈現(xiàn)。
例如，使用 Seedance 2.0 生成水墨長(zhǎng)鏡頭視頻，模型能精準(zhǔn)理解包含風(fēng)格、特效、運(yùn)鏡、時(shí)序動(dòng)作等細(xì)節(jié)的復(fù)雜創(chuàng)作指令，不僅完美呈現(xiàn)寫意質(zhì)感，還精準(zhǔn)實(shí)現(xiàn)從升空、穿越云霧到掠水停落的流暢鏡頭調(diào)度，讓創(chuàng)意完整落地，真正做到所想即所見。
同時(shí)，基于參考視頻生視頻能力，Seedance 2.0 具備視頻編輯能力，支持對(duì)指定片段、角色、動(dòng)作或劇情進(jìn)行定向修改。模型還提供了視頻延長(zhǎng)功能，可按用戶提示生成連續(xù)鏡頭，不止擅長(zhǎng)生成，還能“接著拍”。
基于上述能力升級(jí)，Seedance 2.0 大幅降低了專業(yè)內(nèi)容的制作門檻，能夠替代復(fù)雜的特效制作和實(shí)拍流程，大幅度降低專業(yè)音視頻內(nèi)容的制作成本，縮短生產(chǎn)周期，可廣泛應(yīng)用于電商、廣告營(yíng)銷、影視創(chuàng)作、短劇漫劇、在線教育等行業(yè)。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。