IT之家 5 月 9 日消息，騰訊混元宣布今天正式推出并開源全新的多模態(tài)定制化視頻生成工具 Hunyuan Custom。該模型基于混元視頻生成大模型（Hunyuan Video）打造，主體一致性效果超過現(xiàn)有的開源方案。

據(jù)介紹，Hunyuan Custom 融合了文本、圖像、音頻、視頻等多模態(tài)輸入生視頻的能力，是一款具備高度控制力和生成質(zhì)量的智能視頻創(chuàng)作工具。

騰訊表示，Hunyuan Custom 模型能實(shí)現(xiàn)單主體視頻生成、多主體視頻生成、單主體視頻配音、視頻局部編輯等能力，其生成的視頻與用戶輸入的參考主體能保持高度一致。

其中，單主體生成能力已經(jīng)開源并在混元官網(wǎng)（IT之家附官網(wǎng)地址：https://hunyuan.tencent.com/）上線，用戶可以在“模型廣場(chǎng)-圖生視頻-參考生視頻”中體驗(yàn)，其他能力將于 5 月內(nèi)陸續(xù)對(duì)外開源。

有了 HunyuanCustom，用戶只需上傳一張包含目標(biāo)人物或物體的圖片，并提供一句文本描述（例如“他正在遛狗”），HunyuanCustom 就能識(shí)別出圖片中的身份信息，并在完全不同的動(dòng)作、服飾與場(chǎng)景中生成連貫自然的視頻內(nèi)容。

除了單主體以外，這個(gè)能力同樣能實(shí)現(xiàn)多主體視頻的生成，用戶提供一張人物和一張物體的照片（比如一包薯片和一名男子的照片），并輸入文字描述（比如“一名男子正在游泳池旁邊，手里拿著薯片進(jìn)行展示”），即可能讓這兩個(gè)主體按要求出現(xiàn)在視頻里。

此外，HunyuanCustom 不止于圖像和文本的配合，還具備強(qiáng)大的擴(kuò)展能力。在音頻驅(qū)動(dòng)（單主體）模式下，用戶可以上傳人物圖像并配上音頻語音，模型便可生成人物在任意場(chǎng)景中說話、唱歌或進(jìn)行其他音視頻同步表演的效果，廣泛適用于數(shù)字人直播、虛擬客服、教育演示等場(chǎng)景。

在視頻驅(qū)動(dòng)模式下，HunyuanCustom 支持將圖片中的人物或物體自然地替換或插入到任意視頻片段中，進(jìn)行創(chuàng)意植入或場(chǎng)景擴(kuò)展，輕松實(shí)現(xiàn)視頻重構(gòu)與內(nèi)容增強(qiáng)。

此前大部分的視頻生成模型主要能實(shí)現(xiàn)文生視頻和圖生視頻。文生視頻每次均根據(jù)本文提示詞重新生成，很難持續(xù)保持人物和場(chǎng)景的一致性。而圖像生成視頻模型主要實(shí)現(xiàn)的是“讓圖片動(dòng)起來”。例如，上傳一張人物照片，最終生成的視頻通常只能在照片的原始服飾、姿態(tài)和場(chǎng)景下做出一些固定表情或動(dòng)作，服裝、背景和姿態(tài)幾乎無法修改。

但在部分場(chǎng)景下，創(chuàng)作者希望保持人物一致的情況下，改變?nèi)宋锼诘沫h(huán)境和動(dòng)作。此前的視頻生成模型無法實(shí)現(xiàn)，多模態(tài)視頻生成模型 HunyuanCustom 則可以很好地滿足創(chuàng)作者的需求，通過引入身份增強(qiáng)機(jī)制和多模態(tài)融合模塊，真正實(shí)現(xiàn)了“圖像提供身份，文本定義一切”。

參考資料：

• 體驗(yàn)入口：https://hunyuan.tencent.com/modelSquare/home/play?modelId=192

• 項(xiàng)目官網(wǎng)：https://hunyuancustom.github.io/

• 代碼開源：https://github.com/Tencent/HunyuanCustom

• 論文地址：https://arxiv.org/pdf/2505.04512

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。