IT之家 7 月 19 日消息,今日,阿里云百煉正式上線可實時構建和交互的開放式世界模型產(chǎn)品 HappyOyster 1.0(快樂生蠔 1.0),更多消息現(xiàn)已公布。
據(jù)官方介紹,該模型深度學習物理世界狀態(tài)轉(zhuǎn)移規(guī)律,能主動推演從動作到反饋的因果鏈,并保持人物和環(huán)境的長程一致性。HappyOyster 1.0 具備世界探索(Adventure)和實時導演(Directing)兩大模式,用戶輸入一句話或一張圖即可生成可互動、可探索的 AI 數(shù)字世界。目前已提供 Android / iOS / Web 三端 SDK,在阿里云百煉開啟灰測。


文生視頻模型的學習目標是文本到視頻的單向映射,而 HappyOyster 1.0 的學習目標是從“當前狀態(tài) / 動作”到“下一狀態(tài) / 動作”的轉(zhuǎn)移規(guī)律,因此支持用戶在任意節(jié)點介入并改變數(shù)字世界走向。相較于大語言模型日趨成熟的架構與范式,世界模型仍屬于新興賽道,而 HappyOyster 1.0 已在探索該賽道的前沿,它從海量自然視頻中學習現(xiàn)實里人物、事物和環(huán)境的演變,自主推演從動作到反饋的因果鏈,從而能自然遷移到?jīng)]見過的場景,根據(jù)用戶指令推理出新的因果,并維持數(shù)字世界的長程穩(wěn)定和音視頻的長時協(xié)同。
世界探索模式:支持 1 分鐘連續(xù)實時交互
用戶輸入文字或上傳圖片即可生成可探索的數(shù)字世界,通過前沖、下蹲、跳躍、攻擊等操控按鍵豐富人物運動軌跡,支持載具駕駛與武器戰(zhàn)斗等物理交互。世界探索模式支持長達 1 分鐘的連續(xù)實時位移與鏡頭控制,生成內(nèi)容可導出原片。
實時導演模式:支持暫停、回溯與分支敘事
實時導演模式下,用戶可在任意節(jié)點暫停,回跳至劇情關鍵節(jié)點,輸入新提示詞改變劇情走向。支持生成 3 分鐘以上的 480p 或 720p 實時畫面,生成內(nèi)容可導出原片。
阿里云方面稱,HappyOyster 1.0 正在探索下一代多模態(tài)的互動內(nèi)容形態(tài)。在交互式游戲領域,開發(fā)者通過上傳圖片和輸入提示詞,可快速生成開放世界原型、角色交互和戰(zhàn)斗場景。在互動短劇和虛擬陪伴場景中,用戶通過自然語言指令構建人物和劇情,并可在任意節(jié)點改寫走向。在文旅領域,可為游客提供沉浸式探索體驗。
目前,開發(fā)者服務端通過 Open API 管理世界,客戶端 SDK 封裝了 RTC 連接、視頻渲染和實時交互,支持 Adventure 與 Directing 兩種模式,體驗結束后可導出視頻。產(chǎn)品支持企業(yè)用戶和開發(fā)者通過 SDK 快速構建可玩世界、互動劇、AI 陪伴等沉浸式應用。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。