IT之家 12 月 20 日消息，蘋果機(jī)器學(xué)習(xí)研究團(tuán)隊近日發(fā)布博文，展示了全新的生成式 AI 技術(shù)-- HUGS，能夠在 30 分鐘內(nèi)分析短視頻，然后映射創(chuàng)建新的動作和角度。

蘋果研究員 Anurag Ranjan 發(fā)布推文，表示 HUGS 的全稱叫作 Human Gaussian Splats，使用機(jī)器學(xué)習(xí)和計算機(jī)視覺，在原始輸入數(shù)據(jù)較少的情況下，創(chuàng)建出逼真的人像元素。

蘋果官方介紹中表示神經(jīng)渲染技術(shù)目前已經(jīng)有了長足的進(jìn)步，但最適合的場景依然是靜態(tài)場景的攝影測量，還無法推廣到環(huán)境中自由移動的人類。

HUGS 使用 3D Gaussian Splatting 的技術(shù)，在場景中創(chuàng)建可移動的人類。

該方法本身需要少量的主體視頻，通常在場景中運(yùn)動，并顯示盡可能多的表面供系統(tǒng)工作。

在某些情況下，該技術(shù)對源輸入數(shù)據(jù)的要求很低，最少可以低至 50 到 100 幀的單目視頻，相當(dāng)于 2 到 4 秒的 24fps 視頻。

蘋果聲稱，該系統(tǒng)已經(jīng)過訓(xùn)練，可以“在 30 分鐘內(nèi)解開靜態(tài)場景和完全可動畫化的人類化身”。

蘋果表示 SMPL 體模型雖然用于初始化人類高斯模型，但無法捕獲每個細(xì)節(jié)。對于未建模的元素（如布料和頭發(fā)），該過程可以偏離 SMPL 模型，來填補(bǔ)模型捕獲中的空白。

蘋果官方表示從訓(xùn)練視頻到以 60fps 的渲染速度輸出，能夠在半小時完成人體建模和“最先進(jìn)的渲染質(zhì)量”動畫，這比 NeuMan 和 Vid2Avatar 等其它方法快 100 倍。

IT之家附上論文參考地址如下：

Project: https://machinelearning.apple.com/research/hugs

Xiv: https://arxiv.org/abs/2311.17910

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。