IT之家 12 月 18 日消息，科技媒體 9to5Mac 昨日（12 月 17 日）發(fā)布博文，報道稱蘋果公司開源名為 SHARP 的新型 AI 模型，該技術(shù)能在一秒內(nèi)將單張 2D 照片轉(zhuǎn)換為逼真的 3D 場景。

IT之家援引博文介紹，蘋果發(fā)布名為《一秒內(nèi)實現(xiàn)清晰的單目視圖合成》（Sharp Monocular View Synthesis in Less Than a Second）論文，詳細(xì)介紹了如何訓(xùn)練模型，在接收用戶輸入的一張普通 2D 照片后，能在一秒鐘內(nèi)重建出具有真實物理比例的 3D 場景。

與需要數(shù)分鐘甚至數(shù)小時處理的傳統(tǒng)方案相比，SHARP 將合成速度提升了三個數(shù)量級，實現(xiàn)了近乎實時的 3D 轉(zhuǎn)換體驗。

在技術(shù)原理上，SHARP 采用了先進(jìn)的 3D 高斯?jié)姙R技術(shù)（3D Gaussian Splatting）。簡單來說，它將 3D 場景視為無數(shù)個帶有顏色和光影信息的“模糊光團(tuán)”（高斯球）。

傳統(tǒng)的 3D 重建通常需要對同一場景拍攝數(shù)十甚至上百張不同角度的照片，再通過復(fù)雜的計算來確定這些光團(tuán)的位置。然而，蘋果通過使用海量的合成數(shù)據(jù)與真實世界數(shù)據(jù)訓(xùn)練 SHARP，讓其掌握了通用的深度與幾何規(guī)律。

因此，當(dāng)面對一張全新照片時，SHARP 能通過神經(jīng)網(wǎng)絡(luò)的單次前饋傳遞，直接預(yù)測出數(shù)百萬個 3D 高斯球的位置與外觀，瞬間完成建模。

除了速度驚人，SHARP 在成像質(zhì)量上也樹立了新標(biāo)桿。根據(jù)蘋果公布的論文數(shù)據(jù)，該模型在多個基準(zhǔn)測試數(shù)據(jù)集上均取得了優(yōu)異成績。

與此前業(yè)內(nèi)最強的模型相比，SHARP 將 LPIPS（一種感知圖像塊相似度度量標(biāo)準(zhǔn)）降低了 25 個百分點至 34%，同時將 DISTS（紋理相似度指標(biāo)）降低了 21 個百分點至 43%。這意味著，由 SHARP 生成的 3D 視圖在細(xì)節(jié)紋理和整體結(jié)構(gòu)上都更接近真實世界，且具備絕對尺度，支持真實的相機移動模擬。

不過，SHARP 目前仍存在一定的物理限制。為了保證生成的真實性與速度，該模型主要側(cè)重于重建拍攝視角附近的 3D 視圖，而不會憑空“腦補”照片中完全被遮擋或未拍攝到的盲區(qū)。

因此，用戶在瀏覽生成的 3D 場景時，視角移動范圍需保持在原圖拍攝位置的鄰近區(qū)域。蘋果目前已將 SHARP 的完整代碼及相關(guān)資源發(fā)布在 GitHub 平臺，全球開發(fā)者均可下載測試，這一舉措預(yù)計將大幅加速移動端 3D 內(nèi)容創(chuàng)作與空間計算應(yīng)用的發(fā)展。

IT之家附上網(wǎng)友利用該模型，生成的 3D 場景如下：

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。