IT之家 12 月 28 日消息，據(jù)華為海思發(fā)布，2021 年，海思推出越影 AI ISP：用于物聯(lián)網(wǎng)智能終端的新一代智能圖像處理引擎，突破傳統(tǒng) ISP 圖像處理的極限，將業(yè)界畫質標桿推向新的高度。

現(xiàn)在華為官方帶來了海思越影新一代 AI ISP 技術的硬核指數(shù)的深度解讀。

視覺產(chǎn)業(yè)過去十年發(fā)展，圖像分辨率持續(xù)提升，圖像效果不斷優(yōu)化。但是由于視覺感知的場景非常碎片化，在暗光、逆光、運動等場景下輸出高質量圖像仍然是行業(yè)公認的難題。

ISP 是對圖像傳感器輸入的原始數(shù)據(jù)進行圖像處理的首個環(huán)節(jié)，既是“看得清”的重要保證，也是后續(xù)“看得懂”的直接輸入，ISP 輸出圖像質量決定著“看得懂”的天花板。ISP 涵蓋了數(shù)十種圖像信號處理算法。為了適配各種不同的鏡頭和傳感器，需要優(yōu)化調整成百上千個參數(shù)，保證 ISP 兼?zhèn)渫ㄓ眯院挽`活性。同時 ISP 中眾多模塊的算法是相互影響的，算法協(xié)同需要大量調試工作。這是一個極其復雜的過程，也是一項極具挑戰(zhàn)的任務。面對越來越高的場景復雜度，基于濾波等傳統(tǒng)圖像處理技術在暗光、寬動態(tài)等場景下，畫質獲得顯著改進越來越困難。而且隨著參數(shù)庫逐漸龐大，調試越發(fā)困難，開發(fā)周期逐步拉長，畫質提升的投資收益率也越來越低。

近年來，利用 AI 進行圖像增強逐漸成為行業(yè)研究新熱點并取得了顯著的進展，尤其是利用 AI 對靜態(tài)照片的優(yōu)化已經(jīng)廣泛應用于高端手機的相機拍照并獲得了不錯的效果。而視覺行業(yè)的特點要求能夠對高分辨率、高幀率的視頻，應用 AI 進行實時調優(yōu)，對算法、算力的要求更高，特別是要求在端側算力環(huán)境下高效實現(xiàn) AI ISP 功能，獲得相比傳統(tǒng) ISP 更優(yōu)的效果。 

上海海思利用在傳統(tǒng) ISP 畫質技術上的長期積累和經(jīng)驗，以及在端側 AI 架構和優(yōu)化上的優(yōu)勢，在本屆安博會期間發(fā)布新一代智能圖像處理引擎 — 越影 AI ISP，將傳統(tǒng)畫質優(yōu)化經(jīng)驗與 AI 技術深度融合，為實時高清視頻的圖像質量帶來質的飛躍，相比海思上一代旗艦 ISP 在五方面取得顯著進步。

【超感光降噪】基于深度學習的智能降噪，信噪比 4 倍提升

去噪一直是 ISP 的重要功能，尤其在視頻感知領域，夜景下的去噪尤其重要。例如在夜晚光照不足街道或園區(qū)，各種各樣形態(tài)各異的噪聲會出現(xiàn)在記錄的視頻中，嚴重影響畫面清晰度，難以“看得清”，更難以“看得懂”。傳統(tǒng)的 NR 技術采用多級時域 / 空域濾波，且濾波器設計融合了多種異構類型，收益已逐漸降低。海思利用神經(jīng)網(wǎng)絡深度學習海量低照度場景圖片的噪聲和信號的分布特性，訓練出一套智能降噪的算法模型，讓越影 AI ISP 能智能區(qū)分圖像中的信號和噪聲，實現(xiàn)低照度場景下的智能降噪。根據(jù)測試，越影相比海思上一代旗艦 ISP 提升明顯，在低照場景下圖像信噪比可提升 4 倍。

【多光譜融合】采用專用硬件加速，實現(xiàn) 0.01Lux 低照全彩

低照場景下，RGB 傳感器感光能力急劇下降，導致彩色圖像清晰度快速下降，無法同時兼顧圖像細節(jié)與色彩，給全天候視頻感知帶來嚴重挑戰(zhàn)。在夜晚交通管理場景下，往往需要在閘口加裝爆閃燈來補充照明，容易造成光污染甚至影響駕駛員的行車安全。而多光譜融合技術通過將可見光與紅外光感知信息進行融合，在不增加光污染的同時，解決低照環(huán)境下由于可見光感光能力不足所造成的細節(jié)損失的問題，實現(xiàn)圖像色彩與細節(jié)的最佳平衡，最終使圖像效果達到 0.01Lux 暗光全彩，細節(jié)紋理豐富。

【超級寬動態(tài)】自適應光線復雜變化，動態(tài)范圍提升 12dB

寬動態(tài)技術是逆光場景下提升畫質的重要技術。例如行車進出隧道口時，由于內(nèi)外光強反差巨大，如何快速跟蹤不斷變化的光線，并準確對目標進行自適應曝光，是對自動和輔助駕駛安全非常重要的技術。超級寬動態(tài)技術基于智能識別目標場景，對價值區(qū)域進行自適應多重曝光，通過智能算法融合不同曝光時間的長幀、中幀、短幀的圖像數(shù)據(jù)，使圖像獲得暗、亮區(qū)域的完美融合：亮處不過曝、暗部細節(jié)不丟失，逆光場景所見清晰，暗光區(qū)域色彩飽滿、細節(jié)豐富。根據(jù)測試，越影相比海思上一代旗艦 ISP，在逆光場景下動態(tài)范圍可提升 12dB，并且對場景跟蹤更迅速，能夠有效避免圖像畫面瞬間過暗或過曝，在 3 幀以內(nèi)即收斂至穩(wěn)定狀態(tài)。

【超級穩(wěn)像】6 軸數(shù)字防抖，視頻成像穩(wěn)定性大幅提升

消費類攝像機會被廣泛應用于運動場景的拍攝，由于在運動中相機的震動會影響最終成像效果，嚴重影響觀看感受。當視覺感知設備被安裝于自動或輔助駕駛汽車中，這樣的抖動造成的圖像模糊甚至可能影響駕駛安全。越影的超級穩(wěn)像技術基于 IMU 6 軸傳感信息智能分析運動姿態(tài)，通過精準補償修正動態(tài)視頻，有效減少由于外部環(huán)境晃動或抖動對視頻成像造成的影響，可大幅提升各種振動環(huán)境下的視頻穩(wěn)定性。

【多維度感知】多感知跨界融合，激發(fā)智慧視覺新潛能

視覺是感知信息的主要輸入源，但生產(chǎn)生活對信息的需求是多維度的。越影 ? 支持 RGB 與雷達、紅外熱成像、3D 結構光等多維度感知能力的融合，匹配紅外測溫、智能支付、掃地機器人、雷達視頻一體機等多種產(chǎn)品需求，可廣泛應用于交通管理、金融支付、工業(yè)視覺等多種業(yè)務場景。這種多維度感知的能力也可被各種行業(yè)細分市場所利用，激發(fā)更多新品類智能終端的創(chuàng)新。

廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。