IT之家 12 月 13 日消息，豆包手機(jī)助手今晚發(fā)布技術(shù)說(shuō)明，稱豆包手機(jī)助手使用系統(tǒng)原生截屏接口，無(wú)法截屏銀行鍵盤等受保護(hù)內(nèi)容。

IT之家從說(shuō)明獲悉，近期有網(wǎng)友發(fā)布視頻稱，“豆包手機(jī)助手通過(guò) READ_FRAME_BUFFER 權(quán)限，從 GPU 渲染的圖形緩沖區(qū)拿走圖像數(shù)據(jù)，不需要走上層的截圖 API。還用了 CAPTURE_SECURE_VIDEO_OUTPUT 權(quán)限，可以獲取銀行安全鍵盤等受保護(hù)的界面內(nèi)容”。這是對(duì)豆包手機(jī)助手技術(shù)實(shí)現(xiàn)方式的錯(cuò)誤解讀。

豆包手機(jī)助手采用的是原生截屏接口（WindowManagerService.captureDisplay），嚴(yán)格遵循應(yīng)用聲明的 Secure 標(biāo)記，無(wú)法截屏銀行安全鍵盤等聲明受保護(hù)的界面內(nèi)容。任何持有豆包手機(jī)助手技術(shù)預(yù)覽版的用戶，都可以自己寫一個(gè)帶有受保護(hù)頁(yè)面的 APK 進(jìn)行測(cè)試，讓 AI 講解頁(yè)面內(nèi)容，可以驗(yàn)證 AI 是無(wú)法看到的。

豆包進(jìn)一步說(shuō)明，網(wǎng)友提到的 READ_FRAME_BUFFER 權(quán)限，是為了讓 AI 可以在后臺(tái)完成操作，豆包手機(jī)助手讓三方應(yīng)用運(yùn)行在虛擬屏空間中。為了獲取虛擬屏中運(yùn)行的應(yīng)用截圖內(nèi)容（對(duì)應(yīng)方法 WindowManagerService.captureDisplay）提供給豆包大模型推理，所以需要 READ_FRAME_BUFFER 權(quán)限，但該方法以及權(quán)限無(wú)法讀取到包括銀行 App 在內(nèi)的任何三方應(yīng)用設(shè)置為 Secure 的內(nèi)容。

CAPTURE_SECURE_VIDEO_OUTPUT 權(quán)限的使用，是因?yàn)槭鼙Ｗo(hù)的頁(yè)面在虛擬屏的投影（即點(diǎn)擊靈動(dòng)島打開的粉色邊緣的應(yīng)用界面）中會(huì)顯示為黑屏，用戶無(wú)法查看和操作，所以需要此權(quán)限將受保護(hù)的內(nèi)容正常展示給用戶并能夠被用戶操作。但在投影后，受保護(hù)的頁(yè)面仍會(huì)標(biāo)記為 Secure，僅能被用戶查看，無(wú)法被截屏。

豆包手機(jī)助手操作手機(jī)功能的實(shí)現(xiàn)原理是：用戶下達(dá)指令 -> 截屏發(fā)送給云端豆包大模型 -> 模型理解后返回具體操作 -> 手機(jī)端執(zhí)行操作指令，不斷重復(fù)直到完成任務(wù)。因此每一步操作后都需要再截圖上傳給云端大模型分析，每步操作間隔約為 3 秒鐘。

由于分析界面所需的大模型參數(shù)較大，受限于芯片性能暫時(shí)無(wú)法運(yùn)行在手機(jī)端側(cè)，需要截圖上傳云端處理。據(jù)了解，目前國(guó)內(nèi)多家手機(jī)廠商具有 AI 操作能力的助手產(chǎn)品，也是同樣的實(shí)現(xiàn)原理，也會(huì)使用 READ_FRAME_BUFFER 等系統(tǒng)權(quán)限。

豆包強(qiáng)調(diào)，豆包手機(jī)助手僅在有用戶指令時(shí)才會(huì)開始截屏，且無(wú)法截屏三方應(yīng)用 Secure 標(biāo)記頁(yè)面。上傳至云端大模型的截屏僅用于視覺(jué)理解和推理，完成任務(wù)后不會(huì)存儲(chǔ)在云端。

豆包手機(jī)助手表示高度重視用戶隱私安全，歡迎社會(huì)各界提出寶貴意見。團(tuán)隊(duì)會(huì)以負(fù)責(zé)任的態(tài)度溝通產(chǎn)品技術(shù)問(wèn)題，把安全和信任做好。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。