IT之家 12 月 14 日消息，一個(gè)人工智能（AI）驅(qū)動(dòng)的武器檢測系統(tǒng)誤將一支單簧管識別為槍支，導(dǎo)致美國佛羅里達(dá)州一所初中校園被錯(cuò)誤封鎖，此事引發(fā)了公眾對該類安全技術(shù)在美國學(xué)校中有效性和監(jiān)管機(jī)制的質(zhì)疑。
當(dāng)?shù)貢r(shí)間周二，在奧維耶多（Oviedo）的勞頓?柴爾斯中學(xué)（Lawton Chiles Middle School），該自動(dòng)化系統(tǒng)將一名攜帶單簧管的學(xué)生誤判為潛在持槍威脅，隨即觸發(fā)“紅色警戒”（Code Red）校園封鎖程序。校方管理人員和警方迅速響應(yīng)，結(jié)果發(fā)現(xiàn)所謂的“武器”只是一件樂器。
校長梅麗莎?勞達(dá)尼（Melissa Laudani）在致家長的一封信中解釋稱，此次事件雖啟動(dòng)了安全預(yù)案，但并未構(gòu)成任何實(shí)際威脅。她寫道：“盡管校園并未面臨真實(shí)威脅，但我仍希望各位家長與孩子溝通，強(qiáng)調(diào)在校園內(nèi)假裝持有武器的嚴(yán)重危害?！?/p>
該校使用的是由賓夕法尼亞州公司 ZeroEyes 提供的 AI 驅(qū)動(dòng)威脅檢測平臺，該系統(tǒng)通過掃描實(shí)時(shí)視頻畫面來識別槍支。勞頓?柴爾斯中學(xué)所屬的塞米諾爾縣公立學(xué)區(qū)（Seminole County Public Schools）已與 ZeroEyes 簽訂合同，部署其基于云端的“槍支檢測威懾系統(tǒng)”。公開記錄顯示，該學(xué)區(qū)為此訂閱服務(wù)每年支付 25 萬美元（IT之家注：現(xiàn)匯率約合 176.7 萬元人民幣），但官員拒絕透露該系統(tǒng)是否曾成功阻止過任何真實(shí)威脅。
ZeroEyes 系統(tǒng)可與現(xiàn)有監(jiān)控?cái)z像頭集成，其計(jì)算機(jī)視覺算法經(jīng)過 100 多種槍械圖像的訓(xùn)練。當(dāng) AI 模型判斷畫面中出現(xiàn)武器時(shí)，相關(guān)視頻片段會傳輸至 ZeroEyes 監(jiān)控中心的人類分析員進(jìn)行復(fù)核，確認(rèn)后再通知執(zhí)法部門或校方。然而在此事件中，這一人工復(fù)核環(huán)節(jié)顯然未能發(fā)揮作用。
目前，ZeroEyes 的平臺已在全美 43 個(gè)州部署，并安裝于佛羅里達(dá)州數(shù)十個(gè)學(xué)區(qū)。該公司將該技術(shù)宣傳為一種預(yù)防性措施，旨在加快對潛在槍擊事件的響應(yīng)速度。但其幾乎未公開任何關(guān)于檢測準(zhǔn)確率、誤報(bào)率或經(jīng)核實(shí)干預(yù)案例的數(shù)據(jù)。
面對記者就此次 AI 誤報(bào)事件提出的郵件問詢，塞米諾爾縣學(xué)區(qū)安全與安保部門稱該系統(tǒng)是一種“有效的威懾手段”，卻未提供任何已確認(rèn)威脅的具體數(shù)據(jù)，也未說明系統(tǒng)發(fā)出的警報(bào)中有多少屬實(shí)，或軟件將無害物品誤判為武器的頻率究竟有多高。
家長和安全專家已開始呼吁加強(qiáng)對該類系統(tǒng)的問責(zé)機(jī)制，并要求公開其性能數(shù)據(jù)。一位家長表達(dá)了對透明度缺失的不滿，質(zhì)疑該系統(tǒng)是否真正帶來了實(shí)質(zhì)性的安全提升。她要求提供該系統(tǒng)有效性的統(tǒng)計(jì)證據(jù)，并質(zhì)問為何若有經(jīng)確認(rèn)的真實(shí)威脅，卻從未向公眾披露。
獨(dú)立技術(shù)分析人士指出，目前針對 ZeroEyes 的獨(dú)立評估極為有限，早期媒體報(bào)道褒貶不一。有公共安全專家表示懷疑，認(rèn)為此類系統(tǒng)可能僅營造出一種“安全假象”，而無法切實(shí)降低風(fēng)險(xiǎn)。
在 ZeroEyes 已注冊游說人員的多個(gè)州，立法機(jī)構(gòu)通過了采購條款，實(shí)際上將其指定為唯一獲準(zhǔn)供應(yīng)商。批評者指出，這類法律排擠了市場競爭，也繞過了公眾對 AI 監(jiān)控系統(tǒng)可靠性的必要討論。
安全與隱私研究者還擔(dān)憂，學(xué)校中不斷擴(kuò)大的 AI 監(jiān)控可能對學(xué)生造成的傷害大于益處。美國公民自由聯(lián)盟（ACLU）高級政策顧問查德?馬洛（Chad Marlow）去年在接受 StateScop 采訪時(shí)指出，頻繁產(chǎn)生誤報(bào)的系統(tǒng)不僅會制造“虛假的安全感”，還可能使兒童頻繁經(jīng)歷不必要的封鎖或警方介入。
盡管近年來出于應(yīng)對校園槍擊案的公眾壓力，AI 賦能的安全系統(tǒng)迅速普及，但奧維耶多此次“單簧管誤報(bào)”事件凸顯了這些技術(shù)在現(xiàn)實(shí)環(huán)境中的脆弱性。在受控?cái)?shù)據(jù)集中訓(xùn)練的機(jī)器學(xué)習(xí)模型，一旦面對充滿不可預(yù)測因素的校園環(huán)境，如背包、樂器和體育器材等可能與槍支輪廓相似的物品，便容易出現(xiàn)判斷失誤。
目前，塞米諾爾縣學(xué)區(qū)仍將該系統(tǒng)視為一項(xiàng)“必要的預(yù)防措施”，盡管單簧管事件已清楚暴露其局限性。各學(xué)區(qū)是否會重新評估對 AI 監(jiān)控的依賴，或要求供應(yīng)商提供更嚴(yán)格、透明的性能報(bào)告，仍有待觀察。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。