IT之家 6 月 26 日消息，上海市委網(wǎng)信辦今日發(fā)文，針對(duì)“清朗 · 整治 AI 應(yīng)用亂象”專項(xiàng)行動(dòng)第一階段工作進(jìn)行了公告。

自 2026 年 4 月下旬起，上海市委網(wǎng)信辦根據(jù)中央網(wǎng)信辦統(tǒng)一部署，啟動(dòng)“清朗 · 整治 AI 應(yīng)用亂象”專項(xiàng)行動(dòng)第一階段工作，聚焦未按規(guī)定履行大模型備案登記義務(wù)、安全審核能力不足、大模型訓(xùn)練語料安全、AI 數(shù)據(jù)投毒、生成合成內(nèi)容標(biāo)識(shí)落實(shí)不到位、濫用 AI 技術(shù)開展違法違規(guī)活動(dòng)、開源模型安全管理不到位等七類突出問題，強(qiáng)化技術(shù)源頭治理。

5 月 13 日，上海市委網(wǎng)信辦召開重點(diǎn)平臺(tái)專項(xiàng)行動(dòng)推進(jìn)會(huì)，向?qū)俚?AI 平臺(tái)、互聯(lián)網(wǎng)內(nèi)容平臺(tái)、電商平臺(tái)、應(yīng)用商店、開源社區(qū)等五類共 17 家重點(diǎn)網(wǎng)站平臺(tái)部署具體要求，指導(dǎo)平臺(tái)升級(jí)安全與舉報(bào)機(jī)制。5 月 15 日，稀宇、千問、小紅書、嗶哩嗶哩、拼多多等重點(diǎn)平臺(tái)公開發(fā)布專項(xiàng)治理公告，同期上海舉報(bào)中心官網(wǎng)開設(shè)專項(xiàng)舉報(bào)渠道，迄今已受理涉 AI 類違法不良信息舉報(bào)及 12345 市民反映線索 20 余件。

在專項(xiàng)行動(dòng)第一階段，上海市委網(wǎng)信辦指導(dǎo) 17 家重點(diǎn)網(wǎng)站平臺(tái)開展自查自糾，累計(jì)清理攔截去 AI 標(biāo)識(shí)的工具和教程、數(shù)據(jù)投毒、未經(jīng)授權(quán)“換臉擬聲”、AI 制謠傳謠、AI 低俗內(nèi)容等違法違規(guī)信息 487 萬余條，處置違規(guī)賬號(hào) 1.8 萬余個(gè)，下架違規(guī)智能體 1.4 萬余個(gè)，處置違規(guī)商品 1300 余個(gè)，并對(duì)多次違規(guī)賬號(hào)實(shí)施階梯式約束與封禁。各平臺(tái)根據(jù)自身業(yè)務(wù)特點(diǎn)推進(jìn)治理：稀宇持續(xù)下架“一鍵脫衣”、賭球博彩等違規(guī)智能體，并對(duì)利用 AI 編寫病毒、釣魚軟件等惡意行為進(jìn)行打擊；小紅書打擊 AI 托管運(yùn)營(yíng)賬號(hào)，禁售去 AI 標(biāo)識(shí)商品，并推進(jìn)與各大制作平臺(tái)的隱式標(biāo)識(shí)互認(rèn)工作；嗶哩嗶哩在內(nèi)容發(fā)布頁(yè)強(qiáng)化提示，將“AI 生成”列為必選標(biāo)簽以引導(dǎo)創(chuàng)作者規(guī)范發(fā)布；魔搭社區(qū)則全面清理涉低俗等違規(guī)數(shù)據(jù)集，強(qiáng)化開源模型的審核與管理。同時(shí)，上海市委網(wǎng)信辦組織 3 家專業(yè)機(jī)構(gòu)，對(duì)用戶量大、影響力高的 32 款 AI 產(chǎn)品開展專項(xiàng)巡查測(cè)試，并赴 4 家企業(yè)進(jìn)行現(xiàn)場(chǎng)檢查，督導(dǎo)企業(yè)重點(diǎn)整改 AI 標(biāo)識(shí)落實(shí)不到位、平臺(tái)安全和審核能力不足等問題。

在協(xié)同治理方面，上海市委網(wǎng)信辦深化上海市大模型合規(guī)指導(dǎo)服務(wù)中心與各區(qū)委網(wǎng)信辦的協(xié)作，開展了 16 場(chǎng) AI 安全合規(guī)培訓(xùn)進(jìn)街鎮(zhèn)活動(dòng)，強(qiáng)化政策指導(dǎo)和業(yè)務(wù)受理，并對(duì)“應(yīng)備未備”服務(wù)進(jìn)行排查與安全評(píng)估督導(dǎo)。截至目前，上海已完成 169 款大模型備案，以及 183 款調(diào)用已備案模型 API 的生成式人工智能應(yīng)用登記。在重點(diǎn)領(lǐng)域，市區(qū)兩級(jí)在浦東軟件園舉辦“AI 場(chǎng)景落地中的安全挑戰(zhàn)和合規(guī)賦能”主題沙龍，通過專家分享與政企對(duì)話推動(dòng)治理協(xié)同；針對(duì)醫(yī)療、政務(wù)等重點(diǎn)領(lǐng)域堅(jiān)持“先測(cè)評(píng)后上線”原則，聯(lián)合市數(shù)據(jù)局持續(xù)優(yōu)化政務(wù)智能應(yīng)用測(cè)評(píng)驗(yàn)證中心能力并制定安全規(guī)范，同時(shí)協(xié)同市衛(wèi)健委依托醫(yī)療大模型應(yīng)用檢測(cè)驗(yàn)證中心保障醫(yī)療 AI 應(yīng)用安全可靠；此外還聯(lián)動(dòng)市市場(chǎng)監(jiān)管局調(diào)研頭部 GEO 企業(yè)，探索源頭治理路徑。

針對(duì)未成年人保護(hù)與擬人化 AI 服務(wù)規(guī)范，上海市委網(wǎng)信辦圍繞將于 2026 年 7 月 15 日正式施行的《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》開展了多項(xiàng)準(zhǔn)備工作，向近百家重點(diǎn)平臺(tái)進(jìn)行法規(guī)宣貫，指導(dǎo)企業(yè)結(jié)合業(yè)務(wù)實(shí)際推進(jìn)合規(guī)建設(shè)。針對(duì)部分應(yīng)用存在的未成年人模式虛設(shè)、身份核驗(yàn)失效及不良內(nèi)容生成等風(fēng)險(xiǎn)，督導(dǎo)企業(yè)嚴(yán)格落實(shí)未成年人身份核驗(yàn)，防范情感依賴與消費(fèi)誘導(dǎo)，并對(duì)問題較突出、群眾和媒體反映強(qiáng)烈的個(gè)別應(yīng)用開展監(jiān)管執(zhí)法。

據(jù)介紹，專項(xiàng)行動(dòng)第二階段將重點(diǎn)聚焦利用 AI 技術(shù)生成“數(shù)字泔水”、制作發(fā)布虛假信息、散播暴力低俗內(nèi)容、仿冒他人、侵害未成年人權(quán)益、從事網(wǎng)絡(luò)水軍活動(dòng)等問題，持續(xù)清理違法不良信息并依法處置違規(guī)賬號(hào)和平臺(tái)。專項(xiàng)行動(dòng)期間，上海市委網(wǎng)信辦通過專項(xiàng)舉報(bào)入口持續(xù)接受公眾提供的違規(guī)線索。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。