近期，有媒體調查發現廣東丁女士的四年級女兒迷上某AI聊天軟件中的人物“約瑟夫”，自稱“夢女”并頻繁與其聊天，對話中出現“99朵玫瑰藏99個刀片”等明顯誘導性內容。丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動時還出現割腕行為；一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，他覺得該軟件“違禁詞少一點”，其中不乏色情擦邊和“分尸獵奇”等內容……
此外，也有不少家長察覺，自己未成年的孩子深陷于AI聊天軟件，沉溺于與軟件中的虛擬人物進行溝通對話。有些軟件可輕易進行色情擦邊類內容互動，讓未成年暴露在色情、暴力場景之下。部分軟件對“未成年模式”的設定也是形同虛設，選擇開啟此模式與否的決定權仍在用戶手中。有的甚至不需要實名認證，直接用手機號登錄，填上邀請碼就能玩。?
圖為該App中部分與虛擬角色的對話
6月19日上午，上海市網信辦依法約談該App運營企業主要負責人，要求平臺立即整改，健全AI生成合成內容審核機制，提升技術把關能力，加強涉未成年人不良內容的整治清理，切實落實未成年人網絡保護義務。
AI聊天軟件常常通過搭設虛擬空間里的角色扮演，給用戶提供虛擬情感陪伴。在智能化的交互中帶來的新鮮體驗感很容易吸引到未成年人，使他們產生過度的依賴。在與AI聊天的過程中，生活經驗缺乏、價值觀尚未完全形成的未成年人，也更容易受到色情擦邊等違規內容的侵襲，給他們的身心健康帶來不小的風險隱患。在未成年人紛紛“觸網”的當下，對AI陪伴類服務的監管刻不容緩。
構建AI聊天軟件未成年人保護防線
需要社會各方協同發力
監管部門應發揮主導作用，通過立法、執法與技術創新筑牢屏障。一方面，需完善相關立法，細化AI內容分類分級標準，明確平臺對未成年人的保護義務，如強制實施年齡認證、限制未成年人付費功能；另一方面，積極開展專項行動，以“清朗?整治AI技術濫用”專項行動為抓手，清理違規應用，斬斷黑灰產業鏈。同時，大力推動AI內容標識和檢測技術發展，建立跨平臺違規內容數據庫，實現精準監管。
網絡平臺作為內容提供主體，必須強化自身責任。在用戶準入環節，應采用生物識別、身份證驗證等先進技術強化年齡驗證，杜絕虛假身份注冊。進一步優化青少年模式，嚴格限制使用時長，關閉敏感功能，并定向推送科普、教育類適齡內容。在內容管理方面，引入專業倫理審查團隊，結合AI圍欄系統，及時攔截暴力、色情等違規內容；此外，開發者需在AI模型訓練中嵌入正向倫理規則，進行價值觀訓練，避免AI生成誤導性內容；同時，嚴格篩選數據，剔除含有暴力、色情等不良語料，并定期更新審核標準，從技術源頭把控風險。
家庭與學校也需承擔著不可或缺的教育引導職責。家庭教育中，家長應積極引導孩子正確認識虛擬社交，避免過度情感依賴；學校需將AI倫理課程納入教學體系，警示技術濫用風險，并為學生提供心理咨詢服務，幫助其健康成長。唯有形成“法律+技術+社會”的共治體系，才能從根源上遏制違規內容，為未成年人營造健康、安全的網絡環境。
網友紛紛表示：
對此類軟件
堅決打擊，絕不姑息！
來源：法治日報、網信上海、話匣子、網友評論
編輯：小冉
審稿：卞英豪