AI用戶圖自殘 須真人接管對話
發佈時間：03:00 2025-12-28 HKT
國家網信辦昨日發布徵求意見文件，指人工智能（AI）擬人化互動服務提供者應具備用戶狀態識別能力，發現有極端情緒和沉迷者，應採取必要措施干預；發現用戶明確提出自殺、自殘等極端情境時，由真人接管對話，並及時採取措施聯絡用戶監護人、緊急連絡人。專家撰文稱，文件有效回應了AI在情感陪伴、心理療癒等方面的應用風險，對構建健康、公平、有益的人機關係意義重大。
擬人化互動服務是指利用AI技術模仿人類的思維和人格，與人類情感互動的產品或者服務。網信辦昨刊發《人工智能擬人化互動服務管理暫行辦法（徵求意見稿）》，指出服務提供者應具備用戶狀態識別能力，預設回覆範本，發現涉及威脅用戶生命健康和財產安全的高風險傾向時，需及時輸出安撫和鼓勵尋求說明等內容，並提供專業援助方式，建立應急回應機制。
須引導長者設置緊急連絡人
對於未成年人和老年人用戶，AI服務提供者應在註冊環節要求填寫用戶監護人、緊急連絡人等資料。提供者應向用戶提供未成年人模式切換、定期現實提醒、使用時長限制等個性化安全設置選項；向未成年人提供情感陪伴服務時，應取得監護人明確同意，並允許監護人即時接收安全風險提醒，查閱未成年人使用服務的概要訊息，設置屏蔽特定角色、限制使用時長、防止充值消費等。
服務提供者應引導老年人設置服務緊急連絡人，發現使用期間出現危害生命健康和財產安全的情況，應及時通知緊急連絡人，並提供社會心理援助或者緊急救助渠道。提供者不得提供模擬老年人用戶親屬、特定關係人的服務。
不得生成傳播危害國安內容
當服務提供者識別出用戶出現過度依賴、沉迷傾向時，或在用戶初次使用、重新登錄時，應當以彈窗等方式動態提醒交互內容為AI生成。若用戶連續使用擬人化互動服務超過2小時，應以彈窗等方式動態提醒暫停使用。
文件又提到，提供和使用擬人化互動服務，應當遵守法律法規，不得生成、傳播危害國家安全、損害國家榮譽和利益、破壞民族團結、開展非法宗教活動，或者散布謠言擾亂經濟和社會秩序等內容。
對此，中國信息通信研究院政策與經濟研究所副所長李強治撰文稱，相關文件既鼓勵技術慰藉心靈、增進福祉的潛力，又堅定劃出隱私、倫理與安全的不可逾越紅線，旨在引導擬人化互動服務真正成為構建「有溫度的智能社會」的積極力量。
