AI用户图自残 须真人接管对话
发布时间：03:00 2025-12-28 HKT
国家网信办昨日发布征求意见文件，指人工智能（AI）拟人化互动服务提供者应具备用户状态识别能力，发现有极端情绪和沉迷者，应采取必要措施干预；发现用户明确提出自杀、自残等极端情境时，由真人接管对话，并及时采取措施联络用户监护人、紧急连络人。专家撰文称，文件有效回应了AI在情感陪伴、心理疗愈等方面的应用风险，对构建健康、公平、有益的人机关系意义重大。
拟人化互动服务是指利用AI技术模仿人类的思维和人格，与人类情感互动的产品或者服务。网信办昨刊发《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，指出服务提供者应具备用户状态识别能力，预设回复范本，发现涉及威胁用户生命健康和财产安全的高风险倾向时，需及时输出安抚和鼓励寻求说明等内容，并提供专业援助方式，建立应急回应机制。
须引导长者设置紧急连络人
对于未成年人和老年人用户，AI服务提供者应在注册环节要求填写用户监护人、紧急连络人等资料。提供者应向用户提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项；向未成年人提供情感陪伴服务时，应取得监护人明确同意，并允许监护人即时接收安全风险提醒，查阅未成年人使用服务的概要讯息，设置屏蔽特定角色、限制使用时长、防止充值消费等。
服务提供者应引导老年人设置服务紧急连络人，发现使用期间出现危害生命健康和财产安全的情况，应及时通知紧急连络人，并提供社会心理援助或者紧急救助渠道。提供者不得提供模拟老年人用户亲属、特定关系人的服务。
不得生成传播危害国安内容
当服务提供者识别出用户出现过度依赖、沉迷倾向时，或在用户初次使用、重新登录时，应当以弹窗等方式动态提醒交互内容为AI生成。若用户连续使用拟人化互动服务超过2小时，应以弹窗等方式动态提醒暂停使用。
文件又提到，提供和使用拟人化互动服务，应当遵守法律法规，不得生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动，或者散布谣言扰乱经济和社会秩序等内容。
对此，中国信息通信研究院政策与经济研究所副所长李强治撰文称，相关文件既鼓励技术慰藉心灵、增进福祉的潜力，又坚定划出隐私、伦理与安全的不可逾越红线，旨在引导拟人化互动服务真正成为构建「有温度的智能社会」的积极力量。
