自2025年7月15日起,中国将实施临时措施,规范基于人工智能的、模拟人类个性并支持持续情感互动的服务。此举已导致字节跳动和阿里巴巴等巨头分别在其旗舰产品豆包和通义千问中关闭用户自定义AI智能体功能。
该文件于4月10日由国家互联网信息办公室、国家发展和改革委员会、工业和信息化部、公安部及国家市场监督管理总局联合发布,对通过AI复制人类个性特征、思维方式和交流风格,并通过文本、图像、音频或视频提供情感支持的服务制定了严格规定。值得注意的是,该规定不涉及标准支持系统、问答系统、工作助手以及教育和科研工具,前提是这些系统不涉及持续的情感互动。
新规关键要求
此类服务的提供商必须明确告知用户其正在与AI而非人类互动。如果系统检测到用户存在过度依赖或成瘾迹象,必须显示额外通知。当连续使用超过两小时时,服务必须提醒用户会话时长。规定还要求提供便捷的退出机制:如果用户通过界面、语音指令或关键词请求结束互动,服务必须立即停止,不得试图挽留用户。
特别关注危机情况。如果工具检测到用户出现强烈情绪反应、自残迹象、自杀意图、对生命健康的威胁或重大财务损失,提供商必须采取干预措施,包括帮助用户并联系其监护人或紧急联系人。严禁向未成年人提供虚拟亲密关系形式,包括亲属或伴侣。对于14岁以下用户,任何其他类型的“拟人化”AI互动均需获得父母或监护人同意。
安全与责任
企业在推出新的“拟人化”AI服务、添加此类功能或对技术进行重大修改时,必须进行安全评估。如果服务达到100万注册用户或每月10万活跃客户,同样需要进行安全评估。安全评估报告需提交至省级网信部门。如果当局认为存在国家安全、公共利益或用户保护风险,也可要求进行评估。
违规行为将面临警告、要求整改服务、暂停用户注册或屏蔽特定功能等处罚。还可能处以最高10万元人民币(约合14,730美元)的罚款,若对生命健康造成损害,罚款最高可达20万元人民币(约合29,459美元)。
市场反应:豆包和通义千问关闭功能
AI助手豆包自7月15日起因“产品调整”关闭AI智能体功能。10月15日后,相关数据将根据字节跳动隐私政策处理,并在应用中无法查看或恢复。阿里云的通义千问于7月10日关闭“拟人化互动智能体”及用户创建的智能体功能,7月15日停止更广泛的智能体服务。客户将无法访问设置和之前的对话记录。此前,腾讯已从其元宝中移除了类似功能。这些决定在微博上引发热议,部分用户对失去与智能体的长期交流表示不满。
执法实践:上海清理行动
新规的准备工作早已展开。6月26日,上海市网信办通报了“清朗”专项行动第一阶段针对AI应用违规的成果。自4月底以来,监管机构与17家平台共删除或屏蔽超过487万条违法和有害信息,处理超过1.8万个违规账号,并从平台下架超过1.4万个不合规的AI智能体。该部门还对近100家重点平台进行了说明,要求加强未成年人年龄验证,防止情感依赖和消费压力。
作为专家,我认为这是合理但极为严厉的一步。中国实际上承认,对AI智能体的情感依恋不仅是技术趋势,更是潜在的社会威胁。这些措施将为全球监管树立先例,包括美国和欧盟在内的其他国家将不得不考虑类似的限制。估值数十亿美元的AI伴侣市场现在将面临严重障碍,这可能会减缓其增长,但也可能使其更加安全。