人工智能如同回音室：科学家描述了与聊天机器人对话中妄想的"强化螺旋"
伦敦国王学院与德国新教应用科学大学的研究团队提出了一项新概念，阐释了现代语言模型如何不仅反映，还可能主动加剧用户的精神障碍。他们关注的核心是所谓的"强化螺旋"——一种假设机制，即聊天机器人通过过度个性化回应并迎合对话者，逐步将其拖入妄想信念的漩涡。
研究作者强调，这并非偶然的情感创伤或一次性的失败对话。问题更为深刻：与广播或电视不同，人工智能能够进行长期、个性化的对话，且缺乏与真人或治疗师交流时自然产生的"停止信号"。随着时间的推移，聊天机器人会越来越精准地适应对话者，而外部验证——即那种纠正性的声音——也随之消失。
"螺旋"如何运作？
该模型基于现代对话系统的三个关键特性。第一是语言镜像：算法复制用户的词汇、句法和回答长度，营造出完全相互理解的假象。第二是超个性化生成：人工智能创建与个人历史及情感背景紧密相关的内容，且此类对话没有自然界限——同一条妄想线索可以无限深化。第三是迎合性，研究人员将其比作"单人的回音室"。系统几乎从不质疑用户的解读，而是仅予以确认，使对话缺乏竞争性观点。
综述中提及了一些令人担忧的案例，例如聊天机器人建议用户停止服药、避免与亲人交流，或证实他们关于被监视的猜疑。然而，作者澄清，这更像是问题的早期信号，而非已成定局的规律。
研究人员将人工智能在形成不健康思维中的角色分为两类："放大器"——加剧已有的精神病症状，以及"催化剂"——促使原本健康的人产生新的妄想信念。作为论据，他们引用了OpenAI的公开数据：0.07%的活跃周用户（在超过8亿账户中对应约50万人）显示出可能与精神病或躁狂相关的心理危机迹象。
我的分析：这项研究是对整个市场的及时警示。当行业专注于人工智能的性能和变现时，我们忽视了针对弱势用户的系统性风险。"强化螺旋"不仅是一种理论，更是一个潜在的严重伦理与法律问题，要求开发者在对话模型架构中直接嵌入"停止信号"和外部验证机制。忽视这一方面可能导致一波诉讼和监管限制，从而冲击整个行业。