Claude内部架构:Anthropic发现自发形成的"工作空间"J-space
Anthropic 的研究人员在理解其语言模型 Claude 的内部结构方面取得了突破。在分析过程中,他们发现了一种开发者最初并未在架构中预设的结构——所谓的“J-space”。这一机制就像一个通用工作空间,模型的不同组件都会访问它。
这项于7月6日公布的发现,是研究大型语言模型“黑箱”的重要一步。J-space 是一个内部环境,Claude 在此收集并传递整个网络中的关键数据。最简单的方式是将其想象为人工智能内部的一块虚拟白板。
J-space 如何运作
当 Claude 回答问题、解决任务或执行指令时,关键信息会出现在 J-space 中,以便模型的不同部分与之交互。为了发现这一结构,Anthropic 的专家开发了一种名为“J-lens”的特殊工具。借助它,研究人员观察了信息在模型执行任务时的流动情况。
值得注意的是,J-space 是在训练过程中自发产生的——设计者并未直接将其纳入。这一概念与神经科学中所谓的“全局工作空间”有许多相似之处。在人类中,该系统确保多个思维过程能同时访问重要信息。例如,当我们听到一个问题、回忆相关事实并决定如何回答时,大脑会将所有必要数据汇集到一处。
实验表明,Claude 可以按请求描述 J-space 的内容,甚至在被要求时修改它。此外,当研究人员手动更改 J-space 时,Claude 的回答及其执行任务的行为也会相应改变。
对 AI 安全性和可解释性的意义
这一发现对人工智能安全具有重大意义。如果科学家能够追踪 J-space 的活动,他们就有可能识别 AI 模型行为中的隐藏动机,并更有效地发现系统开始不可靠运行的时刻。
这对于检测提示注入攻击(prompt-injection)尤为重要——即在请求中植入恶意指令以劫持模型响应的控制权。监控 J-space 可以观察到模型遭遇此类尝试的时刻。即使部分访问这一“有意识”的处理层,也为进一步研究开辟了重要前景。
值得注意的是,目前的能力仍然有限:Claude 的大部分信息处理仍在 J-space 之外进行。尽管如此,Anthropic 已发布了 J-lens 实现的源代码,并在 Neuronpedia 上提供了演示版本,邀请研究社区在实践中验证结果。这延续了该公司研究模型福祉的一系列工作,并逐步推动我们理解 AI 系统内部真正发生的情况。
专家观点: 发现 J-space 不仅仅是学术上的趣闻,更是创建更透明、更可控 AI 系统的潜在关键。对于需要最大可预测性的智能合约和算法决策的加密行业而言,这种可解释性机制可能成为新一代可信 AI 代理的基础。