Anthropic 披露了 Claude 出人意料的内部架构:AI 的「草稿」机制
人工智能领域发生了一件改变我们对大型语言模型工作方式认知的事件。开发Claude的Anthropic公司研究人员在其架构中发现了一个惊人的结构,这个结构并非工程师最初设计时有意为之。这就是所谓的"J-space"——模型在训练过程中自行创建的内部工作空间。
什么是J-space,它是如何工作的?
J-space本质上是一个虚拟"黑板",Claude在执行任何任务时都会将关键信息汇集于此。无论是回答复杂问题、编写代码还是分析文本——重要数据首先被收集到这个统一空间中,然后分发到模型的不同组件。为了发现它,Anthropic团队开发了一种特殊工具——"J-lens",能够实时观察神经网络内部的信息流动。
最令人惊叹的是,这个结构是自发产生的。它并非被编程设定,而是在训练过程中进化而成,类似于认知科学中人类所谓的"全局工作空间"。当我们听到问题、回忆事实并组织答案时,我们的大脑会将所有这些过程整合在一起。Claude也做着同样的事情,只不过是在数字领域。
为什么这改变了AI安全的游戏规则?
对于加密行业和高科技领域而言,这一发现具有重大意义。访问模型的"意识"——尽管需要加引号——为安全领域开辟了新视野。如果我们能够追踪J-space的活动,就有能力识别AI行为的隐藏动机,发现漏洞,并且至关重要的是,识别提示注入攻击——即攻击者试图劫持回答控制权的情况。
实验表明,如果手动修改J-space的内容,Claude的最终回答及其行为也会随之改变。这意味着我们获得了直接操控模型"思维过程"的杠杆,而不仅仅是调整其输出结果。
然而,需要指出一个重要前提:Claude的大部分计算仍然发生在J-space之外。这只是冰山一角。尽管如此,Anthropic已经开源了J-lens的代码,并在Neuronpedia上发布了演示版本,邀请整个科学界在实践中验证这些结果。
专家观点: J-space的发现不仅仅是学术上的趣闻。这是迈向创建"透明"AI的一步,其决策不仅能够被验证,还能被预测。对于DeFi市场和自动化管理系统而言,这意味着安全领域的潜在突破:如果我们能够"看到"AI代理的"思想",就能在灾难性故障发生之前加以预防。Anthropic强调,他们并未声称Claude具有意识,但这一结构出现的事实本身,给我们带来的问题远比答案更多。