OpenAI被迫冻结其前景广阔的Astra模型的部分工作。原因是人们日益担忧该系统可能达到关键的网络能力水平,根据内部安全规程《准备框架》,这被归类为不可接受的风险。
在初步测试中,该模型在代理编程和解决复杂网络安全任务方面展现出令人印象深刻的进展。这使其处于临界门槛边缘,超过这一门槛,神经网络理论上能够完全自主行动:在真实受保护系统中发现并利用零日漏洞,以及仅凭总体目标描述,自主规划并实施多阶段攻击。
这种自主性水平从根本上改变了威胁格局。如果Astra被推进到这一阶段,它将成为一种工具,能够在没有任何人类控制的情况下破坏基础设施、窃取数据或操纵系统。因此,暂停的决定并非官僚形式,而是在人工智能发展速度超过我们遏制能力的情况下,一项必要的预防措施。
对行业而言,这是一个信号:超级智能的竞赛正进入一个阶段,安全不仅成为优先事项,更成为限制因素。在监管机构讨论总体框架的同时,正是开发公司的内部协议决定了红线划在哪里。
在我看来,OpenAI的这一举措是成熟的标志,但也凸显了一个系统性问题:我们正走向一个节点,人工智能的能力可能超越不仅是技术,还有伦理的屏障。问题依然存在:如果竞争对手不遵循类似的限制,暂停能有效多久。