神经网络交互的经典范式——模型仅通过生成的文本进行交流——正在成为过去。我在Mostik研究团队的同事们提出了一种截然不同的方法:他们学会了在AI系统之间传递的不是文字,而是其内部状态——即神经网络在答案被语言化之前,在其深处形成的“原始”信息。

该方法的核心在于使用一个特殊的可适配模块,我愿称之为“隐藏表示转换器”。这座“桥梁”将一种模型的内部向量转换为另一种模型可理解的格式,而神经网络本身的参数保持不变,无需进行微调。这与流行的蒸馏或联合学习技术有着根本性的区别。

数字鸿沟:为何词语是瓶颈

我的计算证实:在生成仅仅一个词元之前,大型语言模型(LLM)就会形成超过一百个隐藏向量,这相当于约一百万个数值或约2MB的数据。而文本回答中仅包含这一信息财富的极小一部分。新的通信渠道正是旨在传递这些中间表示,从而开启对更密集、语义更丰富的数据流的访问。

Схема передачи информации из внутренних состояний языковой модели
语言模型内部状态信息传递示意图

实验:巨人思考,侏儒说话

为验证这一假设,团队进行了一项示范性实验,将两个极端连接起来:来自Z.ai的拥有7530亿参数的强大模型GLM-5.2,以及来自阿里巴巴的拥有40亿参数的紧凑型模型Qwen-3.5。大模型仅扮演“分析师”角色,处理请求但不生成回答。其内部状态通过“桥梁”传递给小模型,由后者来形成最终文本。

Схема взаимодействия GLM-5.2 и Qwen-3.5 через промежуточный модуль
GLM-5.2与Qwen-3.5通过中间模块交互示意图

结果令人印象深刻:这种组合将小模型与大模型之间的质量差距缩小了约一半。与传统的文本传递相比,新方法在相同计算量下显示出高达10个百分点的优势。此外,混合系统在展示与中等规模模型相当的结果时,所需计算资源减少了约2.5倍。

Результаты GLM-5.2 и Qwen-3.5 с использованием «моста»
使用“桥梁”的GLM-5.2与Qwen-3.5的结果

寻找共同的数学语言

Mostik首席科学家斯坦尼斯拉夫·斯米尔诺夫正确地指出了根本性问题:不同神经网络的内部表示无法直接进行比较。即使解决相同的任务,两个模型也可能在其隐藏状态中以完全不同的方式编码信息。“似乎目前尚不存在合适的数学语言,”他强调道。这是关键挑战:研究这些对应关系不仅是工程任务,更是理解不同AI系统如何感知世界和做出决策的途径。

该方法对行业的实际价值显而易见。前Google DeepMind研究员卡尔·图伊尔斯认为主要场景在于分工:资源密集型模型处理请求,而回答的生成则由一个体积小得多的模型承担。Lovable的技术负责人弗拉基米尔·阿鲁斯塔米扬预测,高度专业化模型的需求将增长:开发者不再需要打造“全能战士”,而是可以组合多个具有不同能力的系统——例如,将通用推理模型与基于生物学或物理学数据训练的模型相结合。

实证验证与“预览”状态

值得注意的是,团队还在ARC-AGI-3测试中应用了他们的方法,该测试要求AI在交互模式下适应新规则。带有“桥梁”的系统在当前排名中表现出最佳结果之一,但这些数据处于“预览”状态,基于不完整的测试集。所有声称的效率指标同样基于团队内部实验,尚未获得独立的外部验证。

我的结论:这种方法可能成为分布式AI系统新架构的基础,其中计算能力和专业化将是模块化的,而非单一整体的。然而,在工业应用之前,仍需解决在不同模型之间标准化“思想交换协议”这一艰巨任务。毕竟,即使在人类中,这也花费了数千年的语言进化。