英伟达公司进行了一项技术实验,展示了自主人工智能代理如何大幅加速大型语言模型的微调过程。此次实验涉及专为分析道路场景设计的Cosmos 3 Nano模型。结果令人印象深刻:在四选一测试中,答案准确率从54.41%飙升至93.35%——而这一切在不到24小时内完成。

关键执行者是AI代理Codex,它在英伟达的TAO工具框架内运行。该代理不仅仅是运行脚本,而是自主做出决策:选择了专门的Cosmos-reason指令,检查了丰田旗下Woven公司提供的Woven Traffic Safety数据集注释,发现了缺失的帧率参数,修正了配置,并启动了训练容器。

在初始阶段,未经适配的基础模型仅显示出54.41%的正确率。Codex采用了低秩适配(LoRA)方法。与完全微调不同,LoRA仅训练少量额外的适配器,而不影响模型的所有参数。根据英伟达的计算,这种方法所需的GPU时间比完整训练周期大约少七倍。

首次在八块配备80GB内存的NVIDIA A100加速器上运行LoRA耗时约30分钟,将准确率提升至87.14%。随后,开发人员指示启动TAO AutoML以调整超参数:学习率、批次大小和LoRA参数。系统通过贝叶斯优化进行了43次并行试验。最佳结果达到93.35%,而这一阶段在Oracle Cloud Infrastructure的多个A100节点上耗时19.5小时。

需要强调的是,在此实验中,Codex并非完全自主——它按照预先准备好的指令行动。然而,它自主选择了工作流程,检查了数据,修正了配置,并比较了指标。这已经是向复杂机器学习流水线自动化迈出的重要一步。

有必要做出一个重要说明:93.35%的指标反映的是在一个研究数据集验证部分上的准确率。它并不衡量自动驾驶的安全性,也不证实模型具备实时决策能力。尽管如此,AI代理能够如此快速高效地将模型适配到特定任务这一事实,为加速人工智能领域的研发开辟了新的前景。

专家观点: 这项实验生动展示了AI代理如何改变AI开发过程本身。如果说以前针对特定数据集微调模型需要工程师数天的手动工作,那么现在这项任务可以委托给自主代理。从长远来看,这将降低大型模型微调的成本并使其更加普及,这对于交通安全或医疗诊断等小众且要求苛刻的领域尤为关键。