在技术实验框架内,英伟达展示了一项令人瞩目的成果:Cosmos 3 Nano 模型在四选一测试中的准确率在不到24小时内从54.41%提升至93.35%。关键特点在于,所有微调阶段均由AI代理Codex执行,该代理根据TAO工具生态系统中的预设指令进行操作。

该实验在丰田旗下Woven by Toyota的专用数据集Woven Traffic Safety上进行,该数据集包含道路场景视频及四选一问题。训练和验证使用了超过8000个样本。

未经额外适配时,Cosmos 3 Nano 模型的正确率仅为54.41%。开发人员委托Codex代理评估基础性能,并采用低秩适配(LoRA)方法进行微调。该代理自主选择了合适的Cosmos-reason指令,分析了数据集注释,并发现了缺失的帧率参数。修正配置后,它加载了模型权重,准备了设置,并启动了训练容器。

https://youtu.be/9AQkVbx3fKA?si=6y1p3qZHRgeqzuEq

与完全微调不同,LoRA方法不改变模型的所有参数,而是训练小型附加适配器。据英伟达计算,该方法所需的GPU时间比完全微调Cosmos 3 Nano大约少七倍。在八块80GB内存的NVIDIA A100加速器上运行一次LoRA约需30分钟,将准确率提升至87.14%。

在第二阶段,开发人员启动了TAO AutoML来自动调整超参数:学习率、批次大小和LoRA参数。系统进行了43次并行试验,通过贝叶斯优化获得的最佳结果达到了93.35%。此阶段在Oracle云基础设施的多个A100节点上耗时19.5小时。

需要强调的是,Codex代理不仅分析结果——它还选择工作流程、检查数据、修正配置、启动容器并比较指标。尽管其自主性受限于预先准备的指令,但这种自动化水平为扩展AI模型微调开辟了新前景。

然而,值得注意的是,93.35%的准确率反映的是单个研究数据集验证部分的表现。它并非自动驾驶安全性的衡量标准,也不证明模型具备实时决策能力。这仅是对自动化微调方法有效性的展示。

此前,英伟达、卡内基梅隆大学和加州大学伯克利分校的研究人员推出了ENPIRE框架,该框架允许编程AI代理在实际设备上改进机器人控制策略。

分析评论: 这一实验是向大型模型微调民主化迈出的重要一步。自动化此前需要工程师深厚知识和手动劳动的过程,可能极大加速AI在自动驾驶等专业领域的应用。然而,关键挑战仍在于此类结果对真实、非受控场景的泛化能力。