Coinbase首席执行官布莱恩·阿姆斯特朗披露了令人瞩目的人工智能成本优化成果:尽管代币消耗量呈指数级增长,该公司仍将AI支出削减了近一半。这生动展示了优秀的工程文化与战略方法如何扭转成本失控增长的趋势。

阿姆斯特朗的核心结论是:节省成本并非依靠严格的限额和官僚化的支出管控,而是通过更智能的默认设置、智能化的请求路由以及高效的缓存机制来实现。在Coinbase,工程师可以自由选择任何模型,但默认配置起着决定性作用。此外,91%的员工从未触及使用限额,因此公司在不降低阈值的情况下转向了更经济的配置。

路由、缓存与上下文节约

Coinbase的内部系统会预先处理请求,评估缓存命中率和成本,并将其导向最合适的模型。例如,前沿模型适用于战略规划,但对于日常执行则显得大材小用。阿姆斯特朗认为,模型选择应由AI本身自动化完成,而非人工干预。

缓存机制受到特别关注。未命中缓存数据是推高成本的最简单方式,因此所有请求都设置为重复使用已处理的信息。在LibreChat服务中,经过正确配置后,缓存命中率从5%提升至60%。上下文节约同样重要:阿姆斯特朗建议在切换任务时开启新会话,严格限制文件上下文范围,并关闭未使用的工具。目标不是减少代币消耗,而是减少浪费。

多伊彻的"杠铃"策略

分析师迈尔斯·多伊彻描述了类似的方法,称之为"代币工程"和"杠铃"策略。他将前10%的工作(项目规划)交给最智能的模型(Opus、GPT)。80%的常规任务由更便宜的开源模型完成。最后10%的工作及结果验证再次交由高级模型处理。多伊彻已采用这一方案数月,认为这是降低AI过度支出的最佳方式。

我的专业分析:Coinbase的经验不仅是成本节约案例,更是范式转变。市场正从追逐最强模型的竞赛,转向智能编排的时代。能够有效组合不同模型并建立"代币效率"文化的企业,将获得巨大的竞争优势。而那些继续将大语言模型当作"万能锤子"的公司,将面临成本失控和灵活性丧失的风险。