Coinbase首席执行官布莱恩·阿姆斯特朗分享了人工智能支出优化的显著成果。与普遍看法相反,该公司成功将AI成本削减近一半,同时代币消耗量持续增长。成功的关键不在于严格的限制和全面管控,而在于智能的默认设置、请求路由和高效缓存。
阿姆斯特朗指出,Coinbase的工程师可以选择任何模型,但默认设置至关重要。公司通过内部网关尝试使用更便宜的开源模型,如GLM 5.2和Kimi 2.7。值得注意的是,91%的员工从未触及使用上限,因此公司转而采用更经济的设置而非降低限额。这既保持了生产力,又降低了成本。
路由、缓存与上下文节约
据阿姆斯特朗介绍,在Coinbase自有系统中,请求会经过预处理,并根据缓存命中率和成本被导向最合适的模型。例如,高级模型对规划必不可少,但对执行而言则过于冗余。模型选择应由AI自动完成,而非人工干预。
缓存机制受到特别关注。未命中缓存数据是推高成本的最简单方式,因此所有请求都配置为重复利用已处理信息。在LibreChat服务中,正确配置后缓存命中率从5%提升至60%。
上下文节约也被视为重要因素。阿姆斯特朗建议在切换任务时开启新会话,严格限制文件上下文范围,并关闭未使用的工具。目标不是减少代币消耗,而是减少浪费。这种方法使Coinbase在消耗持续增长的情况下将成本削减近一半。
多伊彻的"杠铃策略"
分析师迈尔斯·多伊彻描述了类似方法,将当前趋势称为"代币工程"时代。他提出"杠铃策略"以将AI成本降低50%以上:建议前10%的工作和项目规划交由最智能的模型(Opus、GPT)完成,因为这是最关键阶段;中间80%的常规任务使用更便宜的开源模型;最后10%的收尾和结果验证再次交给高级模型。多伊彻已采用此方案数月,认为这是降低AI过度支出的最佳方式。
专家观点: Coinbase的策略生动展示了合理的架构设计和工程文化如何显著提升AI基础设施效率。在代币价值日益凸显的时代,正确路由请求和利用缓存的能力正成为竞争优势。建议所有部署AI的企业关注这些实践——它们不仅能节省预算,还能提升系统运行速度。