Coinbase首席执行官布莱恩·阿姆斯特朗分享了一个出人意料的案例:尽管代币消耗呈指数级增长,该公司却将人工智能支出削减了近一半。关键结论是,效率并非通过严格限制实现,而是通过优化默认设置、智能路由请求以及积极缓存来达成。

阿姆斯特朗强调,Coinbase的工程师可以选择任何模型,但决定性因素在于默认设置。该公司正在尝试使用开源权重模型作为基础,例如通过内部网关可用的GLM 5.2和Kimi 2.7。值得注意的是,91%的员工从未触及使用上限,因此公司转向更便宜的设置,而非降低配额。

路由、缓存与上下文节约

Coinbase的内部架构基于请求预处理构建。系统会根据缓存命中率和成本,自动将任务分配给最合适的模型。例如,规划任务使用先进模型,但执行常规任务时则显得冗余。阿姆斯特朗坚持认为,模型选择应由AI本身自动化,而非人工干预。

缓存的作用被单独强调。未命中已保存数据是推高成本的最简单方式。在LibreChat服务中,经过正确配置后,缓存命中率从5%提升至60%。上下文节约同样重要:阿姆斯特朗建议在切换任务时开启新会话,严格限制文件上下文,并关闭未使用的工具。目标不是减少代币消耗,而是减少浪费。

多伊彻的“杠铃”策略

分析师迈尔斯·多伊彻描述了类似的方法,称之为“代币工程”。他的“杠铃”策略可将AI支出削减50%甚至更多。他将前10%的工作和项目规划交给最智能的模型(Opus、GPT),因为这是关键阶段。80%的常规任务由更便宜的开源模型完成。最后10%及结果验证再次交由高级模型处理。多伊彻已采用此方案数月,认为这是降低AI过度支出的最佳方式。

专家观点: Coinbase的案例是将AI融入基础设施的务实典范。市场常追逐最昂贵的模型,却忘记80%的任务无需如此算力。路由自动化与积极缓存正是那些“低垂的果实”,能在不倍增预算的情况下扩展AI应用。对于每一分钱都精打细算的加密公司而言,这不仅是节约,更是竞争中的生存之道。