Coinbase首席执行官布莱恩·阿姆斯特朗向社区分享了人工智能成本优化的显著成果。该公司成功将AI支出削减近半,而令牌消耗量仍呈指数级增长。据阿姆斯特朗透露,秘诀并非严苛限制与禁令,而是基础设施的智能调优。

战略核心在于多层次请求路由。Coinbase部署的系统可自动将工程师的请求导向最适配模型:复杂规划与架构任务使用前沿模型,常规编码则调用更轻量经济的方案。阿姆斯特朗强调,模型选择应由AI自主完成而非人工干预。通过内部网关对GLM 5.2、Kimi 2.7等开源权重模型进行实验,同样实现了显著成本节约。

缓存与上下文:隐藏50%额外成本的角落

阿姆斯特朗指出两大关键要素:缓存与上下文管理。缓存未命中是推高成本的最快途径。Coinbase重新配置系统以复用已处理信息。在LibreChat服务中,正确配置后缓存命中率从5%跃升至60%。这意味着60%的请求无需重复计算,直接削减成本。

"上下文节约"同样重要。阿姆斯特朗建议切换任务时开启新会话,严格限定文件上下文,并禁用非必要工具。目标并非减少令牌消耗,而是避免将令牌浪费在冗余上下文上。最终,在消耗增长的情况下,Coinbase成功使支出趋于平稳,进而削减近半。

迈尔斯·多伊彻的"杠铃策略"

分析师迈尔斯·多伊彻独立描述了相似策略,称之为"令牌工程时代"。其"杠铃策略"为:10%最复杂关键任务(规划、架构)交由最智能昂贵的模型(Opus、GPT),80%常规工作使用廉价开源模型,剩余10%(最终检查与优化)再次启用顶级模型。多伊彻声称已实践该模式数月,认为这是将AI过度支出削减50%以上的最佳方案。

Cryptalist分析评论:Coinbase的经验不仅是成本优化案例,更彰显AI市场的成熟度。我们正从"多多益善"时代迈向"智能优化"时代。对于每一分钱都需精打细算的加密企业而言,这些原则并非奢侈品,而是激烈竞争中的生存必需。"杠铃策略"与智能路由将成为2024-2025年高效利用AI的事实标准。