Coinbase首席执行官布莱恩·阿姆斯特朗披露了公司如何在计算代币消耗指数级增长的情况下,将人工智能成本削减近一半的机制。他表示,成功的关键不在于严格的限制和官僚主义的禁令,而在于智能架构:默认设置、请求路由和激进缓存。

阿姆斯特朗强调,Coinbase的工程师可以选择任何模型进行工作,但默认配置具有决定性意义。公司积极进行实验,将轻量级开放权重模型(如GLM 5.2和Kimi 2.7)设为默认选项,并通过内部网关提供。令人惊讶的是,91%的员工从未触及设定的限制——因此公司选择降低基础配置成本,而非削减支出上限。

路由、缓存与上下文节约

Coinbase的内部系统会预先分析每个请求,并根据缓存命中概率和最终成本,自动将其路由到最合适的模型。例如,战略规划需要先进模型,但日常执行中使用则显得冗余且昂贵。阿姆斯特朗坚持认为,模型选择理想情况下应由AI自动完成,而非人工干预。

缓存机制受到特别关注。未命中缓存数据是推高成本的最快方式。Coinbase的所有请求都配置为重复利用已处理的信息。在LibreChat服务中,经过正确配置后,缓存命中率从5%提升至60%。此外,"上下文节约"至关重要:阿姆斯特朗建议在切换任务时开启新会话,严格限制文件上下文,并关闭未使用的工具。目标并非从根本上减少代币消耗,而是避免浪费。正是这种方法使Coinbase在消耗持续增长的情况下,将AI成本削减近一半。

多伊彻的"杠铃"策略

分析师迈尔斯·多伊彻推广了类似方法,称之为"代币工程"。他提出"杠铃"策略,可将AI成本降低50%甚至更多。多伊彻建议,前10%的工作和项目规划应交给最智能的模型(如Opus、GPT)——这是关键阶段。80%的常规任务应由更便宜的开源模型执行。最后10%的收尾和结果验证则再次交由高级模型处理。多伊彻已采用此方案数月,认为这是遏制AI过度支出的最佳方式。

专家观点: Coinbase的经验生动表明,在高计算成本时代,胜出的不是花费更多的企业,而是更明智支出的企业。从"人人使用最强模型"的模式转向智能路由和缓存,不仅是节约成本,更是工程文化的新标准。多伊彻的"杠铃"策略合理补充了这一方法,为任何开发团队提供了务实的模板。AI市场正走向全面优化,而Coinbase正是其中的耀眼先驱之一。