Coinbase在代币消费激增的情况下将AI支出削减了一半:秘诀不在于限额
Coinbase首席执行官布莱恩·阿姆斯特朗分享了该交易所如何在代币消耗呈指数级增长的情况下,将人工智能成本削减近一半的细节。成功的关键并非严格的限制和预算额度,而是智能的基础设施配置。
阿姆斯特朗明确表示:Coinbase的工程师可以选择任何人工智能模型,但默认设置至关重要。该公司正尝试通过内部网关,默认使用更便宜的开源权重模型,如GLM 5.2和Kimi 2.7。值得注意的是,91%的员工从未触及设定的限制,因此Coinbase选择优化默认参数,而非降低配额。这不仅遏制了成本增长,还实现了成本逆转。
路由、缓存与上下文节约
在Coinbase的自有系统中,请求会经过预处理,并根据缓存命中概率和成本被路由到最合适的模型。例如,高级模型对于规划是必要的,但对于常规执行则过于冗余。阿姆斯特朗强调,模型的选择最终应由人工智能本身自动化,而非人工完成。
缓存受到特别关注。未命中已存储数据是推高成本的最简单方式。在Coinbase,所有请求都被配置为重复使用已处理的信息。在LibreChat服务中,正确配置后,缓存命中率从5%提升至60%。
上下文节约也至关重要。阿姆斯特朗建议在任务切换时开启新会话,严格限制文件上下文,并关闭未使用的工具。目标不是减少代币消耗,而是最小化无意义的浪费。正是这种综合方法,使Coinbase在消费持续增长的情况下,将人工智能成本削减了近一半。
多伊彻的“杠铃”策略:10-80-10
分析师迈尔斯·多伊彻描述了一种类似的方法,称之为“代币工程”时代。他提出“杠铃”策略,可将人工智能成本降低50%或更多。他建议将前10%的工作(项目规划)交给最智能的模型,如Opus或GPT,因为这是最关键阶段。
他认为,80%的常规工作应由更便宜的开源模型完成。最后10%的工作及结果验证,他再次交给高级模型。多伊彻声称已采用该方案数月,并认为这是减少人工智能过度支出的最佳方式。
Cryptalist分析: Coinbase的经验是整个行业的生动教材。我们正从“只管用最强模型”的时代,转向“为正确任务选正确模型”的时代。智能路由和积极缓存不仅是节约,更是效率的新标准。未采用类似实践的公司,可能会在失控的人工智能消耗中烧掉资本。