Coinbase首席执行官布莱恩·阿姆斯特朗分享了公司战略细节,该战略使公司在代币消耗呈指数级增长的同时,将人工智能成本削减近一半。这并非源于严格的限制或官僚约束,而是得益于合理的工程优化:默认模型设置、请求路由以及积极的缓存策略。
阿姆斯特朗指出,工程师可以自由选择任何模型,但默认设置至关重要。Coinbase正在尝试通过内部网关将GLM 5.2和Kimi 2.7等开放权重模型设为默认选项。值得注意的是,91%的员工从未触及使用上限,因此公司选择降低成本而非收紧配额。
节省成本的关键在于智能路由。系统会预先分析请求,并根据缓存命中率和成本将其导向最合适的模型。例如,战略规划需要先进模型,但日常执行则无需如此。阿姆斯特朗强调:理想情况下,模型选择应由AI自动完成,而非人工干预。
缓存的作用尤为突出。未命中缓存数据是推高成本的最简单方式。在Coinbase,所有请求都经过配置以重复利用已处理的信息。在LibreChat服务中,经过正确配置后,缓存命中率从5%提升至60%。
上下文优化同样重要。阿姆斯特朗建议在切换任务时开启新会话,严格限制文件上下文范围,并关闭未使用的工具。目标不是减少代币消耗,而是避免浪费。
多伊彻的“杠铃”策略
分析师迈尔斯·多伊彻描述了类似方法,称之为“代币工程”和“杠铃”策略,可将成本降低50%甚至更多。他将前10%的工作(规划)交给Opus或GPT等最智能的模型;中间80%的常规任务由更便宜的开源模型完成;最后10%(结果验证)再次交由高级模型处理。多伊彻已采用该方案数月,认为这是降低AI过度支出的最佳方式。
Cryptalist分析: Coinbase的经验表明,AI部署效率取决于架构而非预算。按复杂度划分任务并最大化缓存利用率,是任何公司(而非仅巨头)都能实现的“速赢”策略。市场正从追逐最昂贵模型转向理性应用时代。