CoinbaseのCEO、ブライアン・アームストロングは、同社が戦略的なインフラ最適化によりAI支出をほぼ半減させることに成功したと発表しました。これらの最適化には、トークン使用量の急増に対応して、デフォルト設定、ルーティング、キャッシュ機構の改善が含まれています。 主な対策としては、GLM 5.2やKimi 2.7のようなオープンソースでコスト効率の高いモデルの採用があり、使用制限に達したことのない従業員の91％に十分であることが証明されています。さらに、インテリジェントルーティングにより、タスクが最も適切なモデルに自動的に振り分けられ、コストと効率が最適化されています。同社はキャッシュ戦略も強化し、キャッシュヒット率を大幅に向上させており、LibreChatでは5％から60％への改善が例として挙げられます。これらの取り組みは、業務の効率化とAI支出の可視化を進める広範なイニシアチブの一環です。