Brian Armstrong, PDG de Coinbase, a annoncé que l'entreprise a réussi à réduire ses dépenses en intelligence artificielle de près de moitié grâce à des optimisations stratégiques de son infrastructure. Ces optimisations incluent l'amélioration des paramètres par défaut, du routage et des mécanismes de mise en cache, mises en œuvre dans un contexte de forte augmentation de l'utilisation des tokens. Parmi les mesures clés, on compte l'adoption de modèles open source et économiques tels que GLM 5.2 et Kimi 2.7, qui se sont avérés suffisants pour 91 % des employés n'ayant jamais atteint les limites d'utilisation. De plus, le routage intelligent oriente désormais automatiquement les tâches vers les modèles les plus appropriés, optimisant ainsi les coûts et l'efficacité. L'entreprise a également amélioré sa stratégie de mise en cache, augmentant significativement le taux de réussite des caches, comme en témoigne l'amélioration de LibreChat passant de 5 % à 60 %. Ces efforts s'inscrivent dans une initiative plus large visant à rationaliser les opérations et à accroître la visibilité des dépenses liées à l'IA.