Coinbase ha logrado reducir su gasto en IA en casi un 50% mediante la implementación de modelos de peso abierto y la optimización de su infraestructura, según el CEO Brian Armstrong. La empresa ha cambiado a usar modelos como GLM 5.2 de Zhipu y Kimi 2.7 de Moonshot AI como opciones predeterminadas, permitiendo a los ingenieros seleccionar el modelo más adecuado para tareas específicas. Esta estrategia ha permitido que el 91% de los empleados eviten alcanzar los límites de uso, reduciendo así los costos sin limitar el uso de la IA. Coinbase también ha mejorado sus estrategias de enrutamiento y almacenamiento en caché. Al preprocesar las indicaciones y dirigir las tareas a los modelos más adecuados según las tasas de aciertos en caché y los precios, la empresa ha incrementado su tasa de aciertos en caché del 5% al 60%. Armstrong enfatizó que el objetivo es crear una infraestructura sostenible que apoye un crecimiento exponencial, enfocándose en reducir los tokens desperdiciados y mejorar la visibilidad del uso para asegurar resultados de alto impacto de las inversiones en IA.