A Coinbase conseguiu reduzir seus gastos com IA em quase 50% ao implementar modelos de peso aberto e otimizar sua infraestrutura, segundo o CEO Brian Armstrong. A empresa passou a usar modelos como o GLM 5.2 da Zhipu e o Kimi 2.7 da Moonshot AI como opções padrão, permitindo que os engenheiros escolham o modelo mais adequado para tarefas específicas. Essa estratégia permitiu que 91% dos funcionários evitassem atingir os limites de uso, reduzindo custos sem limitar o uso da IA. A Coinbase também melhorou suas estratégias de roteamento e cache. Ao pré-processar prompts e direcionar tarefas para os modelos mais adequados com base nas taxas de acerto do cache e nos preços, a empresa aumentou sua taxa de acerto do cache de 5% para 60%. Armstrong enfatizou que o objetivo é criar uma infraestrutura sustentável que suporte crescimento exponencial, focando na redução de tokens desperdiçados e na melhoria da visibilidade do uso para garantir resultados de alto impacto dos investimentos em IA.