Logan Kilpatrick, Gerente Sênior de Produto na Google DeepMind, pediu que as empresas de IA desenvolvam seus próprios benchmarks para avaliar melhor o desempenho dos modelos de IA. Falando no X, Kilpatrick enfatizou que benchmarks personalizados permitem que as empresas se concentrem em métricas relevantes para suas necessidades específicas de negócios, em vez de depender de rankings públicos que podem não refletir seus casos de uso únicos. Ele destacou que empresas como Zapier e Sierra já estão se beneficiando dessa abordagem, que pode impulsionar melhorias significativas no desempenho dos modelos de IA adaptados a tarefas específicas do negócio.