Logan Kilpatrick, chef de produit senior chez Google DeepMind, a appelé les entreprises d'IA à développer leurs propres référentiels afin d'évaluer plus efficacement la performance des modèles d'IA. S'exprimant sur X, Kilpatrick a souligné que des référentiels personnalisés permettent aux entreprises de se concentrer sur des métriques pertinentes pour leurs besoins commerciaux spécifiques, plutôt que de s'appuyer sur des classements publics qui ne reflètent pas nécessairement leurs cas d'utilisation uniques. Il a mis en avant que des entreprises comme Zapier et Sierra bénéficient déjà de cette approche, qui peut entraîner des améliorations significatives des performances des modèles d'IA adaptées aux tâches spécifiques des entreprises.