Google DeepMindのシニアプロダクトマネージャーであるローガン・キルパトリック氏は、AI企業に対してAIモデルの性能をより適切に評価するために独自のベンチマークを開発するよう呼びかけました。X上での発言で、キルパトリック氏はカスタムベンチマークにより、企業は自社の特定のビジネスニーズに関連する指標に集中できると強調しました。これは、独自のユースケースを反映しない可能性のある公開リーダーボードに依存するのではなく、より適切な評価を可能にします。彼は、ZapierやSierraのような企業がすでにこのアプローチの恩恵を受けており、ビジネス固有のタスクに合わせたAIモデルの性能向上に大きく寄与していることを指摘しました。