Logan Kilpatrick, Senior Product Manager bei Google DeepMind, hat KI-Unternehmen dazu aufgerufen, eigene Benchmarks zu entwickeln, um die Leistung von KI-Modellen besser bewerten zu können. In einem Beitrag auf X betonte Kilpatrick, dass maßgeschneiderte Benchmarks es Unternehmen ermöglichen, sich auf Metriken zu konzentrieren, die für ihre spezifischen Geschäftsanforderungen relevant sind, anstatt sich auf öffentliche Bestenlisten zu verlassen, die möglicherweise nicht ihre einzigartigen Anwendungsfälle widerspiegeln. Er hob hervor, dass Unternehmen wie Zapier und Sierra bereits von diesem Ansatz profitieren, der erhebliche Verbesserungen der KI-Modellleistung ermöglicht, die auf geschäftsspezifische Aufgaben zugeschnitten sind.