Логан Килпатрик, старший менеджер по продукту в Google DeepMind, призвал компании, занимающиеся искусственным интеллектом, разрабатывать собственные эталоны для более точной оценки производительности моделей ИИ. В своем выступлении на платформе X Килпатрик подчеркнул, что индивидуальные эталоны позволяют компаниям сосредоточиться на показателях, релевантных их конкретным бизнес-потребностям, вместо того чтобы полагаться на публичные рейтинги, которые могут не отражать их уникальные сценарии использования. Он отметил, что такие компании, как Zapier и Sierra, уже получают выгоду от этого подхода, который может привести к значительным улучшениям в производительности моделей ИИ, адаптированных под задачи конкретного бизнеса.