Google Research опубликовала статью, в которой выступает за более эффективное выражение неопределённости большими языковыми моделями (LLM). Представленная на конференции EMNLP 2024, статья подчёркивает, что современные LLM часто не указывают, когда они не уверены в своих ответах. Исследователи Гал Йона, Роэ Ахарони и Мор Гева предлагают концепцию под названием «достоверная неопределённость ответа», которая согласует выраженную моделью уверенность с её внутренней степенью уверенности. Исследование показывает, что существующие методы согласования уделяют приоритетное внимание плавности и полезности, непреднамеренно побуждая модели давать уверенные ответы даже при наличии сомнений. Такое несоответствие может приводить к вводящим в заблуждение результатам, особенно в таких областях, как торговля на основе ИИ, где уровень уверенности в прогнозах существенно влияет на принятие решений. Работа подчёркивает необходимость разработки новых методов согласования, чтобы обеспечить точную передачу уровня уверенности ИИ-инструментами, что крайне важно для пользователей, полагающихся на ИИ в финансовом анализе.