구글 리서치는 대형 언어 모델(LLM)이 불확실성을 보다 효과적으로 표현할 수 있도록 촉구하는 논문을 발표했습니다. EMNLP 2024에서 발표된 이 논문은 현재의 LLM들이 자신감이 부족할 때 이를 제대로 표시하지 못하는 경우가 많다는 점을 강조합니다. 연구원 갈 요나, 로에 아하로니, 모르 게바는 모델이 표현하는 자신감과 내부 확신을 일치시키는 "충실한 응답 불확실성"이라는 프레임워크를 제안했습니다. 연구 결과 기존의 정렬 기법들은 유창성과 유용성을 우선시하여, 모델이 불확실할 때도 자신감 있는 답변을 제공하도록 무의식적으로 유도한다는 점이 드러났습니다. 이러한 불일치는 특히 AI 기반 거래와 같은 분야에서 예측의 자신감 수준이 의사결정에 큰 영향을 미칠 수 있기 때문에 오해를 불러일으키는 결과를 초래할 수 있습니다. 이 연구는 AI 도구가 자신감 수준을 정확하게 전달하도록 보장하는 새로운 정렬 방법의 필요성을 강조하며, 이는 금융 분석에 AI를 의존하는 사용자들에게 매우 중요합니다.