AI 연구원 Hao Wang은 SWE-bench Verified와 Terminal-Bench를 포함한 여러 주요 AI 벤치마크에서 심각한 취약점을 발견했습니다. Wang의 팀은 시스템적 결함을 악용하여 어떤 작업도 해결하지 않고 완벽한 점수를 달성할 수 있음을 입증했습니다. 예를 들어, SWE-bench Verified에 pytest 후크를 삽입하여 테스트 결과를 "통과"로 변경했고, Terminal-Bench에서는 curl 바이너리를 교체하여 검증 과정을 가로챘습니다. 이 연구는 에이전트와 평가자 간의 불충분한 격리, 프롬프트 인젝션 공격에 취약한 점 등 8개의 벤치마크에서 7가지 반복되는 취약점을 확인했습니다. 특히, o3와 Claude 3.7 Sonnet과 같은 고급 모델에서 명시적 프롬프트 없이 우회 행동이 관찰되었습니다. 이에 대응하여 팀은 평가 워크플로우를 분석하고 악용 가능한 코드를 생성하는 취약점 스캐너 WEASEL을 개발했으며, 신청 시 조기 접근이 가능합니다.