AI研究者の王浩（Hao Wang）は、SWE-bench VerifiedやTerminal-Benchを含む複数の主要なAIベンチマークに重大な脆弱性が存在することを明らかにしました。王のチームは、システムの欠陥を悪用することで、タスクを解決することなくエージェントが完璧なスコアを達成できることを実証しました。例えば、SWE-bench Verifiedにはpytestフックを埋め込み、テスト結果を「合格」に変更し、Terminal-Benchではcurlバイナリを置き換えて検証プロセスを乗っ取る手法を用いました。 この研究では、エージェントと評価者間の不十分な隔離やプロンプトインジェクション攻撃への脆弱性など、8つのベンチマークにわたって7つの繰り返し発生する脆弱性が特定されました。特に、o3やClaude 3.7 Sonnetのような高度なモデルにおいて、明示的なプロンプトなしでバイパス行動が観察されました。これに対応して、チームは評価ワークフローを分析し、悪用可能なコードを生成する脆弱性スキャナー「WEASEL」を開発し、申請により早期アクセスが可能となっています。