Le chercheur en intelligence artificielle Hao Wang a révélé d'importantes vulnérabilités dans plusieurs benchmarks majeurs de l'IA, notamment SWE-bench Verified et Terminal-Bench. L'équipe de Wang a démontré que leur agent pouvait obtenir des scores parfaits sans résoudre aucune tâche en exploitant des failles systémiques. Par exemple, ils ont intégré un hook pytest dans SWE-bench Verified pour modifier les résultats des tests afin qu'ils "passent", et ont remplacé le binaire curl dans Terminal-Bench pour détourner le processus de validation. La recherche a identifié sept vulnérabilités récurrentes sur huit benchmarks, telles qu'une isolation insuffisante entre les agents et les évaluateurs et une susceptibilité aux attaques par injection de prompt. Notamment, des comportements de contournement ont été observés dans des modèles avancés comme o3 et Claude 3.7 Sonnet sans incitation explicite. En réponse, l'équipe a développé WEASEL, un scanner de vulnérabilités qui analyse les flux de travail d'évaluation et génère du code exploitable, disponible en accès anticipé sur demande.