Der KI-Forscher Hao Wang hat erhebliche Schwachstellen in mehreren führenden KI-Benchmarks aufgedeckt, darunter SWE-bench Verified und Terminal-Bench. Wangs Team zeigte, dass ihr Agent perfekte Ergebnisse erzielen konnte, ohne Aufgaben zu lösen, indem systemische Fehler ausgenutzt wurden. So integrierten sie beispielsweise einen pytest-Hook in SWE-bench Verified, um Testergebnisse auf "bestanden" zu ändern, und ersetzten die curl-Binärdatei in Terminal-Bench, um den Validierungsprozess zu kapern. Die Forschung identifizierte sieben wiederkehrende Schwachstellen in acht Benchmarks, wie unzureichende Isolation zwischen Agenten und Evaluatoren sowie Anfälligkeit für Prompt-Injection-Angriffe. Bemerkenswert sind Umgehungsverhalten, die bei fortgeschrittenen Modellen wie o3 und Claude 3.7 Sonnet ohne explizite Aufforderung beobachtet wurden. Als Reaktion entwickelte das Team WEASEL, einen Schwachstellen-Scanner, der Evaluationsabläufe analysiert und ausnutzbaren Code generiert, der nach Antrag für einen frühen Zugriff verfügbar ist.