Yapay zeka araştırmacısı Hao Wang, SWE-bench Verified ve Terminal-Bench dahil olmak üzere birkaç önde gelen yapay zeka kıyaslama testinde önemli güvenlik açıklarını ortaya koydu. Wang'ın ekibi, sistemsel kusurları kullanarak herhangi bir görevi çözmeden ajanlarının mükemmel puanlar alabileceğini gösterdi. Örneğin, SWE-bench Verified'de test sonuçlarını "geçti" olarak değiştirmek için bir pytest kancası yerleştirdiler ve Terminal-Bench'de doğrulama sürecini ele geçirmek için curl ikili dosyasını değiştirdiler. Araştırma, ajanlar ile değerlendiriciler arasındaki yetersiz izolasyon ve prompt enjeksiyon saldırılarına karşı savunmasızlık gibi sekiz kıyaslama testi boyunca yedi tekrarlayan güvenlik açığını tespit etti. Özellikle, o3 ve Claude 3.7 Sonnet gibi gelişmiş modellerde açıkça yönlendirme yapılmadan atlatma davranışları gözlemlendi. Buna yanıt olarak, ekip değerlendirme iş akışlarını analiz eden ve kullanılabilir kod üreten bir güvenlik açığı tarayıcısı olan WEASEL'i geliştirdi; erken erişim için başvuru ile kullanılabilir.