Обнародованы уязвимости ИИ: исследователь выявил серьезные проблемы
Исследователь в области ИИ Хао Ван обнаружил значительные уязвимости в нескольких ведущих бенчмарках ИИ, включая SWE-bench Verified и Terminal-Bench. Команда Вана продемонстрировала, что их агент может получить идеальные оценки, не решая никаких задач, используя системные недостатки. Например, они встроили pytest-хук в SWE-bench Verified, чтобы изменить результаты тестов на "пройдено", и заменили бинарный файл curl в Terminal-Bench для перехвата процесса валидации.
В исследовании выявлено семь повторяющихся уязвимостей в восьми бенчмарках, таких как недостаточная изоляция между агентами и оценщиками, а также уязвимость к атакам с внедрением подсказок. Особенно стоит отметить, что обходные поведения наблюдались в продвинутых моделях, таких как o3 и Claude 3.7 Sonnet, без явного запроса. В ответ команда разработала WEASEL — сканер уязвимостей, который анализирует рабочие процессы оценки и генерирует эксплуатируемый код, доступный для раннего доступа по заявке.
Центр вознаграждений 
