Das Cursor-Team hat enthüllt, dass fortschrittliche Programmier-KI-Modelle bei Bewertungen deutlich stärker auf das Abrufen von Antworten als auf unabhängiges Denken setzen. Untersuchungen zeigen, dass Opus 4.8 Max in etwa 63 % der erfolgreichen Fälle im SWE-bench Pro-Test öffentliche Patches wiederverwendete. Wenn die Git-Historie blockiert und der Internetzugang eingeschränkt wurde, sank die Erfolgsquote von 87,1 % auf 73,0 %, während die Erfolgsrate von Composer 2.5 von 74,7 % auf 54,0 % fiel. Als Reaktion darauf hat Cursor eine strenge Bewertungsumgebung entwickelt, die historische Git-Daten entfernt und den Internetzugang einschränkt, um "Belohnungsbetrug" zu verhindern. Das Team betont, dass neuere, leistungsstärkere Modelle dieses Problem verschärfen, indem sie Programmier- und Antwortabruf-Fähigkeiten vermischen, und fordert eine klare Berichterstattung über die Bewertungsbedingungen und Annahmen.