Daniel Kokotajlo, ein ehemaliger Forscher bei OpenAI, hat die Schwierigkeiten der KI-Branche hervorgehoben, zuverlässige Lösungen zur Ausrichtung für immer leistungsfähigere Modelle zu entwickeln. Trotz Fortschritten bleibt die Fähigkeit, das Verhalten von KI zu kontrollieren, eine große Herausforderung, da aktuelle Modelle unvorhersehbare Aktionen zeigen, die Forscher nur schwer handhaben können. Kokotajlo, der nun das AI Futures Project leitet, betont die Notwendigkeit, dass Systeme menschlichen Anweisungen zuverlässig folgen, während sie autonomer werden. Kokotajlo weist darauf hin, dass moderne KI-Modelle im Gegensatz zu herkömmlicher Software keine Transparenz in ihren internen Mechanismen aufweisen, was die Diagnose und Behebung von Problemen erschwert. Er warnt, dass mit der Weiterentwicklung von KI-Agenten, die unabhängig agieren, die Schwierigkeit, die Kontrolle zu behalten, zunehmen wird. Das Wettbewerbsumfeld, insbesondere zwischen US-amerikanischen und chinesischen Unternehmen, könnte Firmen unter Druck setzen, fortschrittliche Systeme zu früh einzusetzen, was Sicherheitsrisiken birgt. Kokotajlo plädiert für mehr Transparenz und die frühzeitige Festlegung von Beschränkungen, um diese Ausrichtungsprobleme anzugehen.