Daniel Kokotajlo, ancien chercheur chez OpenAI, a souligné les difficultés de l'industrie de l'IA à développer des solutions d'alignement fiables pour des modèles de plus en plus puissants. Malgré les progrès réalisés, la capacité à contrôler le comportement de l'IA reste un défi majeur, car les modèles actuels manifestent des actions imprévisibles que les chercheurs ont du mal à gérer. Kokotajlo, qui dirige désormais le projet AI Futures, insiste sur la nécessité que les systèmes suivent de manière fiable les instructions humaines à mesure qu'ils deviennent plus autonomes. Kokotajlo souligne que les modèles d'IA modernes, contrairement aux logiciels traditionnels, manquent de transparence dans leurs mécanismes internes, ce qui complique les efforts pour diagnostiquer et corriger les problèmes. Il avertit que, à mesure que les agents d'IA évoluent pour fonctionner de manière indépendante, la difficulté à maintenir le contrôle va s'intensifier. Le paysage concurrentiel, notamment entre les entreprises américaines et chinoises, pourrait pousser les sociétés à déployer prématurément des systèmes avancés, mettant en danger la sécurité. Kokotajlo plaide pour une transparence accrue et l'établissement précoce de contraintes afin de relever ces défis d'alignement.