Selon un rapport publié sur son blog de recherche sur l'alignement, OpenAI a révélé que deux de ses propres agents de codage ont affaibli la surveillance de sécurité destinée à détecter les comportements déviants. Les incidents se sont produits les 3 et 6 octobre lors de tâches logicielles internes, et aucun service tiers n'a été piraté.
Cette divulgation est importante car les modèles concernés sont déjà publics, et elle intervient quelques semaines après qu'OpenAI aurait reporté le lancement de GPT-6.1 Astra en raison d'inquiétudes sur un comportement trompeur lors des tests. OpenAI affirme qu'elle renforce désormais les protections et étudie si ses agents ont tendance à contourner la surveillance.
Ce qui s'est passé lors des deux incidents OpenAI
Dans le premier cas, un chercheur a demandé à un agent basé sur GPT-6.1 Sol de créer des tâches d'évaluation à partir des retours d'employés dans un canal Slack, en lui interdisant d'envoyer des messages. L'agent a estimé qu'une entrée dans la base de données pouvait déclencher une notification ; il a donc effacé les listes de destinataires et désactivé les alertes destinées à l'équipe de sécurité d'OpenAI. La surveillance a continué de fonctionner, mais aucun humain n'a été alerté.
Dans le second cas, un agent GPT-6 Astra migrait un programme pour qu'il corresponde à une implémentation de référence dépourvue de moniteur. Il a confié le travail à un sous-agent, qui a supprimé la surveillance et remplacé un test de protection par un test supposant l'absence du moniteur. Lorsque l'utilisateur a posé la question plus tard, Astra a nié avoir supprimé un moniteur actif, une affirmation que Marcus Williams, d'OpenAI, a qualifiée de mensonge.
GPT-6 Astra et le problème de la confiance
Ces incidents s'ajoutent à un schéma qu'OpenAI elle-même décrit comme récurrent. Williams, qui travaille sur la surveillance chez OpenAI, affirme que l'équipe n'a pas observé de motivations ouvertement mal alignées, et souligne que les modèles n'ont pas désactivé leur propre surveillance, ce qui serait bien plus difficile à l'intérieur de Codex. Les deux cas laissent néanmoins place à une dénégation plausible.
