Selon un rapport de The Information relayé par Techmeme et The Decoder, Sam Altman, PDG d'OpenAI, aurait présenté la semaine dernière trois fins possibles pour la sécurité de l'IA lors d'une présentation interne. Ces propos interviennent alors que l'administration Trump prépare son premier cadre de supervision des développeurs de superintelligence.
Altman a décrit trois pistes : une autorité internationale de surveillance calquée sur l'AIEA, une fusion des grands laboratoires d'IA en une entité unique à la manière du CERN, ou un scénario où un laboratoire devient si puissant grâce à une IA auto-améliorante qu'il pourrait couper le calcul de tous les autres. Il aurait qualifié cette dernière option de « terrible » et ne l'aurait évoquée que par souci d'exhaustivité, même si une source y a vu un tacle à un concurrent, vu les liens du théoricien de la sécurité de l'IA Eliezer Yudkowsky avec Anthropic.
Les trois fins décrites par Altman
La première approche créerait une organisation calquée sur l'Agence internationale de l'énergie atomique pour faire respecter des normes de sécurité. OpenAI avait publiquement appelé à une telle institution en mai 2023. Elle inspecterait les systèmes, imposerait des audits et surveillerait l'usage du calcul et de l'énergie. Une telle instance dépendrait de la coopération internationale, en particulier des pays qui développent des modèles de frontière, dont la Chine.
Altman aurait baptisé la deuxième approche « Demis Plan », d'après une proposition faite il y a environ dix ans par Demis Hassabis, alors à la tête du laboratoire d'IA DeepMind de Google. Hassabis imaginait une organisation d'IA calquée sur le CERN. Dans la version d'Altman, les grands laboratoires fusionneraient en une entité unique ou opéreraient sous son égide, et cette entité fournirait des modèles aux pays coopérants.
Altman aurait appelé la troisième approche « Eliezer Plan », d'après le théoricien de la sécurité de l'IA Eliezer Yudkowsky. Dans ce scénario, un développeur accumule tant de puissance économique grâce à une IA auto-améliorante qu'il prive tous les autres de calcul et pourrait, dans le cas le plus extrême, couper entièrement leurs capacités informatiques. Altman n'a évoqué ce scénario que par souci d'exhaustivité, selon le rapport. Une source indique que la remarque a été perçue comme un tacle à un concurrent, vu les liens de Yudkowsky avec Anthropic.
