Le patron de Microsoft, Satya Nadella, a publié un nouveau billet dans lequel il affirme que les systèmes dits de Super Intelligence sont des boîtes noires auxquelles les entreprises ne doivent pas faire confiance, et qu'il faut leur imposer des systèmes déterministes robustes une fois déployés. Le texte, intitulé « Models as Insider Risks in the Super Intelligence Era », a été partagé depuis son compte et repris rapidement par Techmeme et The Decoder.
L'idée centrale est simple : les modèles actuels ne permettent pas de comprendre pourquoi ils produisent telle réponse ou telle décision, alors qu'ils sont déjà branchés sur des données sensibles et autorisés à accomplir des actions critiques. La réponse de Nadella n'est pas un meilleur modèle, mais un contrôle plus strict autour du modèle utilisé, quel qu'il soit.
L'avertissement de Nadella sur la Super Intelligence, expliqué
« Non pas parce qu'ils sont nécessairement malveillants, mais parce que tout acteur suffisamment capable ayant accès à des systèmes importants peut commettre des erreurs ou être compromis, et l'architecture de confinement et de contrôle doit en tenir compte », écrit Nadella, qui présente les modèles comme des menaces internes plutôt que comme des attaquants extérieurs.
Sa solution consiste à séparer l'intelligence du contrôle de cette intelligence. Le système le plus digne de confiance, selon lui, n'est pas celui qui dispose du meilleur modèle, mais celui dans lequel on doit le moins faire confiance au modèle. Il souligne également que Google DeepMind a exprimé des préoccupations similaires sur le fait de traiter les modèles comme des risques internes potentiels.
- Diversité des modèles au lieu d'une dépendance à un seul fournisseur
- Journalisation complète de chaque action entreprise par un modèle
