Anthropic a annoncé que son modèle Claude, en collaboration avec son partenaire Theorem, a prouvé formellement des propriétés de sécurité dans le code compilé de 123 bibliothèques open source. Les preuves ont été générées au niveau de l'assembleur pour l'architecture de processeurs RISC-V, une première à cette échelle pour la vérification formelle assistée par IA. Au passage, Claude a détecté des bugs restés invisibles pendant des années malgré des milliers de milliards d'exécutions de tests.
Ce travail, publié par la Frontier Red Team d'Anthropic, s'attaque à un problème fondamental de la sécurité logicielle : les tests classiques ne peuvent jamais prouver qu'un code est totalement exempt de bugs. La vérification formelle le peut, mais elle a toujours exigé un effort humain considérable — la vérification du petit noyau de système d'exploitation seL4 a nécessité environ 20 années-personnes. Anthropic affirme que les grands modèles de langage rendent désormais cette approche praticable à bien plus grande échelle.
Comment Claude a vérifié 123 bibliothèques au niveau assembleur
L'équipe a utilisé des programmes de test issus du projet de sécurité OSS-Fuzz de Google, qui couvre des bibliothèques open source largement utilisées. Plutôt que d'écrire du nouveau code, Claude a traduit les tests de plantage existants en problèmes mathématiques, analysé le code machine compilé et produit environ 180 millions de lignes de preuve en quelques semaines. Un vérificateur indépendant nommé Rocq contrôle automatiquement ces preuves.
Selon Anthropic, le processus n'a pratiquement pas nécessité de relecteurs humains, ce que l'entreprise décrit comme une génération de preuves « entièrement autonome » — même si les outils et les fondations formelles ont été conçus par des humains chez Theorem. Les propriétés de sécurité prouvées par Claude étaient précises : les programmes se terminent toujours normalement, sans erreurs de sécurité mémoire ni assertions échouées, pour toute entrée inférieure à 64 Mo et toute réponse du système Linux et disposition mémoire modélisées.
