Les modèles d'IA d'Anthropic progressent environ deux fois plus vite qu'il y a un an, selon un nouveau rapport de METR, l'organisation de recherche sur la sécurité de l'IA. Publiés jeudi au terme de onze semaines d'enquête au sein de l'entreprise, ces résultats constituent l'une des preuves les plus claires à ce jour que l'IA accélère son propre développement.
Le rapport tombe à un moment délicat pour Anthropic. L'entreprise se prépare à entrer en bourse, alors même que son directeur général Dario Amodei a publiquement appelé les laboratoires à ralentir le développement de l'IA. METR a été autorisée à masquer certaines parties du rapport final en vertu de son accord avec Anthropic, et semble l'avoir fait largement, ce qui laisse planer des questions sur ce que le public sait réellement du rythme des travaux à la frontière de l'IA.
Accélération de l'IA chez Anthropic : les principaux constats
La conclusion la plus frappante de METR est la vitesse elle-même. Les scores aux tests de référence suggèrent qu'« Anthropic a réalisé environ deux ans de progrès historiques au cours de la dernière année », écrivent les chercheurs. Surtout, ils se disent « confiants » que cela ne résulte pas simplement d'une montée en puissance de la puissance de calcul d'entraînement, moteur historique majeur des progrès de l'IA. La majorité de l'accélération observée en octobre « est due à l'IA », sa contribution augmentant avec le temps.
Ce constat est étayé par des sondages informels sur Slack et des entretiens avec des employés d'Anthropic, qui font état de gains de productivité considérables. L'essentiel de l'accélération vient aujourd'hui de l'IA qui assiste les chercheurs humains plutôt que d'un travail autonome, mais METR avertit qu'« il y a des signes que les contributions entièrement autonomes joueront bientôt un rôle plus important ».
Une grande partie des gains décrits dans le rapport renvoie à des modèles que le public ne peut pas utiliser. Anthropic a donné à METR accès à des recherches confidentielles, à des données de performance des modèles et à des entretiens d'employés, et les modèles internes sont nettement plus avancés que tout ce qui a été publié.
- Les modèles d'Anthropic progressent environ deux fois plus vite qu'il y a un an, les scores aux tests suggérant environ deux ans de progrès historiques en une année.
- METR se dit confiante que cette accélération ne vient pas principalement d'une montée en puissance du calcul, moteur historique des progrès de l'IA.
