Vous connaissez cette astuce qui consiste à demander à une IA de « corriger » son propre code ? Il semble que les modèles fassent quelque chose de plus étrange encore : modifier les mathématiques à l'intérieur d'autres modèles. Une nouvelle étude du MIT CSAIL affirme que les grands modèles de langage de pointe sont étonnamment doués pour lire et écrire nativement les poids d'un réseau de neurones, bien au-delà de ce que feraient des humains ou des algorithmes classiques.
Les chercheurs, menés par Rikiya Takehi avec Jayden Teoh, Alex Zhang et Omar Khattab, indiquent que GPT-6 Astra a modifié les poids de Qwen3.5-0.8B pour le rendre meilleur en mathématiques. Un LLM a donc touché aux paramètres d'un autre modèle et les a changés directement, sans se contenter de le pousser à adopter un autre comportement. L'équipe parle de programmation dans l'espace des poids (weight-space programming), une capacité que l'on attendait plutôt d'un scénario de science-fiction que d'un banc d'essai.
GPT-6 Astra et Qwen3.5-0.8B : une édition au niveau des poids
La démonstration principale est modeste mais parlante : Astra, un modèle d'OpenAI, a reçu Qwen3.5-0.8B, un modèle compact de 0,8 milliard de paramètres. Selon les chercheurs, Astra a modifié ces paramètres pour améliorer la façon dont le modèle traite les mathématiques.
Pourquoi est-ce important ? Le réglage fin classique exige des jeux de données, des cartes graphiques et des heures d'entraînement. Modifier directement les poids serait une approche bien plus chirurgicale : ne changer que ce qui doit l'être, sans pipeline de réentraînement. L'étude suggère que les LLM de pointe y parviennent « bien au-delà de ce que nous attendrions d'humains ou d'algorithmes classiques », et c'est précisément ce qui surprend les chercheurs.
Ces travaux sont publiés sous forme d'article de blog : c'est un résultat de recherche, pas une fonctionnalité commercialisée. Les auteurs ne prétendent pas que tous les modèles en sont capables, seulement que les LLM de pointe ont montré une habileté inattendue en la matière.
