Les world models font passer l'intelligence artificielle du texte à l'espace 3D, et ils s'apprêtent à devenir très difficiles à ignorer. Contrairement aux grands modèles de langage, qui prédisent le mot suivant dans une phrase, un world model prend un état visuel du monde — une image — et prédit l'état visuel suivant, en simulant la physique du réel pour que les robots et les voitures autonomes apprennent à se déplacer dans la réalité avant même de rouler sur la route.
Le concept n'est pas nouveau, mais l'argent et l'élan qui l'accompagnent le sont. Wired rapporte que Niantic, la société derrière Pokémon Go, a vendu le jeu et s'est recentrée massivement sur les world models via Niantic Spatial, misant sur le fait que des milliards de scans de rues et de parcs réalisés par les joueurs peuvent être transformés en répliques numériques. En parallèle, les investisseurs financent des startups comme World Labs, fondée par l'informaticienne de Stanford Fei-Fei Li et rachetée par AMD pour plus de 8 milliards de dollars, et Advanced Machines Intelligence, lancée par l'ancien chef scientifique de l'IA chez Meta, Yann LeCun, avec plus d'un milliard de dollars levés.
Comment fonctionnent réellement les world models
L'idée est simple à décrire et difficile à construire. « Avec un modèle de langage, vous avez une phrase, et il prédit le mot suivant dans la phrase », explique Oliver Cameron, PDG du laboratoire d'IA Odyssey. « Avec un world model, vous lui donnez un état visuel du monde, une image, et il prédit ensuite l'état visuel suivant du monde. » Ces générations 3D deviennent des terrains d'entraînement numériques : des simulations qui paraissent et semblent réelles.
Pour les robots, cela signifie s'entraîner sans mouvement physique. Brian McClendon, directeur technique de Niantic Spatial, explique qu'une personne pourrait photographier l'espace où un robot est censé travailler, générer un modèle 3D de cet espace, puis lancer des millions de simulations pour que la machine apprenne la disposition des lieux et ses limites. Le chef scientifique de Wayve, Jamie Shotton, ajoute qu'un world model doit comprendre la physique et la relation de cause à effet — comment les objets et les personnes réagissent aux propres actions de la voiture — car les décisions prises en une fraction de seconde comptent lorsqu'aucun humain n'est au volant.
- Niantic Spatial reconstruit le monde réel en 3D à partir des données de scan de Pokémon Go.
