Mistral a publié les poids de Mistral Large 4, son modèle multimodal de mille milliards de paramètres présenté plus tôt ce mois-ci sous le surnom « Le Chonk ». Le laboratoire français d’intelligence artificielle indique que cette ouverture fait suite à trois semaines supplémentaires d’apprentissage par renforcement, qui ont propulsé le modèle en tête du codage et de la cybersécurité défensive dans la catégorie des poids ouverts. L’entreprise a annoncé la nouvelle sur son blog le 29 octobre 2026, et Hugging Face a confirmé la mise en ligne des points de contrôle le jour même.
Cette décision compte parce qu’un modèle de cette taille — environ 1 000 milliards de paramètres au total — est rarement distribué en intégralité. Mistral l’a entraîné de zéro sur une infrastructure européenne et affirme que cette publication offre aux entreprises et aux institutions publiques une base qu’elles peuvent posséder, personnaliser et héberger elles-mêmes, au lieu de louer l’accès à un fournisseur fermé.
Fiche technique et architecture de Mistral Large 4
Mistral Large 4 est un modèle multilingue de type Mixture-of-Experts qui combine un large ensemble d’experts avec une attention parcellaire. Son décodeur textuel compte 72 couches, une dimension cachée de 6 144 et 64 têtes d’attention. Chaque token active quatre experts sur 128, plus un expert partagé, et l’indexeur d’attention sélectionne jusqu’à 2 048 positions clés par requête.
Selon Hugging Face, le modèle est proposé en deux variantes officielles, avec des quantifications GGUF réalisées par Unsloth et l’équipe de llama.cpp. Le support couvre Transformers, vLLM et llama.cpp, avec un affinage via TRL et des options de déploiement incluant les Inference Endpoints et le Dell Enterprise Hub.
Mistral précise que le modèle a été entraîné de zéro sur 4 000 GPU Nvidia Grace Blackwell pendant deux mois, dans les centres de données de l’entreprise en Europe.
