Meta publie Muse Spark Open, son plus gros modèle ouvert : 816 milliards de paramètres

Trois mois après avoir diffusé le petit modèle dense Muse Glimmer, Meta a publié le 15 octobre Muse Spark Open, un modèle à mixture d'experts de 816 milliards de paramètres au total, dont 42 milliards actifs par requête, détaillé dans un billet technique conjoint avec Hugging Face. L'entreprise le présente comme « le modèle en poids ouverts le plus capable à ce jour » conçu aux États-Unis — une étape qui change d'échelle par rapport à son prédécesseur et relance la course aux modèles ouverts face à l'offre européenne et chinoise.

Un bond d'architecture, pas seulement de taille

Muse Glimmer, sorti en août, était un modèle dense à paramètres uniques tenant sur une seule machine. Muse Spark Open change de catégorie : 256 experts par couche, dont 8 sont activés pour chaque token traité par un routeur appris. Résultat, le modèle calcule chaque token avec seulement environ 42 milliards de paramètres actifs — la vitesse d'un modèle bien plus modeste — mais nécessite la mémoire d'un modèle de 816 milliards pour être déployé, puisque les 256 experts doivent rester chargés. Le fichier complet en précision BF16 pèse environ 1,5 téraoctet ; une version quantifiée en 4 bits (NVFP4), optimisée pour les puces NVIDIA Blackwell, réduit drastiquement cette empreinte sans perte de précision significative selon Meta.

Entraîné pour coder et pour agir, pas pour discuter

Le choix d'entraînement le plus révélateur n'est pas dans l'architecture mais dans la finalité : Meta a optimisé Muse Spark Open pour le codage agentique sur des flux de travail réels — refactorisations multi-fichiers, longues sessions de débogage, appel d'outils — plutôt que pour la conversation généraliste. Le modèle « planifie, agit, observe et se corrige » sur des tâches longues, y compris la navigation web avec analyse d'images. Il accepte en entrée texte, image, audio et vidéo grâce à un encodeur de perception à 1,8 milliard de paramètres et un encodeur audio dédié, mais ne produit que du texte en sortie — un choix d'ingénierie qui simplifie le déploiement au prix de capacités génératives multimodales.

La fenêtre de contexte atteint un million de tokens, texte, image, audio et vidéo confondus, grâce à une attention par groupes de requêtes (GQA) qui limite la croissance du cache mémoire : selon les calculs publiés, un contexte plein d'un million de tokens nécessite environ 266 Go de mémoire pour ce seul cache, en plus des poids du modèle. C'est un chiffre qui rappelle, une fois de plus, que la course au contexte long reste avant tout une course à l'infrastructure.

Un déploiement pensé pour l'écosystème, pas pour le grand public

Meta ne livre pas qu'un fichier de poids : l'entreprise publie en même temps des recettes d'intégration dans Transformers, llama.cpp, vLLM et SGLang, avec des instructions précises de parallélisme (tensor parallelism, répartition des experts sur plusieurs nœuds) nécessaires pour faire tourner un modèle de cette taille. Sur une machine Mac Studio M3 Ultra dotée de 512 Go de mémoire, une version quantifiée sur 2 bits atteindrait environ 18 tokens par seconde selon les tests internes de Meta — une performance qui reste hors de portée du grand public mais accessible à des laboratoires ou des studios disposant de matériel haut de gamme. Le choix d'un format de gabarit de conversation inspiré de Harmony, déjà utilisé par les modèles gpt-oss, facilite par ailleurs la portabilité des outils existants vers Muse Spark Open, un signal clair que Meta cherche l'adoption rapide par les développeurs plutôt que la différenciation technique pure.

Une pièce de plus dans la bataille des poids ouverts

Cette sortie intervient alors que Mistral dévoile en parallèle Large 4, également en poids ouverts mais entraîné sur des infrastructures européennes avec un positionnement fort sur la cybersécurité. La comparaison est instructive : Meta mise sur l'échelle brute et l'intégration profonde avec l'écosystème open source — intégration immédiate dans Transformers, llama.cpp, vLLM et SGLang —, tandis que Mistral mise sur la souveraineté et un cas d'usage de niche à forte valeur ajoutée. Les deux entreprises publient leurs propres benchmarks sans réplication indépendante à ce stade, un rappel que la comparaison définitive entre les deux modèles n'existera que lorsque la communauté aura pu les tester elle-même sur ses propres charges de travail.

Pour les équipes techniques européennes, la question n'est plus seulement « quel modèle est le plus puissant » mais « lequel peut-on déployer, où, et sous quelle juridiction » — un calcul qui, à mesure que les poids ouverts se multiplient, pèse de plus en plus lourd dans l'arbitrage face au choix d'un modèle propriétaire fermé. Le fait que deux des modèles ouverts les plus capables au monde sortent à moins de 24 heures d'intervalle, l'un conçu aux États-Unis et l'autre en Europe, illustre à quel point la frontière entre poids ouverts et poids fermés est devenue le véritable terrain de compétition géopolitique de l'IA, davantage que la seule course à la puissance brute.