Nvidia passe en production le Groq 3 LPX, sa puce dédiée à la vitesse d'inférence

Depuis deux ans, la bataille de l'IA se jouait sur l'entraînement : qui alignerait le plus de GPU pour cuire le plus gros modèle. Nvidia vient de rappeler que le nerf de la guerre s'est déplacé. Le 24 août, l'entreprise a annoncé la mise en production d'une puce entièrement dédiée à l'inférence — plus précisément à sa phase la plus visible pour l'utilisateur : la génération des mots, un par un, une fois la question comprise. Le Groq 3 LPX ne sert pas à créer des modèles. Il sert à les faire parler vite.

Le nom n'est pas anodin. Groq était une pépite de l'inférence rapide, rachetée par Nvidia dans un accord estimé à une vingtaine de milliards de dollars ; le LPX est le premier fruit industriel de cette acqui-hire. La logique de Nvidia est limpide : à mesure que les agents IA enchaînent des dizaines d'appels de modèle pour accomplir une tâche, ce n'est plus la puissance brute qui compte, mais la latence ressentie à chaque étape. Un agent lent est un agent inutilisable.

Pourquoi la « décode » devient le champ de bataille

L'inférence d'un grand modèle se découpe en deux temps. Le « prefill » lit et comprend la requête d'un coup — une opération massivement parallèle où les gros GPU excellent. La « décode » produit ensuite la réponse jeton après jeton, chaque nouveau mot dépendant du précédent. Cette seconde phase est séquentielle, gourmande en bande passante mémoire, et c'est elle qui détermine si une réponse « tombe » instantanément ou s'étire péniblement à l'écran.

C'est exactement ce goulet que le Groq 3 LPX attaque. Danila Shtan, directeur technique de Nebius, résume l'enjeu sans détour : « La génération est la phase de l'inférence qui détermine la réactivité », dit-il, chaque étape devant « donner l'impression d'être instantanée ». Traduit en chiffres, Nvidia revendique jusqu'à 3 400 tokens de sortie par seconde sur Gemma 4 31B, un modèle open source, avec une fenêtre de contexte de 100 000 jetons — et une réactivité présentée comme quatre fois supérieure à la plateforme concurrente la plus proche.

Un objet taillé pour une seule tâche

Là où un GPU généraliste doit tout faire, le Groq 3 LPX est un instrument de spécialiste. Le détail technique tient dans une décision d'architecture : embarquer une très grande quantité de mémoire ultra-rapide (SRAM) directement sur la puce, au plus près des calculs, pour contourner la contrainte de bande passante qui étrangle les accélérateurs classiques en phase de décode. La puce s'insère dans la plateforme Vera Rubin de Nvidia et vient en accélérer la génération de tokens plutôt que la remplacer.

Cette hyperspécialisation n'est pas sans risque. Nvidia précise que le produit sera proposé « selon disponibilité » et à sa seule discrétion — la prudence d'usage d'une feuille de route hardware. Surtout, elle enferme un peu plus la valeur dans l'écosystème maison : après avoir verrouillé l'entraînement, Nvidia tente de faire de même sur l'inférence, y compris pour les modèles à poids ouverts qu'il faut bien exécuter quelque part.

Ce que Nebius change pour l'Europe

Le point le plus intéressant, vu de Paris, n'est pas la puce mais son premier client. C'est Nebius, un opérateur de cloud IA d'origine européenne, qui inaugure le Groq 3 LPX en production via sa « Token Factory », devant Groq lui-même. Pour un continent qui répète depuis un an sa volonté de rapatrier l'inférence sur son sol — c'est tout le sens de la poussée souveraine de Mistral et de son objectif de 1 GW de calcul européen — l'arrivée d'un accélérateur d'inférence de pointe chez un acteur non hyperscaler compte.

Car la souveraineté ne se joue pas qu'au niveau des modèles ou des lois : elle se joue aussi sur la capacité à servir ces modèles vite, ici, sans dépendre en tout d'AWS, Azure ou Google Cloud. Un neocloud capable d'offrir la meilleure vitesse de génération du marché depuis des centres de données européens desserre — un peu — cette dépendance. La condition, évidemment, reste la même qu'ailleurs : la puce, elle, vient toujours de Nvidia, et de son fondeur. L'Europe gagne un maillon de la chaîne d'inférence. Elle n'en tient toujours pas le maillon le plus stratégique.

Reste la question de fond, que le communiqué de Nvidia ne pose évidemment pas : accélérer la génération de tokens rend les agents plus fluides, pas plus fiables. Un agent qui se trompe vite reste un agent qui se trompe. La vitesse d'inférence est une condition nécessaire au passage des agents en production — Anthropic en a fait un argument commercial récent — mais elle ne dit rien de la justesse des enchaînements. Nvidia vend le carburant. La direction, elle, dépend toujours du modèle assis derrière le volant.