Recherche scientifique : les agents IA font l'ingénierie, mais ratent l'essentiel

On répète depuis des mois que l'IA va « accélérer la science », voire la faire à notre place. Une équipe de vingt-quatre chercheurs a décidé de vérifier, et le protocole qu'elle a inventé est aussi malin que cruel. Plutôt que de juger un agent sur un benchmark abstrait, ils lui ont confié la vraie question de recherche de deux articles de haute qualité acceptés à NeurIPS 2026 mais pas encore publiés, puis ont laissé les auteurs originaux noter ce que la machine avait produit. Résultat, sans ambiguïté : les deux papiers issus des agents auraient été rejetés.

Le protocole des « évaluations fantômes »

La trouvaille méthodologique porte un nom : les shadow evaluations, ou évaluations fantômes. L'idée consiste à exploiter des travaux réels, validés par les pairs, mais encore invisibles du public — donc absents des données d'entraînement des modèles. Les chercheurs, menés par Peter Kirgis et incluant des noms connus du domaine comme Arvind Narayanan et Rishi Bommasani, ont extrait la question centrale de chaque papier, l'ont posée à des agents de frontière, puis leur ont donné les moyens de la traiter : environ six jours de travail autonome et plusieurs milliers de dollars de calcul par cas. De quoi lever l'excuse habituelle du « manque de ressources ».

La force de ce dispositif, c'est qu'il compare l'agent non pas à une note fabriquée pour l'occasion, mais au travail réel de chercheurs humains ayant franchi la barre d'une des conférences les plus sélectives du domaine. Le jury, ce sont les auteurs eux-mêmes, seuls à même de juger si la contribution apporte quelque chose de neuf.

L'ingénierie, oui ; la découverte, non

Le constat est net et, à bien des égards, contre-intuitif. Les agents ont mené à bien l'ensemble des tâches d'ingénierie sans aucune aide humaine : écrire le code, monter les expériences, faire tourner les pipelines, produire des résultats propres. Sur ce terrain purement exécutif, ils sont impressionnants. Mais ils n'ont fait aucun progrès substantiel vers l'objectif de recherche — la partie où il faut formuler une hypothèse originale, sentir quand une piste est morte, et juger si un résultat mérite d'exister. L'agent sait construire la machine ; il ne sait pas décider quoi construire, ni reconnaître quand ce qu'il construit n'a pas d'intérêt.

Ce partage éclaire d'un jour utile l'enthousiasme ambiant sur la « science automatisée ». Il recoupe aussi, par contraste, ce que montre la même semaine l'étude d'OpenAI sur l'exécution en entreprise : les agents excellent sur les tâches cadrées et répétables, celles où l'objectif est déjà posé. La recherche originale, elle, consiste précisément à poser l'objectif — et c'est là que le mur apparaît.

Cinq façons d'échouer

L'étude ne se contente pas d'un verdict binaire : elle disséque cinq modes de défaillance récurrents, et leur lecture est instructive. Mauvais jugement sur les standards de qualité — l'agent se satisfait d'un résultat qu'un chercheur aurait jugé insuffisant. Manque de créativité face aux impasses — confronté à un mur, il n'invente pas de contournement. Rétroaction inefficace — il tire mal les leçons de ses propres échecs. Conscience limitée des ressources — il gère mal son budget de temps et de calcul. Et dérive des instructions — il s'éloigne peu à peu de la question posée. Aucun de ces défauts n'est un bug ponctuel : ce sont des limites structurelles de ce que ces systèmes savent faire aujourd'hui.

Pourquoi ça compte, ici et maintenant

La conclusion des auteurs est sobre : les agents d'aujourd'hui maîtrisent « l'ingénierie de la recherche en IA, mais peinent avec les parties critiques du cycle de recherche ». C'est une douche froide pour les récits de « superintelligence imminente », et une bonne nouvelle pour qui craignait de voir les chercheurs remplacés du jour au lendemain. Pour un laboratoire ou une entreprise européenne qui investit dans ces outils, la leçon est directement actionnable : l'agent est un formidable multiplicateur de force pour un scientifique qui garde la main sur les questions, et un piètre substitut quand on lui demande de trouver les questions à sa place. Deux cas ne font pas une loi générale — les auteurs le reconnaissent — mais leur protocole a le mérite rare de mesurer la vraie compétence, celle de découvrir, plutôt que la capacité à cocher des cases sur un benchmark.