Les IA savent-elles trouver des idées ? Un test à l'aveugle dit : à peine 3 %

Voilà une douche froide bienvenue dans un été saturé de promesses. Un nouveau banc d'essai baptisé Reconstruction, publié sur arXiv, pose une question d'une simplicité redoutable : donnez à une IA la bibliographie d'un article scientifique — la liste de ses références, avant publication — et demandez-lui d'en retrouver l'idée centrale. Un chercheur humain compétent, en lisant ce que l'auteur a lu, devine souvent où il voulait en venir. Les meilleurs modèles du marché, eux, y parviennent dans 3 à 15 % des cas seulement.

Un protocole conçu pour empêcher la triche

La force de l'étude tient à sa rigueur méthodologique. Le problème habituel de ce genre de test, c'est la contamination : si le modèle a déjà « vu » l'article pendant son entraînement, il ne devine rien, il récite. Les auteurs — Shaolong Chen, Yanlin Fei, Rahul Thapa et leurs collègues — ont donc verrouillé trois garde-fous : une coupure temporelle des citations, des identifiants de référence anonymisés, et des bibliographies figées article par article. Impossible, dans ces conditions, de reconnaître un papier à ses métadonnées ou de s'appuyer sur une version déjà mémorisée.

Le test couvre six domaines scientifiques — apprentissage automatique et cinq disciplines de la famille Nature — pour un total de 643 articles évalués et sept modèles de pointe passés au crible. Le résultat est homogène et sans appel : seul, aucun modèle ne franchit durablement la barre des 15 %.

Les agents font mieux, sans percer le plafond

Tout n'est pas noir. Quand les chercheurs assemblent plusieurs modèles en un dispositif collectif — revue croisée entre modèles, puis sélection par tournoi façon système suisse —, le taux grimpe à une fourchette de 23 à 42 % selon les domaines, soit un gain d'environ 2,4 fois sur le meilleur modèle isolé. C'est considérable, et cela confirme une intuition de plus en plus documentée : sur les tâches de raisonnement complexe, l'orchestration multi-agents extrait davantage de valeur d'un même parc de modèles qu'une requête unique.

Mais 42 % dans le meilleur des cas, cela signifie que dans la majorité des situations, même un collectif d'IA soigneusement réglé ne retrouve pas l'idée qui a réellement structuré la recherche. Le plafond est bas, et il ne bouge pas simplement en empilant de la puissance de calcul. Les auteurs y voient une limite structurelle de la génération d'hypothèses : recombiner des références, ce n'est pas concevoir la question qui les fait tenir ensemble.

La tension avec le récit ambiant

Ce résultat arrive à contre-courant du discours dominant. Il y a quelques semaines à peine, OpenAI affirmait qu'une version interne de son modèle Astra avait résolu dix problèmes mathématiques ouverts. Les deux faits ne se contredisent pas — mais ils décrivent deux choses très différentes. Résoudre un problème déjà posé, aussi difficile soit-il, c'est exceller à l'intérieur d'un cadre donné. Deviner quelle question mérite d'être posée à partir d'indices épars, c'est le cœur de l'invention scientifique. Reconstruction suggère que les modèles actuels sont bien meilleurs à la première tâche qu'à la seconde.

L'écart compte pour qui rêve d'une « IA scientifique » autonome. Un modèle capable de démontrer des théorèmes mais incapable de formuler l'hypothèse qui compte reste un exécutant brillant, pas un chercheur. La véritable créativité scientifique — le saut conceptuel qui relie des travaux que personne n'avait pensé à rapprocher — demeure, pour l'instant, largement hors de portée.

Ce qu'il faut en retenir

Reconstruction ne dit pas que les IA sont inutiles à la recherche : elles restent d'excellents assistants pour trier la littérature, résumer, vérifier. Il dit que l'étape la plus précieuse — imaginer la bonne question — leur échappe encore. Pour les laboratoires français et européens qui misent sur l'IA comme accélérateur de découverte, la leçon est saine : l'outil augmente le chercheur, il ne le remplace pas. Et les benchmarks honnêtes, conçus pour résister à la triche plutôt que pour flatter les scores, valent mieux qu'une démonstration spectaculaire. C'est précisément ce genre de mesure rigoureuse qui manque le plus dans le débat public sur les capacités réelles des modèles.