Reconstruction : un benchmark aveugle piège les meilleurs modèles à 3 %

Donnez à un modèle de pointe la liste des références d'un article scientifique, sans l'article lui-même, et demandez-lui de deviner l'idée centrale que ces sources ont servi à bâtir. C'est l'épreuve, aussi simple que redoutable, du benchmark Reconstruction, mis en ligne le 17 août sur arXiv. Le verdict est sévère : pris isolément, les meilleurs modèles ne retrouvent l'idée juste que dans 3 à 15 % des cas. La reconstitution d'une hypothèse de recherche, ce geste d'inférence au cœur du travail scientifique, leur échappe encore largement.

Une épreuve conçue pour empêcher la triche

La difficulté d'un tel test n'est pas de poser la question, mais d'empêcher le modèle d'y répondre par mémoire. Beaucoup d'articles célèbres figurent dans les données d'entraînement ; retrouver leur idée pourrait relever du simple rappel, pas du raisonnement. Les auteurs ont donc bâti un protocole anti-fuite strict. Chaque évaluation retient l'article « germe » et l'ensemble de la littérature contemporaine ou postérieure, ne laissant au modèle que la bibliographie gelée de l'article, en amont de sa publication.

Trois garde-fous verrouillent l'exercice : une coupure temporelle des citations, des identifiants de référence anonymisés, et des bibliographies figées article par article. Impossible, donc, de reconnaître la cible à un indice glissé dans le prompt. Un juge — un modèle de langage indépendant — compare ensuite l'hypothèse proposée à l'idée réelle tenue à l'écart. L'ensemble couvre 643 articles répartis sur six domaines scientifiques et sept modèles de pointe, de quoi donner au résultat une assise que n'ont pas les démonstrations ponctuelles.

Le collectif fait mieux que l'individu

Le résultat le plus instructif n'est pas l'échec des modèles seuls, mais l'ampleur du sursaut quand on les fait travailler ensemble. En organisant une revue croisée entre modèles, façon tournoi suisse sur des créneaux d'hypothèses alignés, les auteurs font grimper le taux de reconstitution à 23-42 % selon les domaines — un gain d'environ 2,4 fois sur la meilleure performance individuelle. La confrontation d'hypothèses, leur mise en compétition et leur sélection progressive produisent une inférence que nul modèle ne parvenait à tenir seul.

Ce mécanisme dit quelque chose de la manière dont l'IA pourrait un jour contribuer à la recherche : moins comme un oracle solitaire que comme un dispositif orchestré, où la valeur naît de la mise en tension de plusieurs raisonnements. Mais le plafond reste bas. Même dopé, le meilleur pipeline échoue encore dans la majorité des cas à retrouver une idée que des chercheurs humains ont, eux, effectivement formulée à partir des mêmes sources.

Ce que l'échec mesure vraiment

Il faut lire ce chiffre pour ce qu'il est. Reconstruction ne teste pas la capacité d'un modèle à rédiger, à coder ou à résumer un article — des tâches où les LLM excellent — mais un maillon précis de la démarche scientifique : passer d'un ensemble de travaux antérieurs à l'idée neuve qu'ils rendent possible. C'est le saut inférentiel où, selon les auteurs, tous les modèles testés chutent à des taux élevés. La fluidité de rédaction masquait cette lacune ; le benchmark la met à nu.

Le constat prolonge une série de signaux convergents. Nous rapportions récemment que les agents IA font l'ingénierie de la recherche mais en ratent l'essentiel : ils exécutent les étapes techniques sans produire l'intuition qui fonde une découverte. Reconstruction chiffre précisément cet angle mort, sur un geste isolé et reproductible. La distinction est utile au débat européen sur l'IA scientifique, où l'on oscille entre l'espoir d'accélérer la recherche et la crainte de l'automatiser à vide.

Une leçon de mesure, pas un procès

L'enseignement n'est pas que l'IA serait incapable de contribuer à la science — le sursaut multi-agents prouve le contraire — mais que nos façons de l'évaluer restent immatures. Tant qu'un modèle est jugé sur sa capacité à rédiger un résumé convaincant, il paraît brillant. Confronté à une épreuve qui isole l'invention d'une idée, il révèle ses limites. Reconstruction a le mérite de proposer une mesure difficile à truquer, exactement le genre d'outil dont la communauté a besoin pour distinguer la performance réelle de l'illusion de compétence.

La suite dépendra de la capacité des laboratoires à concevoir des systèmes qui raisonnent au lieu de restituer. En attendant, ce benchmark offre un repère sobre et précieux : sur le geste le plus proprement scientifique — inventer une hypothèse à partir de ce qui existe déjà — les meilleures IA du moment partent, seules, de très bas.