Un modèle de langage ne « sait » rien au sens où on l’entend d’une personne. Techniquement, il calcule, à partir d’un texte donné, la probabilité du mot ou du fragment suivant, en s’appuyant sur des régularités statistiques apprises dans d’immenses quantités de textes déjà écrits. C’est un moteur de prédiction, pas un moteur de vérification — une nuance qui change tout dans la manière raisonnable de l’utiliser au quotidien.
Ce que ce calcul rend possible, et ce qu’il ne rend pas possible
Cette mécanique de prédiction produit des réponses fluides, grammaticalement correctes, souvent utiles pour reformuler, résumer ou structurer une idée déjà présente dans un texte source. Mais elle n’implique aucune vérification factuelle intégrée au processus de génération lui-même : rien, dans le calcul, ne distingue une information exacte d’une information plausible mais fausse. Le modèle peut ainsi produire, avec la même assurance apparente et le même ton confiant, une réponse correcte et une réponse totalement erronée.
Ce phénomène, que les spécialistes désignent souvent sous le terme d’hallucination, n’est pas un défaut ponctuel corrigible par une simple mise à jour technique : il découle directement du principe de fonctionnement statistique de l’outil. Un modèle de langage n’a pas accès, par défaut, à une base de faits vérifiés qu’il consulterait systématiquement avant de répondre — il génère la suite la plus probable d’un texte donné, ce qui n’est absolument pas la même chose que de vérifier une affirmation avant de l’énoncer.
Cette confusion entre fluidité du style et exactitude du contenu explique la plupart des déceptions rencontrées dans l’usage courant de ces outils : un texte bien écrit paraît naturellement plus crédible, indépendamment de sa véracité réelle, un biais bien connu qui touche aussi la lecture humaine ordinaire.
Des limites structurelles, pas accidentelles
- Il ne vérifie pas ses sources : il en génère un style plausible, sans garantie d’exactitude du contenu
- Il ne sait pas ce qu’il ignore : une question hors de son apprentissage reçoit quand même une réponse assurée
- Il ne raisonne pas comme un calcul mathématique exact : les erreurs numériques restent relativement fréquentes
- Il ne garde pas de mémoire d’une conversation à l’autre, sauf dispositif spécifique prévu à cet effet par le service
- Il reproduit les biais présents dans les textes utilisés pour son apprentissage, sans les identifier lui-même
Un exemple qui parle
Demander à un modèle de langage une date précise, une distance exacte entre deux astres, ou le nom d’une institution associée à une découverte scientifique illustre parfaitement cette limite. Le modèle produira presque toujours une réponse, formulée avec assurance et dans un français impeccable, qu’elle soit exacte ou non. Rien dans son fonctionnement interne ne le pousse à indiquer un doute légitime plutôt qu’une affirmation catégorique, sauf s’il a été explicitement conçu et ajusté pour le faire dans certains cas précis.
C’est pourquoi une question portant sur un fait précis et vérifiable gagne toujours à être reformulée en demandant explicitement une source, plutôt qu’une simple réponse affirmative. Cette reformulation ne garantit pas l’exactitude de la réponse obtenue, mais elle donne au moins une piste concrète pour vérifier l’information par soi-même, plutôt que de devoir la prendre entièrement sur la seule confiance accordée à l’outil.
Vérifier reste un geste humain
Cette limite structurelle ne rend pas l’outil inutile, elle en précise l’usage raisonnable : reformulation, brouillon de travail, synthèse d’un texte déjà fourni en entrée sont des tâches où la fluidité du modèle rend service sans grand risque pour l’utilisateur. À l’inverse, une date, un chiffre ou une référence produits directement par un modèle de langage méritent systématiquement d’être recoupés avec une source fiable avant d’être considérés comme acquis et transmis à d’autres.
Ce principe de vérification par recoupement n’a d’ailleurs rien de nouveau : c’est celui qu’appliquent depuis toujours les agences scientifiques publiques dans le traitement de leurs propres données d’observation. Le CNES, par exemple, croise systématiquement plusieurs sources de mesure indépendantes avant de valider une donnée issue d’une mission spatiale, exactement le réflexe qu’il convient d’adopter face à une réponse générée automatiquement par un modèle de langage.
L’article Grand modèle de langage sur Wikipédia détaille plus précisément les mécanismes d’apprentissage et de génération à l’origine de ces limites structurelles, communes à l’ensemble de ces systèmes quel que soit leur éditeur.
Cette exigence de recoupement rejoint d’ailleurs une discipline bien plus ancienne : celle de l’observation astronomique, où une mesure isolée ne vaut jamais preuve tant qu’elle n’a pas été confirmée par une observation répétée — un principe détaillé dans notre rubrique Sciences & Ciel.
