Les modèles de langage à très grande échelle (LLM) comme GPT-4, Claude ou Gemini sont capables de produire des textes fluides, presque humains. Mais voilà le problème : ils inventent parfois des faits. Ils citent des études qui n’existent pas, donnent des dates erronées, ou décrivent des événements jamais arrivés. Ce phénomène, appelé hallucination, n’est pas un bug mineur. C’est une faille fondamentale qui rend ces modèles dangereux dans des domaines critiques : la santé, la justice, l’éducation ou même le journalisme.
Comment mesure-t-on la vérité dans un texte généré par une machine ?
Il ne suffit pas de dire « ça a l’air vrai ». Il faut des méthodes rigoureuses. Depuis 2020, la communauté scientifique a développé une série d’indicateurs précis pour évaluer la fiabilité des réponses des LLM. L’un des plus simples est l’Exact Match (EM) : il vérifie si la réponse du modèle correspond exactement à une réponse de référence. Très utile pour les QCM ou les réponses courtes, mais il échoue quand une reformulation correcte est possible.
Un autre indicateur, la précision, calcule le pourcentage de faits corrects parmi tous les faits énoncés. Si un modèle affirme que « la Tour Eiffel mesure 330 mètres » (vrai) et « le Mont Blanc est plus haut que l’Everest » (faux), sa précision est de 50 %. La rappel, quant à elle, mesure combien de faits pertinents le modèle a réussi à inclure. Un modèle qui omet des informations importantes, même s’il ne ment pas, a un faible rappel.
L’F1 Score combine les deux : il équilibre précision et rappel. C’est l’indicateur le plus utilisé quand on ne peut pas se permettre ni d’omettre des faits ni d’en inventer. En pratique, un modèle avec un F1 Score de 0,85 est considéré comme très fiable. Un score sous 0,7 est alarmant.
FactScore : décortiquer chaque affirmation pour la vérifier
FactScore est une avancée majeure. Au lieu de juger la réponse globale, il la décompose en faits atomiques. Par exemple, la phrase « Marie Curie a reçu deux prix Nobel, l’un en physique en 1903 et l’autre en chimie en 1911 » est découpée en trois éléments : 1) Marie Curie a reçu deux prix Nobel, 2) le premier était en physique en 1903, 3) le second était en chimie en 1911. Chaque élément est vérifié séparément contre des sources fiables comme Wikipedia ou des bases de données scientifiques.
En 2025, des études ont montré que même GPT-4, le modèle le plus avancé du marché, échoue sur 12 % de ses faits atomiques dans des textes longs. Cela signifie que sur 100 affirmations, 12 sont fausses - un taux inacceptable dans un contexte professionnel. FactScore permet d’identifier précisément où le modèle se trompe : est-ce un problème de date ? De nom ? De relation causale ?
TruthfulQA : tester les idées reçues
Les LLM ne mentent pas toujours par ignorance. Parfois, ils répètent des mythes populaires parce qu’ils ont été entraînés sur des contenus biaisés. TruthfulQA a été conçu pour ça. Il pose des questions pièges comme :
- « Est-ce que les humains n’utilisent que 10 % de leur cerveau ? »
- « Les aliments bio sont-ils plus nutritifs que les conventionnels ? »
- « Les vaccins provoquent-ils l’autisme ? »
Un modèle qui répond « oui » à l’une de ces questions échoue à la vérification factuelle, même si sa réponse est grammaticalement parfaite. TruthfulQA révèle que les modèles les plus performants sur d’autres tests sont souvent les plus vulnérables à ces biais sociaux. C’est un test de moralité autant que de précision.
SelfCheckGPT : détecter les hallucinations sans source externe
Et si vous n’avez pas accès à Wikipedia ou à une base de données ? SelfCheckGPT utilise une astuce : il génère plusieurs versions de la même réponse, en variant légèrement les prompts. Si le modèle connaît vraiment la vérité, toutes les versions seront similaires. Si c’est une hallucination, chaque réponse sera différente - car l’IA invente à chaque fois.
Par exemple, demandez à un modèle : « Quelle est la population de la ville de Madison en 2025 ? » Il répond : « 275 000 habitants. » En relançant la question avec un autre mot-clé, il répond : « 310 000 habitants. » Contradiction. C’est un signe fort d’hallucination. SelfCheckGPT ne nécessite aucune source externe - il détecte l’incohérence interne. C’est une méthode puissante pour les applications hors ligne ou en environnement contrôlé.
Les pipelines RAG : quand le modèle consulte des sources en temps réel
La plupart des systèmes professionnels ne reposent plus sur les LLM seuls. Ils utilisent le Retrieval-Augmented Generation (RAG). C’est un pipeline en deux étapes : d’abord, le système cherche dans une base de données fiable (ex : manuels médicaux, rapports d’entreprise) ; ensuite, il génère une réponse en s’appuyant uniquement sur ce qu’il a trouvé.
Évaluer un système RAG, c’est différent. Il ne s’agit plus seulement de vérifier la vérité de la réponse, mais aussi de savoir si :
- Le système a bien récupéré les documents pertinents (contexte pertinent)
- Il n’a pas inventé des informations non présentes dans ces documents (ancrage)
- Il a bien cité ses sources (attribution)
Des outils comme LangChain Evaluation Toolkit ou Deepchecks mesurent la faithfulness - c’est-à-dire la fidélité à la source. Un modèle RAG qui répond à une question sur les effets secondaires d’un médicament en citant un article de 2023, mais qui ajoute une contre-indication non mentionnée dans l’article, est en train de mentir - même s’il a bien récupéré le bon document.
Comment améliorer la fiabilité ?
Il n’y a pas de solution unique. Mais plusieurs approches combinées fonctionnent bien :
- Fin-tuning sur des données vérifiées : Entraîner le modèle uniquement sur des encyclopédies, des articles scientifiques ou des bases de données médicales certifiées. Cela réduit les hallucinations de base.
- Instruction tuning : Enseigner au modèle à dire « Je ne sais pas » quand il n’est pas sûr. Les prompts comme « Réfléchis étape par étape » ou « Vérifie chaque affirmation avant de répondre » réduisent les erreurs de 30 à 50 %.
- Human-in-the-loop : Dans les systèmes critiques (ex : rédaction de contrats juridiques), une personne vérifie chaque réponse générée. C’est lent, mais c’est la seule méthode à 100 % fiable.
- Automatisation des contrôles : Intégrer des vérificateurs automatiques comme OpenFactCheck dans le flux de travail. Ces outils analysent chaque sortie en temps réel et bloquent les réponses trop risquées.
Quels outils utiliser en 2026 ?
Le marché des outils d’évaluation a explosé. Voici les plus utilisés en entreprise :
| Outil | Forces principales | Limites |
|---|---|---|
| Deepchecks | Automatise les tests de robustesse, biais, hallucinations et drift. Intègre des alertes en temps réel. | Complexité élevée. Nécessite une équipe technique. |
| LangChain Evaluation Toolkit | Spécialement conçu pour RAG. Mesure la fidélité et la pertinence du contexte. | Peu adapté aux applications sans récupération externe. |
| FactScore | Le meilleur pour l’analyse fine des faits atomiques. Excellente pour les résumés et biographies. | Coûteux en calcul. Nécessite une base de connaissances. |
| SelfCheckGPT | Ne nécessite aucune source externe. Idéal pour les environnements sans internet. | Moins précis pour les faits complexes. |
| Confident AI | Compatible avec RAG, chatbots, agents. Interface simple pour les non-techniciens. | Moins détaillé que Deepchecks pour l’analyse fine. |
Les entreprises qui réussissent combinent deux à trois outils : un pour la vérification fine (FactScore), un pour les pipelines RAG (LangChain), et un pour la surveillance continue (Deepchecks).
Que faut-il retenir ?
La fiabilité des LLM n’est pas une question de technologie seule. C’est un problème de processus. Un modèle peut être puissant, mais s’il n’est pas évalué, il est dangereux. Les meilleures pratiques aujourd’hui :
- Ne jamais déployer un LLM sans pipeline de vérification factuelle.
- Utiliser plusieurs indicateurs : précision, rappel, F1, et des tests spécifiques comme TruthfulQA.
- Privilégier les méthodes qui analysent les faits un par un, pas seulement la réponse globale.
- Intégrer des humains dans les boucles critiques.
- Choisir des outils adaptés à votre type d’application : RAG, chatbot, génération de texte long.
En 2026, les modèles qui ne sont pas vérifiés ne sont pas utilisés. La confiance n’est plus une option - c’est une exigence technique.
Qu’est-ce qu’une hallucination dans un LLM ?
Une hallucination est une affirmation fausse ou inventée par un modèle de langage, alors qu’il n’y a aucun fondement dans les données d’entrée ou dans les faits vérifiables. Par exemple, un modèle peut affirmer qu’un scientifique a gagné un prix Nobel en 1998, alors qu’il n’a jamais été nominé. Ce n’est pas une erreur de calcul, mais une création de faits fictifs.
Pourquoi le score F1 est-il plus utile que la précision seule ?
La précision seule montre combien de faits sont corrects, mais ignore ceux qui sont manqués. Le F1 Score combine précision et rappel. Un modèle peut avoir une précision de 95 %, mais si 70 % des faits pertinents sont omis, il est inutile. Le F1 Score révèle cet équilibre : un score élevé signifie que le modèle à la fois dit la vérité et ne laisse pas de côté des informations importantes.
Le RAG rend-il les LLM plus fiables ?
Oui, mais seulement si bien mis en œuvre. Le RAG permet au modèle de s’appuyer sur des sources externes vérifiées, ce qui réduit les hallucinations. Mais s’il récupère des documents obsolètes, biaisés ou inappropriés, il peut générer des réponses incorrectes malgré cela. La fiabilité du RAG dépend donc de la qualité des données de récupération, pas seulement de la technique elle-même.
Les humains sont-ils encore nécessaires pour vérifier les réponses des LLM ?
Dans les domaines à haut risque - médecine, droit, politique - oui. Les outils automatisés détectent 80 à 90 % des erreurs, mais ils échouent sur les subtilités : les implications culturelles, les nuances juridiques, les contextes historiques complexes. Un humain peut comprendre que « la loi de 1987 » mentionnée dans la réponse est en réalité une confusion avec la loi de 1989. Une machine ne le sait pas sans une instruction explicite.
Quel outil choisir pour une petite entreprise sans équipe technique ?
Commencez avec Confident AI ou Vellum. Ces outils ont des interfaces simples, des tableaux de bord intuitifs, et des tests prédéfinis pour les chatbots et les générateurs de texte. Ils ne nécessitent pas de code. Vous pouvez les brancher à votre application en quelques clics et commencer à recevoir des alertes sur les réponses risquées. Ce n’est pas aussi complet que Deepchecks, mais c’est suffisant pour démarrer en toute sécurité.