Évaluer les sorties de l'IA générative : comment noter la qualité des réponses

Quand vous demandez à une IA générative de corriger un devoir, de rédiger un commentaire ou même de noter une rédaction, vous vous attendez à une réponse juste, cohérente et utile. Mais qu’est-ce qui fait qu’une réponse d’IA est vraiment bonne ? C’est là qu’interviennent les prompts d’évaluation : des instructions spécifiques conçues pour guider l’IA dans son propre processus de notation. Ce n’est pas juste une question de dire « note ça » - c’est une science en pleine évolution.

Comment une IA peut-elle noter quelque chose ?

Les modèles d’IA comme GPT-4 ou Claude ne naissent pas avec un sens de la justice ou une règle de notation. Ils apprennent à évaluer en suivant des modèles. Les prompts d’évaluation leur donnent cette structure. Par exemple, au lieu de demander : « Qu’en penses-tu ? », vous allez dire : « Évalue cette réponse selon ces 4 critères : clarté, exactitude, profondeur et structure. Attribue un score de 1 à 5 pour chaque critère, puis donne une justification détaillée. »

Cette approche s’appuie sur deux grandes méthodes : l’évaluation avec référence et l’évaluation sans référence.

• L’évaluation avec référence compare la réponse de l’IA à une réponse « idéale » connue à l’avance. C’est parfait pour les questions de mathématiques, les traductions ou les faits vérifiables. Si un étudiant résout une équation, vous avez la bonne réponse. L’IA la compare, compte les erreurs, et donne un score. Des outils comme BLEU ou ROUGE aident à mesurer cette similarité de manière automatique.
• L’évaluation sans référence est plus flexible. Elle ne repose pas sur une réponse modèle. Elle est idéale pour les rédactions créatives, les débats ou les réponses ouvertes. Ici, l’IA doit juger sur des critères définis : « La réponse est-elle logique ? Est-elle bien argumentée ? Y a-t-il des contradictions ? » C’est plus subjectif, mais beaucoup plus utile dans les contextes éducatifs réels.

Le modèle « IA comme correcteur » : comment ça marche ?

Une des méthodes les plus puissantes aujourd’hui s’appelle l’« IA comme juge ». Au lieu de programmer une règle rigide, on fait appel à une autre IA pour évaluer la première. C’est comme demander à un professeur expérimenté de noter un autre professeur.

Le système G-Eval, par exemple, fonctionne en trois étapes :

1. Génération des critères : Une IA transforme une instruction vague comme « évalue la qualité » en une liste précise d’actions : « Vérifie si la réponse contient trois preuves distinctes », « Vérifie que les termes techniques sont utilisés correctement ».
2. Évaluation : Une autre IA (le juge) applique ces critères à la réponse de l’étudiant.
3. Calcul du score : Chaque décision est pondérée par sa confiance statistique. Si le juge est très sûr que la réponse est mal structurée, ça pèse plus lourd dans le score final.

OpenAI propose trois variantes de cette approche :

• Comparaison par paires : Vous présentez deux réponses à l’IA et demandez : « Laquelle est meilleure ? » C’est très efficace pour détecter des différences subtiles.
• Notation unique : L’IA évalue une seule réponse en se basant sur un rubric détaillé.
• Notation guidée par référence : L’IA compare la réponse à une réponse idéale, mais sans la copier - elle doit justifier pourquoi la réponse est proche ou éloignée.

Les pièges de la notation automatisée

On pourrait croire qu’une IA note mieux qu’un humain : plus vite, plus objectif, plus constant. Mais les études montrent le contraire.

Une recherche de l’Université Carnegie Mellon a testé GPT-4 sur des problèmes de physique écrits à la main. Résultat ? L’IA a attribué en moyenne plus de points que les correcteurs humains. Et pire : sur 15 essais identiques, elle a donné des notes différentes à chaque fois. Parfois, elle a même inventé des explications fausses pour justifier une réponse incorrecte.

Une autre étude, sur des devoirs de Python, a montré que ChatGPT-3.5 attribuait systématiquement moins de points que les enseignants. Pourquoi ? Parce qu’elle n’interprétait pas bien les tentatives de résolution, même quand elles étaient logiques.

Et si vous testez ChatGPT-4 sur la même copie d’élève 10 fois ? La même note est donnée seulement dans 68 % des cas. C’est moins stable qu’un humain fatigué à 2h du matin.

Deux modèles différents, fine-tunés sur les mêmes instructions, peuvent noter la même rédaction différemment. Et tous deux s’écartent nettement des notes humaines. L’IA n’est pas objective - elle est aléatoire.

Les outils qui fonctionnent vraiment

Des plateformes comme Prompts.ai ou Gradescope ont intégré ces méthodes dans des workflows pratiques. Ils permettent d’envoyer le même prompt à plusieurs modèles d’IA, de les comparer côté à côté, et de voir lequel donne les résultats les plus fiables pour votre usage.

Gradescope, par exemple, aide les enseignants à regrouper les réponses similaires. Si 20 étudiants ont fait la même erreur, l’outil le détecte, et le correcteur peut noter les 20 en un seul clic. Il combine l’automatisation avec le jugement humain.

Canvas, utilisé dans de nombreuses universités, permet d’attacher des rubriques aux devoirs. Quand un enseignant note, il coche les critères : « Introduction claire », « Utilisation des sources », « Orthographe ». L’IA peut suggérer des cases à cocher, mais c’est l’humain qui valide.

La meilleure pratique ? Un hybride. Une IA pré-traitement : elle regroupe les réponses, identifie les erreurs récurrentes, suggère des points à vérifier. Puis un humain : il prend la décision finale. C’est ce que fait une université de Pittsburgh : un bot ChatGPT personnalisé, formé sur les devoirs de l’année, prépare un rapport pour chaque étudiant. Mais chaque note est revue par un assistant pédagogique avant d’être validée.

Comment créer un prompt d’évaluation efficace ?

Voici un modèle simple à suivre :

1. Donnez le contexte : « Tu es un professeur de biologie de niveau universitaire. »
2. Précisez la tâche : « Évalue la réponse de l’étudiant sur la photosynthèse. »
3. Donnez les critères : « Score sur 5 pour : exactitude scientifique, clarté, structure logique, utilisation des termes techniques. »
4. Exigez une justification : « Pour chaque critère, explique pourquoi tu as attribué ce score. »
5. Contrôlez la sortie : « Réponds uniquement en format JSON : {"score": 4, "justification": "..."} »

Et n’oubliez pas : testez plusieurs fois. Une seule évaluation n’est pas fiable. Faites-le 3 fois. Si les scores varient de plus de 1 point, votre prompt n’est pas assez clair.

Quand ne pas utiliser l’IA pour noter

Ne l’utilisez jamais comme seule méthode pour :

• Noter un examen final ou un mémoire
• Évaluer des réponses créatives ou subjectives sans supervision humaine
• Prendre une décision qui affecte un diplôme ou un emploi

Elle est excellente pour :

• Corriger les quiz à choix multiples
• Regrouper les réponses similaires pour accélérer la correction
• Fournir un premier retour sur les brouillons
• Identifier les erreurs répétées dans une classe

Conclusion : L’IA ne note pas - elle assiste

Les promps d’évaluation ne transforment pas l’IA en correcteur infaillible. Ils la transforment en assistant ultra-rapide, capable de repérer des schémas, de suggérer des pistes, et de réduire la charge de travail. Mais la responsabilité de la note, de la justice, et de la compréhension contextuelle reste humaine.

Si vous voulez que l’IA vous aide à noter, commencez petit : un devoir par semaine. Testez. Comparez. Ajustez. Et surtout : vérifiez. Parce qu’une réponse d’IA bien écrite n’est pas toujours une réponse juste.