Curriculum et mélange de données : optimiser l'entraînement des LLM

Vous avez probablement entendu dire que la taille du modèle ou la quantité de données est le seul facteur qui compte pour créer un grand modèle de langage (LLM) performant. C'est faux. La façon dont vous présentez ces données à votre modèle change tout. Pensez à un étudiant en médecine : on ne lui demande pas de réaliser une chirurgie cardiaque complexe dès son premier jour. On commence par l'anatomie, puis la physiologie, et enfin les cas cliniques difficiles. Cette progression logique est au cœur du curriculum learning (apprentissage par curriculum). Dans cet article, nous allons voir comment mélanger intelligemment vos datasets et structurer leur présentation peut booster les performances de vos modèles sans augmenter leur taille ni leur coût de calcul.

Pourquoi le mélange aléatoire des données est souvent sous-optimal

Dans l'entraînement traditionnel des réseaux de neurones, on a longtemps pris l'habitude de mélanger toutes les données de manière aléatoire avant chaque époque d'entraînement. L'idée était simple : éviter que le modèle n'apprenne dans un ordre biaisé. Mais avec les grands modèles de langage, cette approche montre ses limites. Un modèle exposé immédiatement à des tâches très complexes peut avoir du mal à converger. Il passe trop de temps à essayer de comprendre des motifs rares ou difficiles avant d'avoir maîtrisé les structures fondamentales de la langue.

Le curriculum learning propose une alternative structurée. Inspiré des méthodes pédagogiques humaines, il organise les données selon un niveau de difficulté croissant. Le modèle apprend d'abord sur des exemples simples et clairs, puis progresse vers des tâches plus nuancées et complexes. Des recherches récentes ont démontré que cette méthode permet d'atteindre de meilleures performances finales avec moins de calculs, car le modèle stabilise ses représentations internes plus rapidement.

Comment définir la difficulté d'une donnée ?

La première question pratique est évidente : comment savoir si une phrase ou un prompt est "difficile" ? Il n'y a pas de réponse universelle, mais plusieurs métriques fonctionnent bien en pratique.

• Longueur et complexité syntaxique : Les phrases courtes avec une structure sujet-verbe-objet sont généralement plus faciles à prédire que les phrases imbriquées longues.
• Taux de perte (Loss) initial : Une technique efficace consiste à faire tourner un petit modèle proxy sur l'ensemble des données. Les exemples où le modèle fait beaucoup d'erreurs (haute perte) sont considérés comme plus difficiles.
• Scores d'attention : En analysant comment les couches d'attention du modèle se concentrent sur certains tokens, on peut identifier les séquences qui demandent plus d'efforts cognitifs artificiels.
• Ratio de compression : Si un fichier texte se compresse mieux, cela signifie qu'il contient plus de redondances et de motifs prévisibles, donc il est souvent plus "simple" pour le modèle.

En utilisant ces critères, vous pouvez trier votre dataset. Par exemple, commencer par 50 % de données "faciles", puis passer aux 30 % intermédiaires, et finir avec les 20 % les plus complexes. Cette stratégie de tri basé sur la difficulté a montré des gains significatifs, parfois jusqu'à 3,5 % de performance supplémentaire sur des tâches finales par rapport à un mélange aléatoire pur.

Stratégies avancées : Curriculum dynamique et conjoint

Le tri statique (facile -> difficile) est un bon début, mais ce n'est pas toujours optimal. Que se passe-t-il si le modèle apprend plus vite que prévu sur certaines parties ? Ou si certaines données deviennent obsolètes ? C'est là que les approches dynamiques entrent en jeu.

Un curriculum dynamique sélectionne le prochain lot de données en fonction de l'état actuel du modèle. Au lieu de suivre une liste figée, le système évalue en temps réel quels exemples minimisent la perte tout en restant suffisamment informatifs. Des algorithmes de type "bandit" peuvent être utilisés pour explorer/exploiter cet espace de choix. Par exemple, si le modèle maîtrise parfaitement les questions de mathématiques simples, le curriculum va automatiquement réduire leur poids et introduire davantage de problèmes de raisonnement logique.

Une autre piste prometteuse est le curriculum conjoint, qui fait évoluer simultanément la taille du modèle et la difficulté des données. Imaginez commencer avec un petit modèle (par exemple 100 millions de paramètres) entraîné sur des données simples. À mesure que le modèle converge, vous augmentez sa taille (en ajoutant des couches ou des neurones) tout en introduisant des données plus complexes. Des études sur des modèles allant de 100M à 1,3 milliard de paramètres ont montré que cette co-évolution donne de meilleurs résultats que d'entraîner un grand modèle sur toutes les données dès le départ. Un modèle de 1,3 milliard de paramètres formé ainsi a surpassé un baseline standard d'environ 1,7 % en moyenne, avec des pics à 5 % sur certaines tâches de question-réponse.

Le rôle crucial de la diversité des données

La difficulté n'est pas le seul axe de variation. La diversité est tout aussi critique. Faut-il exposer le modèle à tous les domaines (code, littérature, science, conversations informelles) dès le début ? Pas nécessairement.

Il existe un compromis délicat. Introduire trop de diversité trop tôt peut empêcher le modèle de saisir correctement les motifs communs de chaque domaine. Il risque d'apprendre une moyenne diluée de tout, sans exceller nulle part. À l'inverse, rester trop longtemps sur un seul type de données peut mener à un surapprentissage spécifique et oublier les autres patterns.

Une stratégie efficace consiste à augmenter progressivement l'entropie du mélange de sources. Commencez par des langues riches en ressources ou des domaines très structurés (comme le code Python) où les règles sont claires. Une fois que le modèle a internalisé ces structures rigides, introduisez graduellement des langues à faibles ressources, des textes bruités ou des styles littéraires variés. Cela permet au modèle de construire une base solide avant de gérer l'ambiguïté et la rareté.

Applications concrètes : Instruction Tuning et Multimodalité

Là où le curriculum learning brille vraiment, c'est dans l'instruction tuning. Quand on affine un modèle pour qu'il suive des instructions, on veut qu'il apprenne à répondre correctement avant d'apprendre à répondre élégamment ou avec nuance. En commençant par des instructions directes ("Traduis ceci en français") et en finissant par des requêtes ouvertes ("Écris un poème triste sur la pluie"), on guide le modèle vers une meilleure robustesse.

Des frameworks comme CITING utilisent même des IA pour générer ces curricula, remplaçant le travail manuel fastidieux de création de jeux d'instructions gradués. De même, dans les modèles multimodaux (texte + image), il est judicieux de commencer par des tâches mono-modales ou des paires image-texte simples avant de passer à des interactions complexes nécessitant un raisonnement spatial et sémantique combiné.

Erreurs courantes à éviter

Bien que puissant, le curriculum learning n'est pas une baguette magique. Voici quelques pièges classiques :

• Oublier le "warmup" inverse : Certains experts recommandent de commencer par quelques itérations sur des données aléatoires ou difficiles pour "réveiller" les poids du modèle, avant de passer au curriculum progressif. Tout dépend de l'initialisation.
• Sur-spécialisation précoce : Si votre curriculum est trop strictement séparé par domaine, le modèle peut oublier les premiers domaines appris (catastrophic forgetting). Assurez-vous de garder un petit flux constant de données anciennes (replay buffer).
• Négliger la qualité : Un curriculum bien ordonné sur des données sales reste inefficace. Le nettoyage des données doit précéder l'ordonnancement.

Prochaines étapes pour votre pipeline

Si vous souhaitez intégrer ces concepts dès demain, commencez petit. Ne refaites pas tout votre pipeline d'un coup. Prenez votre dataset principal, calculez une métrique de difficulté simple (comme la longueur moyenne ou la perplexité avec un petit modèle), et divisez-le en trois tertiles. Entraînez d'abord sur le tertile "facile", puis ajoutez le moyen, puis le difficile. Mesurez la perte de validation à chaque étape. Vous serez surpris de voir combien de calculs vous pouvez économiser simplement en changeant l'ordre des choses.