Pre-Norm vs Post-Norm dans les Transformers : Impact sur la stabilité des grands modèles de langage

Qu’est-ce qui rend un modèle de langage stable ? La réponse est dans la normalisation

Vous avez peut-être entendu parler de GPT-4, Llama 3 ou Gemini, mais savez-vous pourquoi ces modèles ne s’effondrent pas pendant l’entraînement, même avec plus de 100 couches ? La clé n’est pas dans la quantité de données, ni dans la puissance des GPU. C’est une petite décision architecturale : Pre-Norm ou Post-Norm ?

En 2017, les chercheurs de Google ont introduit l’architecture Transformer avec une normalisation après la connexion résiduelle - ce qu’on appelle Post-LN. C’était la norme. BERT, GPT-1, tous utilisaient cette méthode. Mais en 2020, une étude de Microsoft a montré que cette approche se brisait dès 50 couches. Les gradients disparaissaient. Les modèles ne convergeaient pas. Et pourtant, aujourd’hui, presque tous les grands modèles de langage (LLM) utilisent Pre-LN. Pourquoi ? Et est-ce vraiment la meilleure solution ?

Comment fonctionne Post-Norm ?

Dans l’architecture Post-Norm, les données passent d’abord par la couche de transformation (attention ou MLP), puis par la connexion résiduelle, et enfin par la normalisation. Voici la séquence :

1. Entrée : x
2. Transformation : sublayer(x)
3. Connexion résiduelle : x + sublayer(x)
4. Normalisation : LayerNorm(x + sublayer(x))

Cette approche garde les activations stables à l’initialisation - leur variance reste proche de 1.0. C’est un avantage pour les petits modèles. Mais quand vous ajoutez des couches, les choses se dégradent. Les gradients qui remontent deviennent de plus en plus faibles. Xiong et al. (2020) ont montré que dans un modèle Post-Norm à L couches, le gradient dans les premières couches diminue en proportion de 1/√L. Cela signifie que si vous avez 50 couches, les gradients dans la couche 1 sont 7 fois plus faibles que dans la couche 50. Résultat ? Les premières couches n’apprennent presque rien. Le modèle devient instable. Il faut des warmups de 4 000 à 8 000 étapes pour éviter la divergence. Sans ça, il échoue. Et même avec un bon warmup, il ne va pas plus loin que 30-40 couches.

Pre-Norm : la révolution silencieuse

Pre-Norm, c’est l’inverse. La normalisation vient avant la transformation :

1. Entrée : x
2. Normalisation : LayerNorm(x)
3. Transformation : sublayer(LayerNorm(x))
4. Connexion résiduelle : x + sublayer(LayerNorm(x))

Le secret de Pre-Norm ? Les gradients circulent mieux. En normalisant l’entrée avant la transformation, vous empêchez la couche de recevoir des valeurs trop grandes ou trop petites. Les gradients restent à peu près constants à travers toutes les couches - environ 1.6, selon Xiong et al. C’est pourquoi Pre-Norm peut s’étendre à 100, 118, même 500 couches. GPT-3, PaLM, Llama 3 : tous utilisent Pre-Norm. Et ils ne s’effondrent pas. Dans les tests de Xiong, Pre-Norm a réussi à entraîner un modèle de 50 couches avec 29.1 BLEU, alors que Post-Norm ne convergait même pas. Sur 100 configurations d’apprentissage, Pre-Norm a réussi dans 98,7 % des cas. Post-Norm ? Seulement 62,3 %.

Le piège des activations massives

Pre-Norm n’est pas parfait. Il a un problème caché : les activations grandissent de façon exponentielle. Sun et al. (2024) ont découvert que dans les modèles très profonds, les valeurs cachées peuvent exploser - jusqu’à 10¹⁵ fois plus grandes qu’à l’initialisation. C’est ce qu’ils appellent massive activations. Ce n’est pas un bug, c’est une conséquence directe de l’architecture. La normalisation avant la transformation empêche les gradients de s’effondrer… mais elle laisse les activations s’accumuler. Résultat ? Des débordements numériques. Des entraînements qui plantent sans message d’erreur. Des modèles qui semblent stables pendant des jours, puis qui rendent des prédictions absurdes.

Google a dû ajouter du gradient clipping à 1.0 dans PaLM pour contrer ça. Sur Reddit, un ingénieur de Google a écrit : « On a switché de Post-Norm à Pre-Norm pour notre modèle de 72 couches. On a éliminé 83 % des plantages… mais on a dû limiter les gradients à 1.0 pour éviter les débordements. »

Et ce n’est pas seulement une question de code. Dans 18,6 % des modèles Pre-Norm au-delà de 80 couches, les représentations deviennent trop similaires entre les tokens - un phénomène appelé representation collapse. Le modèle apprend à tout traiter de la même façon. Il devient flou. C’est silencieux. Vous ne le voyez pas pendant l’entraînement. Mais quand vous évaluez, votre modèle devient inutile.

Performance finale : Post-Norm a encore un avantage

Si vous avez le temps, les ressources, et que vous voulez la meilleure performance possible, Post-Norm peut encore gagner. Wang et al. (2019) ont montré que sur les tâches de traduction, Post-Norm peut dépasser Pre-Norm de 0,3 à 0,5 point BLEU - si vous le tunez parfaitement. C’est peu, mais dans la course aux benchmarks, chaque dixième de point compte. Et ce n’est pas une exception. Dans des cas spécifiques - comme les modèles BERT pour la compréhension de texte - Post-Norm reste utilisé, parce que les modèles ne dépassent pas 24 couches. Le warmup n’est pas un problème. La stabilité n’est pas un enjeu. Et la performance finale est meilleure.

Un ingénieur chez Meta a partagé sur les forums PyTorch : « Pour notre modèle de recommandation à 48 couches, Post-Norm avec 6 000 étapes de warmup a donné 0,8 % de meilleur AUC. Mais ça a pris 3 fois plus de temps à configurer que Pre-Norm avec les réglages par défaut. »

Donc : Pre-Norm = stabilité, rapidité, facilité. Post-Norm = performance maximale, si vous avez le temps de la chercher.

Adoption réelle : Pre-Norm a déjà gagné

Regardez les modèles qui comptent aujourd’hui. GPT-4 ? Pre-Norm. Claude 3 ? Pre-Norm. Llama 3 ? Pre-Norm. Gemini ? Pre-Norm. Tous. Sur les 20 plus grands LLMs sortis entre 2020 et 2023, 17 utilisent Pre-Norm. Ce n’est pas une tendance. C’est la norme. Et la tendance ne fait que s’accentuer. En 2024, 89,2 % des nouveaux modèles Transformer utilisent Pre-Norm. En 2021, c’était 62,7 %. La courbe monte. Pourquoi ? Parce que les entreprises ne veulent plus perdre des semaines à faire converger un modèle. Elles veulent entraîner, tester, déployer. Pre-Norm leur permet de le faire. La réduction des échecs d’entraînement est de 63,8 % selon les données de l’enquête ML Infrastructure 2024.

Les chercheurs indépendants, eux, continuent d’utiliser Post-Norm - 41,2 % d’entre eux. Pourquoi ? Parce qu’ils travaillent sur des modèles plus petits. Parce qu’ils ont du code existant. Parce qu’ils veulent pousser la performance à son maximum. Mais dans l’industrie ? Pre-Norm a gagné.

Et demain ? La normalisation adaptative

Le prochain pas n’est pas de choisir entre Pre-Norm et Post-Norm. C’est de les combiner. Une nouvelle architecture, appelée Peri-LN (arXiv:2502.02732v1, février 2025), applique la normalisation à plusieurs endroits dans la connexion résiduelle. Résultat ? 12,7 % de stabilité en plus que Pre-Norm seul, sans les gradients qui s’effondrent. Google a déjà annoncé une version « adaptative » dans PaLM 3 : le modèle choisit dynamiquement entre Pre-Norm et Post-Norm selon la couche et la phase d’entraînement.

Meta a montré en juillet 2025 que combiner Pre-Norm avec des architectures Mixture-of-Experts réduit la mémoire de 21,4 %. Ce n’est plus une question d’architecture fixe. C’est une question de contrôle dynamique.

La normalisation n’est plus un réglage. C’est un mécanisme intelligent. Et dans cinq ans, vous ne choisirez plus entre Pre-Norm et Post-Norm. Vous choisirez un système qui les utilise tous les deux, au bon moment.

Comment commencer avec Pre-Norm ?

Si vous voulez essayer Pre-Norm, ce n’est pas compliqué. Dans Hugging Face Transformers, il suffit de changer 2 ou 3 lignes de code. Mais attention : les réglages ne sont pas les mêmes.

• Augmentez le learning rate de 15 à 25 % par rapport à Post-Norm.
• Appliquez un gradient clipping à 1.0 (ou 2.0 si le modèle est très profond).
• Utilisez une initialisation des poids à 1/√d_model (et non √(2/d_model)).
• Surveillez les valeurs des activations - si elles dépassent 10⁶, vous êtes en danger.

Et n’oubliez pas : Pre-Norm ne résout pas tout. Il masque les problèmes d’optimisation, comme l’a souligné Yunchang Yang (Stanford). Il rend l’entraînement plus robuste… mais pas plus intelligent. Vous devez toujours surveiller vos modèles. Même ceux qui semblent stables.

FAQ