Réseaux Feedforward dans les Transformers : Pourquoi deux couches optimisent les LLM

Vous vous demandez pourquoi la plupart des grands modèles de langage (LLM) comme GPT-4 ou Llama 3 utilisent exactement deux couches pour leur réseau feedforward ? Ce n'est pas un hasard. C'est le résultat d'un équilibre délicat entre puissance de calcul, mémoire et performance réelle. En 2017, l'article fondateur "Attention is All You Need" a introduit cette structure, et depuis, elle est devenue la norme absolue. Mais pourquoi ne pas en utiliser une seule, ou trois ? La réponse se cache dans les mathématiques pures et les contraintes matérielles.

Le rôle crucial du réseau feedforward

Dans un bloc Transformer standard, après que le mécanisme d'attention a capté les relations entre les mots, le réseau feedforward (FFN) prend le relais. Son job est simple sur le papier mais complexe en pratique : il transforme la représentation de chaque token individuellement. Contrairement à l'attention qui mélange les informations entre les tokens, le FFN applique une transformation non-linéaire locale. Il agit comme un "mémoire associative" où le modèle stocke des connaissances factuelles et linguistiques. Si l'attention décide *où* regarder, le FFN décide *quoi* faire avec ce qu'il voit.

Cette composante n'est pas mineure. Selon les recherches de Tay et al. (2020), le FFN représente environ 60 à 70 % des paramètres totaux d'un modèle moderne. Pour un modèle comme GPT-3, cela signifie que la majorité de son "cerveau" réside dans ces deux couches linéaires. Ignorer leur importance revient à sous-estimer la capacité réelle du modèle à raisonner.

Pourquoi deux couches ? L'équilibre parfait

La configuration standard utilise deux transformations linéaires séparées par une fonction d'activation (souvent GELU aujourd'hui). La première couche élargit la dimension du vecteur (généralement de d_model à 4 × d_model), puis la seconde la ramène à sa taille initiale. Pourquoi cette expansion ? Elle permet au modèle de projeter les données dans un espace de plus grande dimension où les caractéristiques peuvent être séparées plus facilement avant d'être compressées à nouveau.

Les études montrent qu'une seule couche manque de profondeur pour capturer des phénomènes linguistiques complexes. À l'inverse, trois couches offrent une légère amélioration théorique mais au prix d'une instabilité accrue lors de l'entraînement et d'une consommation mémoire explosive. Le compromis des deux couches offre le meilleur retour sur investissement pour la plupart des applications commerciales.

La réalité des chiffres : coût vs bénéfice

Parlons concret. Dans un modèle GPT-3 Medium, le FFN contribue à 323 millions de paramètres entraînables. Chaque token traité nécessite environ 472 millions d'opérations flottantes juste pour cette partie du réseau. C'est énorme. Une recherche d'Apple en 2023 a même suggéré que le FFN était "hautement redondant", montrant qu'on pouvait réduire ses paramètres de 34 % avec une perte de performance minime (0,3 point BLEU).

Cependant, cette redondance est trompeuse. Lorsque vous réduisez les paramètres sans ajuster l'architecture, vous perdez en capacité de généralisation. Les experts comme Dr. Anna Rogers soulignent que le FFN est indispensable pour l'apprentissage zéro-shot (zero-shot learning). Sans cette capacité de transformation non-linéaire profonde, le modèle ne peut pas adapter ses réponses à des contextes inédits aussi efficacement. La "redondance" sert en fait de marge de sécurité contre le surapprentissage et améliore la robustesse.

Défis pratiques et implémentation

Si vous tentez de modifier cette structure, attendez-vous à des surprises. Les développeurs rapportent régulièrement que passer à trois couches sans ajuster le taux d'apprentissage (learning rate) provoque une instabilité de l'entraînement dans près de 80 % des cas. Il faut souvent réduire le taux de 15 % pour compenser la propagation du gradient plus profonde.

• Gestion de la mémoire : Avec des modèles de plusieurs milliards de paramètres, le FFN peut consommer 40 à 50 Go de VRAM pendant l'entraînement. Des solutions comme FlashFFN, introduites dans Llama 3, réduisent cette empreinte de 35 % en optimisant les accès mémoire.
• Latence d'inférence : Pour les modèles à contexte long, le FFN devient un goulot d'étranglement. Les opérations matricielles dominent le temps de calcul. Optimiser cette couche est souvent plus rentable que d'ajouter plus de têtes d'attention.
• Normalisation : L'emplacement de la normalisation de couche (layer norm) change radicalement si vous modifiez la profondeur du FFN. Les configurations "pre-norm" nécessitent 12 à 15 % plus d'étapes d'entraînement pour converger avec des architectures plus profondes.

L'avenir : vers des structures adaptatives ?

Le paysage évolue rapidement. Google Gemini 2.0 teste déjà des FFN adaptatifs qui changent de profondeur dynamiquement selon la complexité du token. Microsoft explore les mélanges d'experts (MoE) pour rendre certaines parties du FFN éparses, économisant ainsi jusqu'à 28 % de ressources. Pourtant, malgré ces innovations, la prédiction dominante reste claire : la structure à deux couches restera la norme pour les modèles open-source et commerciaux généralistes jusqu'en 2028.

Pourquoi ? Parce qu'elle est bien comprise, compatible avec tous les matériels GPU actuels, et offre une stabilité fiable. Les alternatives prometteuses restent cantonnées aux laboratoires de recherche ou aux niches spécifiques. Si vous construisez une application IA aujourd'hui, respecter cette convention architecturale vous évitera bien des maux de tête techniques.