Que révèle le papier de Google "Learning without training" sur le fonctionnement interne des LLM ?

Le papier montre que le passage de l'entrée dans le réseau feed-forward d'un Transformer, combiné au contexte apporté par l'attention, revient mathématiquement à créer une matrice de poids temporaire spécifique à cette entrée. Cela signifie qu'un grand modèle de langage peut s'adapter dynamiquement à chaque prompt même si ses poids entraînés restent totalement figés, révélant une forme de plasticité implicite en contexte derrière son intelligence contextuelle apparente.

Qu'est-ce que l'apprentissage en contexte (in-context learning) dans un LLM ?

L'apprentissage en contexte est la capacité d'un grand modèle de langage à ajuster son comportement uniquement à partir des exemples et instructions donnés dans un prompt, sans entraînement supplémentaire ni mise à jour des poids. Les recherches de Google suggèrent que cela se produit parce que l'attention et les couches feed-forward agissent conjointement comme si elles reconstruisaient brièvement une matrice de poids spécialisée pour cette entrée précise, plutôt que parce que le modèle apprend littéralement quelque chose de nouveau.

Quel est le lien entre Mixtures-of-Experts (MoE), Hyper-Networks et l'adaptation dynamique des poids des Transformers ?

Les Mixtures-of-Experts n'activent que quelques sous-modèles spécialisés pour chaque entrée via un mécanisme de gating, réduisant le coût de calcul tout en permettant une spécialisation contextuelle, tandis que les Hyper-Networks génèrent à la volée les poids d'un autre réseau au lieu de prédire directement des sorties. Ces deux approches rejoignent l'idée que les Transformers effectuent déjà une adaptation implicite des poids spécifique à l'entrée, suggérant que de futures architectures pourraient rendre cette adaptation explicite et plus contrôlable.

Les grands modèles de langage sont-ils aujourd'hui entièrement compris par les chercheurs ?

Non. La description mathématique d'un comportement dynamique proche d'une matrice de poids dans les Transformers est un point de départ pour l'explicabilité et l'optimisation ciblée, pas une preuve que les LLM sont entièrement compris. Le papier sous-jacent n'avait pas encore été validé par les pairs au moment de sa publication, et transformer cette intuition formelle en outils de diagnostic ou en théorie unifiée des LLM demande encore beaucoup de recherche.

Google ouvre le capot des LLMs

Dans un récent papier (« Learning without training: The implicit dynamics of in-context learning »), les équipes de Google proposent une plongée mathématique dans les entrailles des Transformers.

Petit rappel technique rapide

Un LLM, ce sont des couches de Transformer empilées. Dans chaque couche, on retrouve deux blocs principaux :

La Multi-Head/Self-Attention : ce mécanisme permet au modèle d’évaluer l’importance relative de chaque mot par rapport aux autres, pour capter le contexte.
Le réseau Feed-Forward (FFN) : une étape de traitement plus dense où l’information est transformée en profondeur via des fonctions d’activation, qui modulent l’intensité du signal de chaque neurone.

Mais ce qui est fascinant, c’est que l’interaction entre ces couches ne se limite pas à un simple traitement séquentiel.

La découverte : une plasticité dynamique

Le papier démontre que le passage dans le FFN, combiné au contexte amené par l’attention, revient mathématiquement à créer temporairement une matrice de poids spécifique à l’entrée. En clair, l’architecture permet une adaptation dynamique à chaque situation, une forme de plasticité temporaire, uniquement déclenchée par le prompt.

Même avec des poids figés, le modèle semble s’adapter en temps réel à chaque nouvelle entrée. Une forme d’intelligence contextuelle !

La démonstration (non encore validée par les pairs) vise à mieux comprendre cette boîte noire, pour développer à terme des techniques de diagnostic, d‘“explicabilité”, et même d’optimisation ciblée.

Les perspectives ouvertes

Ce cadre formel ouvre plusieurs pistes concrètes :

Concevoir des mécanismes d’inférence conditionnée, pour une adaptabilité sans fine-tuning.
Tester des architectures hybrides et modulaires, en lien avec des approches comme les Hyper-Networks ou les Mixtures-of-Experts.
Et, pourquoi pas, avancer vers une théorie unifiée des LLMs – qui expliquerait enfin pourquoi ça marche aussi bien.

Attention cependant à ne pas confondre description mathématique et compréhension profonde : ces observations doivent être le point de départ, pas l’aboutissement, de notre compréhension des LLMs.

Conclusion

Bref, les modèles sont puissants, mais c’est encore l’intelligence humaine qui devra en tirer tout le potentiel.

Le coin des experts 🤓

Mixtures-of-Experts (MoE)

Définition technique : Une architecture dans laquelle plusieurs sous-modèles (“experts”) sont disponibles, mais seuls quelques-uns sont activés pour chaque entrée, selon un mécanisme de sélection (gating), permettant de spécialiser les calculs tout en maîtrisant les coûts.

Avantages :

Réduction significative des coûts de calcul
Spécialisation adaptative selon le contexte
Scalabilité améliorée

Exemple concret : Un modèle MoE pourrait avoir des experts spécialisés dans différents domaines (médecine, code, littérature) et n’activer que les plus pertinents selon la tâche.

Hyper-Networks

Définition technique : Un réseau qui ne fait pas de prédictions directement, mais qui génère dynamiquement les poids d’un autre réseau principal, permettant à ce dernier de s’adapter à chaque tâche ou contexte sans entraînement supplémentaire.

Applications potentielles :

Adaptation rapide à de nouveaux domaines
Personnalisation sans réentraînement
Méta-apprentissage efficace

Analogie : Un chef qui adapte sa recette en temps réel selon les ingrédients disponibles, sans avoir besoin de réapprendre à cuisiner.

Références

Learning without training: The implicit dynamics of in-context learning