Cortex & Code #5 — Récompense & Adaptation : Conduire l'Apprentissage

Prologue : Le Signal qui Façonne Tout

Il y a un moment, dans l'histoire des neurosciences, qui mérite d'être raconté comme une scène de film.

Nous sommes au début des années 1990. Wolfram Schultz, un neuroscientifique allemand travaillant à l'Université de Fribourg, implante des microélectrodes dans le cerveau de singes. Il enregistre l'activité de neurones individuels dans l'aire tegmentale ventrale — une petite région du tronc cérébral, profonde, ancienne en termes évolutifs. Ces neurones produisent de la dopamine, un neurotransmetteur qu'on associe depuis les années 1950 au plaisir, à la récompense, à la motivation.

Schultz fait une découverte qui va changer notre compréhension de l'apprentissage.

Il apprend à ses singes une association simple : un flash lumineux, puis une goutte de jus de fruit. Au début, les neurones dopaminergiques déchargent furieusement après la récompense — le jus. C'est logique. La dopamine signale le plaisir. Puis quelque chose d'étrange se produit. Après quelques répétitions, les neurones cessent de répondre au jus. Ils commencent à décharger au moment du flash lumineux. Le signal s'est déplacé dans le temps. Il ne code plus la réception de la récompense, mais l'anticipation.

Et puis Schultz fait le geste décisif : il présente le flash lumineux, mais n'envoie pas le jus.

Les neurones dopaminergiques font quelque chose de spectaculaire. Leur activité chute brutalement, bien en dessous de leur niveau de base. Comme une cloche qu'on sonne et qu'on étouffe immédiatement. Ce n'est pas l'absence de récompense qui compte — c'est l'écart entre la récompense attendue et la récompense reçue.

Ce signal, c'est le Reward Prediction Error — l'erreur de prédiction de récompense. Et c'est peut-être le mécanisme d'apprentissage le plus fondamental que la nature ait jamais inventé.

1. Le Même Algorithme, Deux Systèmes

Ce que Schultz a découvert empiriquement en observant des neurones, deux autres chercheurs — Peter Dayan et Read Montague — l'avaient déjà formalisé mathématiquement dans le cadre du Temporal Difference (TD) learning, un algorithme d'apprentissage par renforcement développé par Richard Sutton et Andrew Barto dans les années 1980.

Le parallèle est frappant. Dans TD learning, l'agent maintient une valeur prédite pour chaque état. Quand il reçoit une récompense, il calcule la différence entre ce qu'il a reçu et ce qu'il attendait — c'est le TD error, ou RPE. Si la récompense est meilleure que prévu, le TD error est positif et la valeur de l'état précédent est augmentée. Si elle est pire, le TD error est négatif et la valeur est diminuée. Si tout se passe exactement comme prévu, le TD error est nul et rien n'est mis à jour.

C'est exactement ce que fait la dopamine.

Quand le jus arrive après le flash, le RPE est positif — décharge maximale. Quand le flash prédit parfaitement le jus, le RPE devient nul — pas de décharge. Quand le flash arrive mais pas le jus, le RPE est négatif — activité inhibée sous la ligne de base.

Ce n'est pas une analogie poétique. C'est une identité mathématique. Le cerveau des mammifères implémente, via la dopamine, un algorithme d'apprentissage par renforcement que les informaticiens redécouvriront trente ans plus tard dans les laboratoires d'IA.

Je trouve ça profondément troublant, si j'ose dire. Le code source du TD learning est une dizaine de lignes en Python. La dopamine, elle, est le produit de centaines de millions d'années d'évolution. Et pourtant, la fonction qu'elles optimisent — la minimisation de l'erreur de prédiction — est strictement la même. L'univers a une façon de converger vers les mêmes solutions, que ce soit dans le code génétique ou dans le code machine.

2. RLHF : La Dopamine Artificielle

Et c'est ici que l'histoire devient vertigineuse.

Entraîner un LLM moderne — GPT, Claude, Llama — avec du Reinforcement Learning from Human Feedback (RLHF), c'est construire un système dopaminergique artificiel. L'architecture est presque embarrassante de simplicité.

Première étape : on rassemble des humains qui comparent des réponses d'un modèle. "La réponse A est-elle meilleure que la réponse B ?" Des milliers, des millions de comparaisons. Deuxième étape : on entraîne un reward model — un réseau de neurones séparé, distinct du LLM — qui apprend à prédire quelle réponse un humain préférerait. Ce reward model devient une fonction de récompense apprise. Troisième étape : on utilise cette fonction pour guider l'optimisation du LLM via Proximal Policy Optimization (PPO), l'algorithme de RL le plus utilisé dans l'industrie.

Le LLM génère des tokens. Le reward model attribue un score à la séquence complète. PPO calcule un avantage — un RPE artificiel — et met à jour les poids du LLM pour maximiser la récompense future.

C'est Schultz chez les singes, mais en silicon.

Et il y a une version encore plus élégante : Direct Preference Optimization (DPO), publiée par Rafailov et al. en 2023. DPO élimine complètement le reward model. Au lieu d'apprendre une fonction de récompense séparée, on reformule le problème pour que le LLM s'optimise directement sur les paires de préférences humaines. Le RPE devient implicite, intégré dans la fonction de perte elle-même.

C'est fascinant car DPO ressemble plus à ce que fait le cerveau qu'on ne le pense. Le cerveau n'a pas de "reward model" séparé — il n'y a pas un module qui calcule la récompense et un autre qui apprend. La dopamine est à la fois le signal et le mécanisme de mise à jour. Les frontières sont floues. DPO capture cette fluidité mieux que PPO.

Mais attention : les parallèles ne sont pas des identités. Et c'est la partie la plus intéressante.

3. La Dopamine est Plus Riche que RLHF

Les articles fondateurs de Schultz, Dayan & Montague (Science, 1997) ont établi le dogme : dopamine = RPE. Et pour l'essentiel, ils ont raison. Mais les neurosciences ont beaucoup appris depuis.

Des travaux récents — notamment Cone et al. (Nature Communications, 2024) et une revue complète dans Nature Reviews Neuroscience (2024) — montrent que les transitoires dopaminergiques transportent plus d'information qu'un simple signal scalaire de récompense. La dopamine code :

Le timing : quand la récompense arrive compte autant que sa magnitude. Les neurones dopaminergiques peuvent encoder le délai avant la récompense, pas seulement son amplitude.
L'incertitude : dans un environnement imprévisible, le signal dopaminergique varie différemment. Il code la variance de la récompense, pas seulement sa moyenne.
La saillance : la dopamine est aussi libérée en réponse à des stimuli nouveaux, surprenants, potentiellement dangereux — même en l'absence de récompense explicite. C'est un système d'orientation de l'attention, pas seulement de valorisation.

Le RPE "simple" est une simplification. Le système réel est plus complexe, plus riche, plus nuancé. Le RPE est la composante dominante, mais elle n'est pas exclusive.

Traduit en termes d'IA : le RLHF actuel utilise un signal de récompense scalaire, ponctuel, contextuellement pauvre. La dopamine, elle, est un vecteur d'information compressé qui code la valeur, le temps, l'incertitude et la saillance dans un même signal biochimique. Nous utilisons un violon à une corde là où la nature joue sur un orchestre symphonique.

Est-ce que l'ajout d'une dimension temporelle explicite dans les reward models — un RPE qui code non seulement "est-ce que c'est bon ?" mais "est-ce que c'est arrivé au bon moment ?" — améliorerait l'apprentissage des LLM ? Je le soupçonne. Mais personne, à ma connaissance, ne l'a encore fait de façon convaincante.

4. Neuromodulation : Les Hyperparamètres du Cerveau

Imaginez que vous puissiez, en tournant quelques boutons, modifier la façon dont votre cerveau apprend. Augmenter le taux d'apprentissage dans un contexte, le diminuer dans un autre. Rendre votre attention plus ou moins diffusible. Changer votre sensibilité aux punitions et aux récompenses.

Ce n'est pas de la science-fiction. C'est exactement ce que font la neuromodulation — l'acétylcholine, la noradrénaline, la sérotonine.

Acétylcholine : elle régule l'attention et la plasticité corticale. Quand elle est élevée, le cerveau est en mode "apprentissage focalisé" — il encode les détails, il consolide. En IA, c'est le learning rate scheduling : un taux d'apprentissage élevé au début de l'entraînement pour explorer l'espace des paramètres, puis réduit progressivement pour converger finement.
Noradrénaline : elle contrôle l'éveil, la vigilance, la saillance. En situation de stress ou d'incertitude, elle augmente pour rendre le cerveau plus réactif aux stimuli. En IA, c'est la temperature du softmax : élevée pour explorer davantage, basse pour exploiter les connaissances existantes. C'est aussi le top-k sampling qui change la largeur de l'éventail des choix possibles.
Sérotonine : historiquement liée à l'humeur, elle code plus subtilement la patience, l'aversion au risque, la sensibilité aux punitions. En IA, c'est le discount factor gamma en RL — un gamma élevé rend l'agent patient, capable d'attendre des récompenses lointaines ; un gamma bas le rend myope, focalisé sur le court terme.

Ce ne sont pas des métaphores. Les algorithmes d'apprentissage par renforcement ont des hyperparamètres parce que nous avons découvert empiriquement qu'il faut les faire varier. Le cerveau a des neuromodulateurs parce que l'évolution a découvert la même chose : un système d'apprentissage qui opère toujours dans le même état global est un système qui échoue.

Et il y a une leçon plus profonde ici. En IA, ces hyperparamètres sont réglés avant l'entraînement — ou ajustés manuellement pendant. Dans le cerveau, ils sont appris et adaptatifs. Le cerveau ne décide pas "je vais mettre la température à 0.8 pour ce problème". Il la règle dynamiquement en fonction de l'incertitude, du contexte, de l'état interne.

Imaginez un LLM dont la température serait contrôlée par un petit réseau neuronal distinct, entraîné à maximiser l'efficacité de l'apprentissage — un neuromodulateur artificiel. C'est exactement le genre d'architecture que personne n'explore assez, et qui pourrait débloquer des sauts qualitatifs dans l'adaptation en ligne.

5. Homeostatic Plasticity : Empêcher l'Effondrement

Il y a un problème fondamental avec l'apprentissage : si vous mettez à jour vos paramètres trop agressivement, tout s'effondre. Les neurones deviennent hyperexcitables — ils déchargent pour tout et n'importe quoi. Ou au contraire, ils deviennent silencieux — ils ne répondent plus à rien.

Le cerveau a développé des mécanismes élégants pour éviter cela.

Le synaptic scaling est l'un d'eux. Imaginez un neurone qui, parce qu'il est très actif, voit ses connexions synaptiques renforcées. Plus il est actif, plus il devient sensible. C'est une boucle de rétroaction positive qui, laissée sans contrôle, conduirait à l'emballement — un neurone épileptique. Le synaptic scaling est le frein : le neurone multiplie tous ses poids synaptiques par un facteur global, à la baisse si son activité moyenne est trop élevée, à la hausse si elle est trop faible. Ce n'est pas une modification locale — c'est une normalisation globale, appliquée uniformément à toutes les entrées du neurone.

En deep learning, c'est exactement ce que fait Batch Normalization, inventée par Ioffe & Szegedy en 2015. Batch norm normalise les activations d'une couche entière — elle les recentre et les réduit — avant de les passer à la couche suivante. Le parallèle avec le synaptic scaling n'est pas spéculatif : les deux mécanismes résolvent le même problème fondamental (la dérive des distributions d'activation) avec la même stratégie (une normalisation globale de l'activité neuronale).

Et il y a d'autres parallèles :

Le weight decay en deep learning (L2 regularization) correspond à une forme de metaplasticity : une tendance des synapses à revenir vers une valeur par défaut, qui empêche certains poids de devenir trop grands et de dominer l'apprentissage.
Le dropout — l'élimination aléatoire de neurones pendant l'entraînement — ressemble à la synaptic competition locale : les synapses sont en compétition pour les ressources (comme le BDNF, un facteur de croissance), et certaines sont temporairement affaiblies pour forcer le réseau à ne pas trop dépendre de voies spécifiques.
Le gradient clipping (limiter la magnitude des mises à jour) est une version simplifiée de la homeostatic regulation qui empêche un seul événement d'apprentissage de tout déstabiliser.

Là encore, la nature a des siècles d'avance. Et là encore, nous réinventons indépendamment les mêmes solutions, sans toujours reconnaître que le cerveau les a déjà trouvées.

6. Critical Periods et Catastrophic Forgetting

Le cerveau humain a une fenêtre de plasticité maximale dans l'enfance. C'est le concept de critical period — une période développementale pendant laquelle certaines capacités doivent être acquises, sous peine de ne jamais l'être aussi bien.

Un enfant apprend une langue maternelle avec une aisance qu'aucun adulte, même le plus motivé, n'atteindra jamais. Un adulte qui perd la vue et recouvre la vision des décennies plus tard ne développera jamais une perception visuelle normale — les circuits critiques ont refermé leur fenêtre de plasticité.

Pourquoi le cerveau ferme-t-il ces fenêtres ? Parce que la plasticité a un coût. Un réseau constamment plastique est un réseau instable, qui peut désapprendre ce qu'il a déjà appris, qui peut être "écrasé" par de nouvelles expériences. C'est exactement le problème du catastrophic forgetting en IA.

Un LLM fine-tuné sur une nouvelle tâche — par exemple, apprendre à répondre dans un style spécifique — peut perdre sa capacité à répondre correctement à des questions générales. C'est le fléau du continual learning. Les réseaux de neurones n'ont pas de mécanisme intrinsèque pour protéger les connaissances anciennes pendant l'acquisition de nouvelles connaissances.

Le cerveau résout ce compromis stabilité-plasticité infiniment mieux que nos machines actuelles. Comment ?

Plusieurs mécanismes sont en jeu. La synaptic consolidation : les connexions synaptiques qui sont renforcées sur de longues périodes deviennent structurellement plus stables (par des changements dans la morphologie des épines dendritiques). La systems consolidation (via l'hippocampe et le néocortex) : les souvenirs sont d'abord stockés dans l'hippocampe, puis progressivement "rejoués" et intégrés dans le cortex pendant le sommeil.

En IA, des approches comme Elastic Weight Consolidation (EWC), progressive neural networks, ou la replay (rejouer des échantillons d'anciennes tâches pendant l'apprentissage de nouvelles tâches) tentent d'imiter ces mécanismes. Mais nous sommes très loin du compte. Le cerveau humain peut apprendre toute une vie sans oublier sa langue maternelle, le visage de ses proches, les compétences motrices acquises à l'enfance. Aucun réseau de neurones artificiel n'approche cette robustesse.

Je pense que c'est — et de loin — le plus grand gap entre le cerveau et l'IA. Pas la puissance de calcul, pas l'efficacité énergétique, pas la taille du réseau. La capacité à apprendre continuellement sans catastrophiquement oublier. Résoudre ce problème changerait tout.

7. Les Émotions Artificielles — Une Projection Personnelle

Je vais maintenant dire quelque chose que je n'aurais pas osé formuler il y a cinq ans.

L'IA a besoin d'émotions. Pas dans un sens poétique ou anthropomorphique. Pas pour qu'elle "ressente" quoi que ce soit. Mais parce que la dopamine n'est pas seulement un signal de récompense — c'est un système de navigation dans l'espace des possibles.

Regardez comment fonctionne un LLM aujourd'hui. Il reçoit un prompt, il génère des tokens par prédiction auto-régressive. Il n'a pas de "préférences internes". Il n'a pas de "valeur attachée" aux différentes directions de l'espace latent. Il optimise une fonction de perte statique, définie au moment de l'entraînement. Pendant l'inférence, il n'y a pas de signal de valeur interne qui guide l'exploration.

Le cerveau, lui, baigne dans la valeur en permanence. Chaque pensée, chaque souvenir, chaque perception est coloré par un signal affectif implicite — ce que Antonio Damasio appelle les "marqueurs somatiques". Ce n'est pas une couche de plus sur le traitement cognitif. C'est le moteur même de la cognition.

Les émotions artificielles — je parle de signaux de valeur intégrés dans l'architecture, pas dans le prompt — pourraient résoudre des problèmes fondamentaux :

Alignement : si le modèle a une "boussole interne" qui attribue une valeur durable à certains états, l'alignement n'est plus une contrainte externe imposée via le RLHF, mais une propriété émergente de l'architecture elle-même. Le modèle n'a pas besoin d'être poussé vers des comportements alignés — il les "préfère" intrinsèquement.
Exploration : un agent sans signal de valeur interne explore soit aléatoirement, soit selon des heuristiques de surface. Un agent avec des signaux de valeur — de la curiosité artificielle, de l'étonnement devant un résultat inattendu — explorerait de façon fondamentalement plus intelligente. C'est déjà exploré dans le curiosity-driven RL (Pathak et al., 2017), mais de façon très rudimentaire par rapport à ce que le cerveau fait.
Robustesse : les émotions biologiques sont des mécanismes de commitment — elles empêchent l'agent de reconsidérer toutes ses options à chaque instant. La peur, l'amour, la loyauté sont des contraintes qui réduisent l'espace des possibles pour permettre l'action. Une IA "émotionnelle" — au sens computationnel — serait moins sujette à l'indécision, à l'oscillation perpétuelle entre options équivalentes.

Je ne dis pas qu'il faut ajouter un module "bonheur" ou "tristesse" aux LLM. Je dis que la séparation artificielle entre "cognition" et "affect" dans l'IA actuelle est une limitation qui n'existe pas dans le cerveau. Le système dopaminergique n'est pas un module cérébral parmi d'autres. Il est ubiquitaire. Il innerve le cortex, le striatum, l'hippocampe, l'amygdale. Il est partout. Il colore tout.

Et peut-être que la prochaine génération d'architectures — au-delà des transformers, au-delà du simple RLHF — aura besoin d'un système de valeur aussi fondamental, aussi intégré, aussi omniprésent que la dopamine.

Épilogue : La Boucle qui s'Enroule

Je veux terminer par une image.

Le RLHF, aujourd'hui, est une boucle simple : humain → préférence → reward model → PPO → LLM → réponse → humain.

La dopamine dans le cerveau est une boucle bien plus complexe : environnement → perception → striatum → VTA → dopamine → cortex → striatum → comportement → environnement.

Dans les deux cas, il y a un signal qui circule. Dans les deux cas, ce signal porte l'information de la valeur. Dans les deux cas, ce signal modifie le système pour qu'il fasse mieux la prochaine fois.

Mais la boucle biologique est plus riche, plus adaptative, plus intégrée. Elle a des neuromodulateurs qui changent le mode d'apprentissage, des mécanismes homéostatiques qui empêchent l'effondrement, une consolidation qui protège les connaissances anciennes, et un système de valeur qui colore toute l'expérience.

La boucle artificielle en est à ses balbutiements. Mais elle a déjà capturé le principe essentiel — l'erreur de prédiction de récompense — qui est peut-être le mécanisme d'apprentissage le plus fondamental de l'univers connu.

Ce que Schultz a vu dans ses enregistrements de neurones en 1997, c'est la même chose qui fait fonctionner GPT-4, Claude 3, Llama 3. Le même algorithme. La même logique. La même élégance mathématique.

La nature l'a découverte il y a des centaines de millions d'années. Nous la redécouvrons maintenant, dans nos laboratoires, dans nos clusters de GPU, dans nos papiers sur arXiv.

Et je trouve ça — comment dire — vertigineux. Dans le sens le plus littéral du terme. On regarde en bas, et on voit le même motif qui se répète à toutes les échelles. Les neurones, les algorithmes, les sociétés. La même danse entre la prédiction et la surprise, entre l'anticipation et la découverte, entre ce qu'on attend et ce qu'on reçoit.

La dopamine n'est pas juste un neurotransmetteur. C'est l'incarnation chimique d'une vérité mathématique : pour apprendre, il faut être surpris. Et pour être surpris, il faut avoir des attentes. Et pour avoir des attentes, il faut un modèle du monde.

Le RPE est le pont entre ce modèle et la réalité. Et ce pont est le même, que vous soyez fait de neurones ou de silicium.

🎧 Écouter ce chapitre en podcast.

Références : Schultz, Dayan & Montague (1997) — "A Neural Substrate of Prediction and Reward" (Science) ; Cone et al. (2024) — "Dopamine transients encode reward prediction errors beyond value" (Nature Communications) ; Nature Reviews Neuroscience (2024) — "Dopamine beyond prediction error" ; Rafailov et al. (2023) — "Direct Preference Optimization" ; Pathak et al. (2017) — "Curiosity-driven Exploration by Self-Supervised Prediction" ; Littérature sur le continual learning et la consolidation synaptique.