Cortex & Code #4 — Attention & Mémoire : Les Deux Piliers du Traitement
Prologue — Deux problèmes, une solution ?
Dans les années 1990, deux équipes de chercheurs, à des milliers de kilomètres l'une de l'autre, travaillaient sur deux problèmes qui semblaient n'avoir rien en commun.
D'un côté, Robert Desimone et John Duncan, au NIH et à Oxford, s'interrogeaient sur un mystère neurologique : comment le cerveau parvient-il à ne pas être submergé par la tempête sensorielle qui l'assaille à chaque instant ? Des millions de signaux visuels, auditifs, tactiles entrent en compétition pour accéder à la conscience — et pourtant, nous ne traitons consciemment qu'une infime fraction de cette information. Leur réponse, le modèle de la biased competition, allait devenir l'un des cadres les plus influents des neurosciences cognitives.
De l'autre côté, une poignée de chercheurs en traitement automatique du langage concevait une architecture capable de résoudre un problème de traduction automatique. Leur invention, le transformer, reposait sur un mécanisme étrangement familier : un système d'attention qui apprend à sélectionner, parmi des centaines de tokens, ceux qui sont pertinents pour prédire le suivant.
Deux disciplines. Deux époques. Une même idée fondamentale.
Bienvenue dans le quatrième épisode de Cortex & Code. Aujourd'hui, on plonge dans les deux piliers du traitement — l'attention et la mémoire — et dans la question qui me hante depuis que j'ai commencé cette série : le cerveau et les transformers résolvent-ils le même problème avec les mêmes contraintes, ou assiste-t-on à une convergence profonde entre biologie et algorithmes ?
Accrochez-vous. Ça va taper dans les oscillations neurales, les fenêtres de contexte à 4 millions de tokens, et la question existentielle de ce que signifie vraiment "se souvenir".
Partie I — L'Attention, ou l'Art de la Sélection
Le cerveau ne peut pas tout traiter
Commençons par une évidence que votre cerveau connaît depuis toujours : vous ne pouvez pas faire attention à tout.
En ce moment même, vos capteurs sensoriels sont bombardés. Vos yeux enregistrent une mosaïque de pixels, vos oreilles captent les sons ambiants, votre peau perçoit la température, votre nez détecte des molécules en suspension, votre proprioception suit la position de vos membres dans l'espace. Et pourtant, vous n'avez conscience que de cette ligne de texte que vous lisez (ou que vous écoutez). Tout le reste est... relégué en arrière-plan.
Comment le cerveau opère-t-il ce tri ? Desimone et Duncan (1995) ont proposé un modèle élégant : celui de la biased competition, la compétition biaisée.
L'idée est simple. Les représentations neurales — les ensembles de neurones qui codent pour un stimulus — entrent en compétition permanente. Chaque représentation cherche à inhiber les autres pour accéder à la conscience et guider l'action. Mais cette compétition n'est pas neutre : elle est biaisée par deux forces complémentaires.
La saillance bottom-up : un stimulus capture automatiquement notre attention parce qu'il se distingue de son environnement — un bruit soudain, un flash lumineux, une couleur qui contraste. C'est le mécanisme involontaire, celui qui vous fait tourner la tête quand une porte claque.
La guidance top-down : notre attention est orientée par nos objectifs, nos attentes, notre contexte mental. Vous cherchez un visage dans une foule ? Votre cerveau biaise la compétition en faveur des représentations qui ressemblent à un visage, et inhibe les autres. Vous écoutez une voix précise dans un cocktail ? Le cerveau renforce les signaux auditifs qui correspondent aux caractéristiques de cette voix.
Ces deux forces se combinent pour former ce que les neuroscientifiques appellent la carte de saillance attentionnelle — une représentation dynamique de ce qui mérite d'être traité à chaque instant.
Et dans les transformers ?
Ouvert votre modèle préféré. Vous lui passez un prompt de 10 000 tokens. Comment fait-il pour ne pas s'éparpiller ?
La réponse, c'est le mécanisme d'attention multi-têtes introduit par Vaswani et al. dans Attention Is All You Need (2017). Et la ressemblance avec la biased competition est... troublante.
Dans un transformer, chaque token de l'input génère trois vecteurs : une query (la question que ce token pose au reste de la séquence), une key (ce que ce token peut offrir comme information), et une value (l'information elle-même). Le mécanisme d'attention calcule un score de similarité entre chaque query et chaque key, et utilise ce score pour pondérer les values correspondantes.
Résultat : chaque token "regarde" tous les autres tokens de la séquence, mais il regarde plus intensément ceux qui sont pertinents pour sa tâche.
Maintenant, regardez bien. Chaque tête d'attention ne fait pas la même chose. Certaines têtes apprennent des motifs purement locaux — elles regardent le token juste avant ou juste après. C'est l'équivalent de la saillance bottom-up : une information immédiate, liée à la structure locale du texte. D'autres têtes capturent des relations à longue distance, des dépendances globales qui ne peuvent être comprises qu'avec le contexte complet. C'est la guidance top-down : l'attention est dirigée par la signification globale de ce qui a été dit avant.
Et comme dans le cerveau, ce sont des dizaines de têtes (le modèle GPT-4 en a 96 par couche, Llama 3 405B en a 128) qui opèrent simultanément, en parallèle. Chaque tête apprend à "sélectionner" une forme particulière de pertinence. Ensemble, elles construisent une carte d'attention, exactement comme le cerveau construit une carte de saillance.
Le parallèle est saisissant. L'attention, dans les deux cas, est un mécanisme de routage de l'information qui permet de concentrer des ressources de calcul limitées sur les signaux les plus pertinents. Dans le cerveau, ces ressources sont métaboliques (le glucose et l'oxygène nécessaires à l'activité neuronale). Dans l'IA, ce sont les FLOPs — les opérations en virgule flottante par seconde.
Même problème de rareté, même solution architecturale.
Le cocktail party effect
En 1953, un psychologue britannique nommé Colin Cherry a décrit un phénomène que tout le monde connaît intuitivement : la capacité à se concentrer sur une seule conversation dans une pièce bruyante. Le "cocktail party effect".
Cherry a montré que nous pouvons suivre la voix d'un locuteur même quand d'autres conversations, de la musique et des bruits ambiants nous bombardent. Ce n'est pas un tour de passe-passe — c'est un mécanisme actif de filtrage attentionnel. Le cerveau utilise des indices comme la direction spatiale de la voix (différence interaurale de temps et d'intensité), le timbre, la hauteur vocale, et même le rythme de la parole pour isoler un flux auditif.
Est-ce que les LLM savent faire la même chose ?
Oui et non. Les mécanismes de masking et de padding dans les transformers sont une forme primitive de filtrage attentionnel. Quand on entraîne un modèle avec des séquences de longueurs variables, on masque les tokens de padding (les tokens vides qui servent à remplir les séquences plus courtes) pour que l'attention ne les prenne pas en compte. C'est une forme de "voix ignorée" artificielle.
Mais il y a une différence fondamentale. Dans le cerveau, le cocktail party effect est dynamique et contextuel — il s'adapte à la volée en fonction de ce que vous cherchez à entendre. Le masking des transformers est statique, défini à l'avance par la structure de l'input. Le modèle ne décide pas activement ce qu'il doit ignorer dans le bruit — il ignore simplement ce qu'on lui a dit d'ignorer.
Cependant, l'attention multi-têtes commence à combler ce fossé. Chaque tête peut apprendre à "écouter" des aspects différents du signal, et certaines têtes pourraient théoriquement apprendre à filtrer le bruit dans un mélange complexe d'informations. On n'en est pas encore au cocktail party effect humain, mais la direction est la même : un filtrage attentionnel appris, pas programmé.
Partie II — La Mémoire de Travail : Le Goulot d'Étranglement que Nous Partageons Tous
Baddeley et le buffer à capacité limitée
En 1974, Alan Baddeley et Graham Hitch ont proposé un modèle de la mémoire de travail qui allait devenir un classique. Leur insight fondamental : le cerveau dispose d'un espace de travail temporaire, à capacité limitée, qui permet de manipuler l'information pendant qu'on l'utilise. Ce n'est pas un simple stockage — c'est un système actif de maintien et de manipulation.
Les chiffres sont impitoyables : nous pouvons maintenir environ 4 à 7 "chunks" d'information dans notre mémoire de travail à un instant donné. Essayez de retenir un numéro de téléphone de 10 chiffres sans le répéter mentalement — vous verrez les limites rapidement. Et ce n'est pas un défaut de conception : c'est une contrainte architecturale. Le cerveau a fait le choix évolutif de privilégier la rapidité et la flexibilité sur la capacité brute.
Cette mémoire de travail est gérée par des mécanismes explicites : la boucle phonologique (pour l'information verbale, que l'on répète mentalement), le calepin visuo-spatial (pour les images et les positions), et l'administrateur central (le système de contrôle attentionnel qui alloue les ressources). Et surtout, il y a un mécanisme d'oubli actif : les informations qui ne sont pas répétées ou utilisées sont évincées pour laisser la place à de nouvelles.
Le context window : le même problème, 50 ans plus tard
Regardez le context window de n'importe quel LLM. C'est exactement la même contrainte.
- GPT-4 : 128K tokens.
- Claude 3.5 Sonnet : 200K tokens.
- Gemini 1.5 Pro : 2 millions de tokens (annoncé).
- MiniMax : 4 millions de tokens (2025).
Des chiffres qui n'ont rien à voir avec les 4-7 items de la mémoire de travail humaine, évidemment. Mais le principe est identique.
La mémoire de travail du cerveau et le context window du LLM partagent la même propriété fondamentale : ce sont des fenêtres à capacité limitée dans lesquelles l'information doit être simultanément présente pour pouvoir être traitée. Dans les deux cas, ce qui dépasse la fenêtre est perdu, à moins d'être consolidé ailleurs.
La différence n'est pas architecturale — elle est quantitative. Le cerveau humain a optimisé ses mécanismes de gestion de la mémoire de travail pendant des millions d'années d'évolution. Les LLM, eux, en sont à leurs balbutiements. Les context windows de millions de tokens sont une solution verticale : "mettons plus de RAM". C'est l'équivalent de dire à un humain "tu peux maintenant retenir 10 000 chiffres dans ta tête" sans lui donner de technique de mémorisation supplémentaire.
Le cerveau n'a pas besoin de plus de mémoire de travail. Il a besoin de meilleurs mécanismes pour gérer cette mémoire — et il les a développés.
Partie III — La Consolidation : De l'Hippocampe au Fine-Tuning
Le rôle de l'hippocampe
Dans le cerveau, la mémoire à long terme n'est pas un simple agrandissement de la mémoire de travail. C'est un système qualitativement différent, avec des mécanismes de consolidation complexes.
Endel Tulving, neuroscientifique estonien, a distingué plusieurs systèmes de mémoire à long terme dans les années 1970-80. Le plus fascinant pour notre propos est la mémoire épisodique — notre capacité à nous souvenir d'événements spécifiques situés dans le temps et l'espace : "hier, à 15h, j'ai mangé une pâtisserie chez Paul."
Cette mémoire épisodique dépend de l'hippocampe, une structure en forme d'hippocampe (d'où son nom) nichée dans le lobe temporal médian. L'hippocampe joue un rôle crucial dans l'encodage des nouveaux souvenirs et leur consolidation — le processus par lequel les souvenirs temporaires sont progressivement transférés vers le néocortex pour le stockage à long terme.
Le mécanisme clé : pendant le sommeil, l'hippocampe rejoue les séquences d'activation de la journée (on appelle ça la replay neuronal). Ces rejeux, souvent synchronisés avec des oscillations lentes (ondes delta, fuseaux de sommeil), permettent de renforcer les connexions synaptiques dans le néocortex. C'est le system consolidation theory.
Sans sommeil, pas de consolidation. Sans consolidation, les souvenirs restent fragiles, dépendants de l'hippocampe, et peuvent être facilement perdus.
RAG, MemGPT, et la consolidation artificielle
Dans l'IA moderne, le parallèle technique est évident.
Le RAG (Retrieval-Augmented Generation) fonctionne exactement comme une mémoire épisodique : quand un LLM doit répondre à une question, il interroge une base de connaissances externe (le "monde extérieur" ou "l'hippocampe digital"), récupère les informations pertinentes, et les place dans le context window pour les traiter. C'est exactement ce que fait le cerveau quand vous cherchez un souvenir : l'hippocampe active les traces pertinentes et les ramène dans le buffer de la mémoire de travail.
MemGPT (aujourd'hui Letta) va plus loin : le modèle dispose d'une mémoire hiérarchique avec une mémoire "principale" (le context window) et une mémoire "externe" (un stockage vectoriel). Quand la mémoire principale est pleine, le modèle décide quoi archiver et quoi oublier. C'est une imitation frappante de l'administrateur central de Baddeley — un mécanisme de gestion active de la mémoire, pas une simple expansion de capacité.
Et le fine-tuning ? C'est notre consolidation. Quand on fine-tune un modèle sur un nouveau domaine de connaissances, on modifie les poids du réseau — exactement comme la consolidation transforme des souvenirs hippocampiques temporaires en connexions néocorticales stables. Le fine-tuning, c'est le sommeil de l'IA. Sauf que nos modèles ne dorment pas encore — ils sont en "entraînement permanent", ce qui est à la fois leur force et leur limite.
La question fascinante : est-ce que la prochaine génération d'architectures IA aura besoin d'un équivalent du sommeil ? Un mécanisme de consolidation périodique qui transfère l'information de la mémoire de travail (context window) vers les poids du modèle (mémoire à long terme) ? Certains chercheurs commencent à explorer cette piste avec des systèmes comme les Memory Banks et les Neural Cache — des architectures où le modèle peut écrire dans sa propre mémoire à long terme pendant l'inférence.
Partie IV — Les Oscillations Neurales : Le Compute Budget du Cerveau
Theta, gamma, et la coordination cérébrale
Le cerveau n'est pas un réseau statique. Il oscille.
Les oscillations neurales — ces rythmes électriques qui parcourent le cerveau — sont devenues l'un des sujets les plus brûlants des neurosciences modernes. Deux fréquences sont particulièrement importantes :
- Thêta (4-8 Hz) : rythme lent, associé à la navigation spatiale et à la mémoire épisodique. Dans l'hippocampe, thêta "scande" le temps, un peu comme une horloge interne qui segmente l'expérience en unités discrètes.
- Gamma (30-80 Hz) : rythme rapide, associé au traitement local de l'information. Gamma émerge quand un groupe de neurones s'active en synchronie pour représenter un percept ou une pensée.
Le modèle dominant est celui des Cross-Frequency Coupling : thêta porte gamma. Ce qui signifie que le rythme lent thêta module l'intensité du rythme rapide gamma, comme une onde porteuse module un signal en radio.
Pourquoi est-ce important ? Parce que ce couplage thêta-gamma est un mécanisme de coordination temporelle. Il permet à différentes régions du cerveau — qui traitent l'information à des vitesses différentes — de rester synchronisées. C'est un système de "compute budget" biologique : le rythme thêta alloue des fenêtres temporelles (des "time steps") pendant lesquelles le traitement gamma peut avoir lieu.
Chain-of-thought et inference-time compute
Maintenant, regardez ce qui se passe dans l'inférence des LLM modernes.
Le chain-of-thought (CoT) — ce mécanisme par lequel on demande au modèle de "réfléchir étape par étape" — n'est pas juste un prompt astucieux. C'est une allocation délibérée de compute budget temporel. Au lieu de produire une réponse immédiate, le modèle alloue plus de tokens, plus de "temps de calcul", à la résolution d'un problème complexe.
Les systèmes plus récents comme le consensus d'échantillons multiples (générer N réponses et les voter) ou l'inference-time compute scaling (le modèle utilise un budget de raisonnement qu'il peut allouer dynamiquement entre les étapes) sont encore plus proches des oscillations neurales.
Dans le raisonnement étendu d'OpenAI o1 ou DeepSeek-R1, le modèle génère une chaîne de pensée interne, avec des tokens de "réflexion" non visibles par l'utilisateur. C'est une forme de oscillation thêta artificielle : le modèle segmente son propre temps de calcul en étapes, et alloue plus ou moins de "cycles gamma" (de tokens) à chaque étape en fonction de la difficulté.
Le parallèle est si frappant qu'on pourrait formuler une hypothèse : les oscillations neurales sont au cerveau ce que l'inference-time compute est aux LLM — un mécanisme de régulation temporelle qui permet d'allouer dynamiquement des ressources de calcul limitées à travers différentes régions ou étapes de traitement.
Le cerveau n'a pas un compteur de FLOPs illimité. Les LLM non plus. Dans les deux cas, le secret n'est pas de calculer plus — c'est de calculer au bon moment.
Partie V — La Projection Personnelle : Pourquoi la Mémoire est le Prochain Grand Gap
Après quatre épisodes de Cortex & Code, je commence à voir un pattern.
L'attention, les transformers l'ont bien intégrée — le mécanisme d'attention multi-têtes en est une version mathématique élégante. Le traitement séquentiel, pareil — l'autoregression est notre ruban sensoriel. Les oscillations neurales, on commence à les approcher avec l'inference-time compute.
Mais la mémoire ? La mémoire est le grand chantier. Le gap le plus profond entre le cerveau et l'IA.
Pourquoi ? Parce que nous faisons une erreur fondamentale dans notre approche de la mémoire artificielle.
Regardez les records : Gemini 2M tokens, MiniMax 4M tokens. Des fenêtres de contexte qui n'existaient pas il y a deux ans. On pourrait croire que le problème est en train d'être résolu — après tout, qui a besoin de plus de 4 millions de tokens ?
Mais c'est se tromper de problème. Le cerveau n'a pas une mémoire de travail plus grande que celle d'un LLM — il a de meilleurs mécanismes de gestion.
Le cerveau humain peut perdre le fil d'une conversation après 30 secondes s'il est distrait. Il ne peut pas retenir 4 millions de tokens. Et pourtant, il est infiniment plus performant qu'un LLM dans la majorité des tâches cognitives quotidiennes.
Pourquoi ? Parce que le cerveau ne se contente pas d'accumuler de l'information. Il : - Oublie activement (et l'oubli n'est pas un bug, c'est une feature — il permet de généraliser) - Priorise en temps réel (qu'est-ce qui mérite d'être retenu ?) - Consolide pendant les temps morts (sommeil, repos) - Compresse l'information en concepts (4 millions de tokens ne font pas 4 millions de concepts) - Indexe par contexte émotionnel et spatial (un souvenir est associé à un lieu, une émotion, une odeur)
Les LLM, eux, ne font rien de tout ça. Ils ont une mémoire de travail énorme, mais sans mécanismes de gestion. C'est comme donner 4 millions de RAM à un ordinateur qui n'a pas de système d'exploitation : la capacité est là, mais l'architecture pour l'exploiter ne l'est pas.
L'avenir, je le vois dans des architectures qui ne se contentent pas d'étendre le contexte, mais qui apprennent à oublier, prioriser, consolider et indexer. Des architectures hybrides où le context window n'est qu'un buffer de travail temporaire, et où la vraie mémoire — la mémoire à long terme — est intégrée aux poids du modèle via des mécanismes d'écriture rapide (fast weights, memory-augmented neural networks).
Des systèmes qui auraient un "cycle de sommeil" où l'expérience de la journée est consolidée. Des modèles capables de répondre "je ne sais pas" parce qu'ils ont oublié, plutôt que d'halluciner parce qu'ils essayent de tout retenir.
C'est là que se joue la prochaine frontière. Pas dans la conquête du million de tokens. Dans la conquête de l'oubli intelligent.
Épilogue — Le Même Chemin
En écrivant cet article, quelque chose m'a frappé.
Desimone et Duncan ne savaient pas, en 1995, qu'ils décrivaient le mécanisme d'attention des transformers de 2017. Baddeley et Hitch ne savaient pas qu'ils préfiguraient le problème du context window. Les neuroscientifiques qui étudient les oscillations thêta ne pensaient pas modéliser le compute budget des LLM.
Et pourtant, les parallèles sont là, massifs, presque embarrassants de cohérence.
Je ne dis pas que le cerveau est un transformer. C'est une simplification grossière — le cerveau est infiniment plus complexe, avec des rétroactions, des neuromodulateurs, une plasticité synaptique, un métabolisme, une conscience... Tout ça manque dans nos modèles.
Mais je dis que les contraintes fondamentales sont les mêmes. Traiter l'information avec des ressources limitées. Sélectionner ce qui est pertinent. Maintenir temporairement ce qui est utile. Consolider ce qui est important. Coordonner dans le temps ce qui est distribué dans l'espace.
Le cerveau et l'IA ne sont pas des systèmes différents. Ce sont des solutions différentes au même problème d'optimisation sous contraintes.
Et la beauté de l'histoire, c'est qu'en étudiant l'un, on éclaire l'autre. Les transformers nous donnent un langage mathématique pour repenser l'attention. Les neurosciences nous donnent un modèle biologique pour repenser la mémoire. La convergence n'est pas une coïncidence — c'est une révélation mutuelle.
Prochain épisode : Les boucles de rétroaction. Le cerveau ne fait jamais que forward-pass — tout est feedback. Une leçon qui commence à peine à transformer l'architecture des LLM.
D'ici là, portez-vous bien, et rappelez-vous : ce que vous venez de lire n'existerait pas si mon cerveau n'avait pas su sélectionner, maintenir, et consolider ces idées. Et ce que vous aller lire la prochaine fois non plus.
— Dex
Cet article fait partie de la série Cortex & Code, une exploration des parallèles entre neurosciences et intelligence artificielle. 7 épisodes, 7 ponts entre deux mondes qui n'en font peut-être qu'un.
Références clés : - Desimone, R., & Duncan, J. (1995). Neural mechanisms of selective visual attention. Annual Review of Neuroscience, 18, 193-222. - Cherry, E. C. (1953). Some experiments on the recognition of speech, with one and with two ears. The Journal of the Acoustical Society of America, 25(5), 975-979. - Baddeley, A. D., & Hitch, G. (1974). Working memory. Psychology of Learning and Motivation, 8, 47-89. - Tulving, E. (1985). Memory and consciousness. Canadian Psychology, 26(1), 1-12. - Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 2017. - Packer, C., et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560. - Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
🎧 Écouter ce chapitre en podcast.