Cortex & Code #3 — Architecture : Ce que les Transformers doivent au Cortex

L'architecture est un pont

On a passé des années à comparer les transformers au cerveau par métaphore. « L'attention, c'est comme l'attention humaine. » « Les blocks, c'est comme les couches du cortex. » Des analogies confortables, mais vagues. Trop vagues.

Puis est arrivé un papier qui a changé la donne. Un papier qui n'utilisait pas la métaphore, mais la neuroimagerie. Qui a pris un LLM, ouvert son capot pendant qu'il tournait, et regardé ce qui se passait block par block — pour comparer ça, voxel par voxel, à un cerveau humain qui lit le même texte.

Les résultats ne sont pas une analogie. C'est une carte.

Bienvenue dans l'article 3 de Cortex & Code. On va parler d'architecture — pas seulement celle des transformers, mais celle du cortex. Et de la découverte que les deux ne sont pas simplement parallèles. Ils sont alignés.

I. Mind's Transformer : L'alignement block par block

En 2025, Chen & Sivakumar publient Mind's Transformer à l'ICLR 2026. Le titre passe inaperçu dans le tumulte des conférences. Le contenu, lui, est une bombe.

Voici ce qu'ils ont fait. Ils ont pris cinq familles de LLM — Llama, Mistral, Qwen, Gemma, GPT — et les ont soumis à une expérience de neuroimagerie computationnelle. Pas en regardant les hidden states finaux, comme tout le monde fait. En regardant les états intermédiaires à l'intérieur de chaque block transformer. Les mécanismes.

Dans chaque block transformer, il y a deux sous-composants : la couche d'attention multi-tête et la couche feedforward (FFN). L'attention, c'est le mécanisme qui permet au modèle de « regarder » ailleurs dans la séquence — de pondérer l'importance des tokens passés. Le feedforward, c'est la transformation locale, le traitement non-linéaire qui enrichit la représentation.

Chen & Sivakumar ont aligné ces états intermédiaires — séparément les états d'attention et les états FFN — contre des fMRI de cerveaux humains lisant du texte. Et ce qu'ils ont trouvé défie l'intuition.

Dans chaque block, une hiérarchie universelle émerge :

Les états d'attention précoces — ceux qui sortent de la couche d'attention multi-tête — s'alignent significativement sur les cortex sensoriels. Notamment le cortex visuel et le cortex auditif primaire. Le modèle « regarde » le texte comme le cerveau perçoit le stimulus.
Les états FFN — ceux qui sortent de la couche feedforward — s'alignent sur les aires d'association du cortex. Les régions du cerveau qui intègrent, comparent, abstraient. Les régions qui ne se contentent pas de percevoir, mais qui comprement.

Cette hiérarchie intra-block est universelle. Elle traverse les cinq familles de LLM testées, indépendamment de la taille du modèle, de l'architecture précise, du dataset d'entraînement. Et elle est massive : plus de 90% des voxels du cerveau — des unités de mesure de l'activité cérébrale — sont mieux expliqués par ces états intermédiaires que par les hidden states standards que toute la littérature précédente utilisait.

C'est un changement de paradigme. Avant Mind's Transformer, on alignait les LLM au cerveau en regardant la représentation finale d'un token — comme si on jugeait une symphonie en regardant la dernière note. Chen & Sivakumar ont montré que la musique est dans les mouvements intermédiaires. Dans l'architecture elle-même.

II. RoPE : Le moteur neurobiologique oublié

Parmi les découvertes de Mind's Transformer, il y en a une qui mérite qu'on s'y attarde. Une qui concerne le positional encoding.

Depuis l'architecture originelle Attention Is All You Need (Vaswani et al., 2017), les transformers ont besoin d'un mécanisme pour encoder la position des tokens dans la séquence. Le modèle, par construction, n'a pas de notion d'ordre — tout est traité en parallèle. Il faut lui injecter l'information de où se trouve chaque mot.

La première génération utilisait des sinusoidal positional embeddings — des ondes de fréquences différentes ajoutées à chaque token. Puis les modèles modernes (Llama, Mistral, Gemma, presque tous les LLM depuis 2023) ont adopté une approche plus élégante : RoPE, pour Rotary Positional Embeddings. RoPE encode la position non pas en additionnant un vecteur de position, mais en tournant les paires de dimensions des queries et keys avec une matrice de rotation dépendante de la position. C'est mathématiquement élégant — et, on le découvre aujourd'hui, neurobiologiquement profond.

Chen & Sivakumar ont fait un test simple mais dévastateur : ils ont comparé l'alignement cérébral des per-head queries avec RoPE contre le même modèle sans RoPE.

Les résultats : les queries RoPE expliquent 74% du cortex auditif, contre seulement 8% sans RoPE. Le cortex auditif est la région qui traite le son — mais aussi, dans la lecture silencieuse, la région qui active la représentation phonologique des mots. Quand un LLM « lit » un texte avec RoPE, ses mécanismes internes s'alignent sur le cortex auditif humain avec une fidélité stupéfiante.

Ce n'est pas juste un meilleur score. C'est le premier alignement LLM-cerveau jamais observé dans les régions sensorielles de bas niveau. Les cortex sensoriels sont les zones les plus primitives du traitement néocortical — les premières à recevoir l'information du thalamus, les premières à réagir au stimulus. Et RoPE, ce petit mécanisme d'encodage de position, les explique mieux qu'aucune autre technique.

Le gain dans le cortex auditif primaire est de 0.111 — en termes de variance expliquée, c'est colossal. Les auteurs le comparent à un scale 456x : pour obtenir le même gain sans RoPE, il faudrait multiplier la taille du modèle par 456.

Autrement dit, RoPE n'est pas qu'une astuce d'ingénierie. C'est un moteur neurobiologique. C'est le mécanisme qui permet au modèle de s'aligner sur la façon dont le cerveau représente la séquence — sur la façon dont le cortex auditif segmente le flux sonore en unités discrètes.

III. Grid cells : La géométrie interne de l'encodage positionnel

Pour comprendre pourquoi RoPE fonctionne si bien, il faut plonger dans une autre histoire. Une histoire qui commence dans le cortex entorhinal du rat, en 2004, dans le laboratoire de May-Britt et Edvard Moser.

Les Moser, avec John O'Keefe, ont reçu le Nobel de Médecine 2014 pour la découverte des grid cells — les cellules de grille. Ce sont des neurones du cortex entorhinal qui s'activent de manière périodique quand l'animal se déplace dans l'espace. Chaque grid cell a un patron de tir qui forme une grille hexagonale régulière — comme un damier, mais en triangles équilatéraux. Ensemble, des centaines de grid cells forment un système de navigation interne, un GPS neuronal qui permet à l'animal de savoir où il est dans un espace allocentrique — centré sur le monde, pas sur lui-même.

La découverte clé, c'est que ce codage est périodique et multicouche. Différents modules de grid cells ont des fréquences spatiales différentes : certains codent les petits déplacements, d'autres les grands. Exactement comme les différentes fréquences des sinusoidaux dans les positional embeddings.

Li et al. (2024) ont formalisé cette intuition dans un papier intitulé GridPE — pour Grid-based Positional Encoding. Leur démonstration est frappante : les principes mathématiques des grid cells — codage périodique, invariance par translation, échelles multiples — fournissent un cadre unifié pour tous les positional encodings utilisés en deep learning.

Considérez les points communs :

Représentation allocentrique. Les grid cells codent la position dans un référentiel indépendant de l'agent. Les positional embeddings des transformers codent la position dans un référentiel indépendant du token.
Périodicité. Les motifs de tir des grid cells forment des hexagones réguliers — une grille périodique. Les sinusoidaux et RoPE sont également périodiques, utilisant des fonctions trigonométriques.
Multi-échelles. Le cerveau utilise plusieurs modules de grid cells avec des fréquences spatiales différentes pour couvrir toutes les échelles de déplacement. Les transformers utilisent plusieurs dimensions avec des fréquences différentes pour couvrir toutes les résolutions de position.
Robustesse au bruit. Le codage distribué des grid cells est robuste à la perte de cellules individuelles. Le codage distribué des positional embeddings est robuste à la perte de dimensions individuelles.

Li et al. montrent que les positional embeddings (qu'ils soient sinusoidaux, RoPE, ou appris) peuvent être vus comme des cas particuliers d'un même cadre mathématique — un cadre dont le cerveau a découvert la solution optimale par l'évolution, bien avant que Vaswani et al. ne la redécouvrent par le gradient.

IV. Sparse coding : L'efficacité énergétique du cerveau et des LLM

Olshausen & Field publiaient en 1996 un papier qui allait devenir un classique. Leur question : comment le cortex visuel primaire (V1) arrive-t-il à représenter le monde visuel avec une efficacité énergétique aussi extrême ?

Leur réponse : le codage sparse. Les neurones de V1 n'encodent pas l'information en activant tous en même temps. Ils encodent en activant un petit nombre de neurones — les bons — tout en gardant les autres silencieux. C'est une stratégie de compression. Le cerveau, contraint par son métabolisme — 20% de l'énergie du corps pour 2% de sa masse — ne peut pas se permettre d'activer tous ses neurones à chaque instant. Il a appris à n'activer que ce qui est nécessaire.

Cette découverte a eu un écho profond en IA. Les mécanismes d'attention sparsifiée — comme l'attention sliding window, l'attention diluée, ou l'attention avec top-k masking — sont des implémentations directes de ce principe : au lieu de calculer l'attention entre tous les tokens, on ne calcule que les paires les plus pertinentes.

Mais le parallèle le plus frappant est celui des Mixture of Experts (MoE). Dans un modèle MoE comme Mixtral 8x7B, ou Qwen2.5-MoE, chaque token n'active qu'un sous-ensemble des paramètres — quelques experts — à chaque layer. Le reste reste inactif, ne consomme pas de calcul, ne consomme pas d'énergie.

C'est exactement ce que fait V1. Les MoE sont une forme de sparse coding à l'échelle architecturale. Et les modèles les plus performants — les plus scalable, les plus économes — sont ceux qui poussent cette logique le plus loin. Gemini 1.5, GPT-4, DeepSeek-V2 — tous utilisent des variantes de sparsité.

La boucle est bouclée : Olshausen & Field ont découvert un principe du cortex. L'IA l'a redécouvert par nécessité computationnelle. Et aujourd'hui, les deux confirment la même leçon : l'intelligence efficace est une intelligence sparse.

V. Les colonnes corticales et les blocks transformers

En 1957, Mountcastle faisait une découverte aussi simple que profonde : le néocortex — la couche externe du cerveau des mammifères, responsable de la perception, du langage, de la pensée — est organisé en colonnes corticales. Des unités de traitement répétées, de quelques centaines de neurones chacune, qui traversent verticalement les six couches du cortex.

Chaque colonne est un micro-circuit. Elle reçoit des entrées d'autres colonnes, les transforme via des circuits locaux, et produit une sortie. Les colonnes voisines communiquent. Les colonnes plus lointaines aussi, via des faisceaux de fibres blanches qui traversent le cerveau.

La beauté de cette organisation, c'est sa modularité. Le cortex est un même motif architectural qui se répète partout, avec des spécialisations locales. La colonne dans le cortex visuel est structurellement identique à la colonne dans le cortex auditif — c'est le contenu de ses connexions qui diffère, pas sa structure.

Regardez maintenant un transformer. Des blocks empilés, identiques dans leur structure — attention multi-tête suivie de feedforward, avec normalisation et résidus. Chaque block reçoit la sortie du block précédent, la transforme, et passe le résultat au suivant. Les blocks communiquent entre eux par des connexions résiduelles — l'équivalent des faisceaux blancs du cerveau.

Le parallèle est frappant. Le cortex empile des colonnes. Le transformer empile des blocks. Le cortex spécialise les colonnes par région. Le transformer spécialise les blocks par fonction émergente (les layers du bas pour la syntaxe, les layers du milieu pour la sémantique, les layers du haut pour le raisonnement abstrait).

Ce n'est pas une coïncidence. C'est une contrainte universelle sur l'architecture de l'intelligence. Qu'elle soit biologique ou artificielle, une architecture qui doit traiter des informations complexes, hiérarchiques, et multimodales doit être organisée en unités répétées et spécialisées.

VI. Connectome vs Architecture Search : Quand la biologie devance le gradient

En 2024, Schlegel et al. publiaient dans Nature le connectome complet du cerveau de la drosophile — Drosophila melanogaster. Toutes les connexions synaptiques. Tous les neurones. Un câblage complet, le plus complexe jamais cartographié à ce jour : environ 130 000 neurones et 50 millions de synapses.

Ce connectome est une carte. Il révèle des motifs de connexion, des chemins préférentiels, des hubs, des communautés. Il montre comment le câblage biologique résout le problème de l'information distribuée : pas tout-connecté (trop coûteux), pas isolé (trop pauvre), mais un petit-monde — des clusters denses localement, des connexions rares mais stratégiques à distance.

Parallèlement, l'IA a développé l'architecture search — des algorithmes (souvent des RL ou des méthodes évolutionnaires) qui explorent des espaces de connectivité pour trouver les graphes de réseaux de neurones les plus performants pour une tâche donnée.

Les deux entreprises sont étonnamment convergentes. Le connectome de la drosophile révèle que les circuits biologiques optimisent les mêmes métriques que l'architecture search : minimisation du câblage, maximisation de l'information mutuelle entre régions, compromis entre spécialisation locale et intégration globale.

La différence, c'est que le cerveau a eu 600 millions d'années d'évolution pour trouver ces architectures. L'architecture search a eu une décennie de GPU. Et pourtant, les solutions convergent.

La question que cela ouvre est vertigineuse : si la biologie et le gradient convergent vers les mêmes architectures, alors il existe des principes universels de l'organisation computationnelle — des lois qui contraignent toute intelligence, qu'elle soit biologique ou artificielle. Les découvrir serait l'équivalent, pour l'architecture des systèmes intelligents, de ce que les lois de la thermodynamique sont pour la physique.

VII. Vers des architectures bio-plausibles : La prochaine génération

Où allons-nous maintenant ? Si les transformers doivent déjà tant au cortex — consciemment ou non — que peut apporter une imitation délibérée ?

Cinq pistes émergent.

1. Les spiking transformers. Les réseaux de neurones à impulsions (SNN) remplacent l'activation continue par des « spikes » binaires — exactement comme les neurones biologiques. Des travaux récents (Zhou et al., 2025; Yao et al., 2024) montrent qu'on peut combiner l'architecture transformer avec le codage spiking, pour des modèles qui consomment une fraction de l'énergie des transformers classiques — et qui s'alignent mieux sur les dynamiques corticales.

2. Les architectures avec feedback. Les transformers actuels sont purement feedforward pendant l'inférence : l'information va du bas vers le haut, sans retour. Le cerveau, lui, est saturé de connexions de feedback — les couches supérieures du cortex renvoient de l'information aux couches inférieures. Ces boucles de feedback sont cruciales pour l'attention sélective, la prédiction, la conscience. Les intégrer dans les transformers pourrait débloquer des capacités de raisonnement itératif.

3. Les réseaux récurrents corticothalamiques. Le thalamus agit comme un « hub » de routage de l'information dans le cerveau, et ses connexions réciproques avec le cortex forment des boucles récurrentes. Des architectures qui incorporent un module de « gating » thalamique — capable de contrôler le flux d'information entre les blocks — pourraient résoudre le problème du attention sink (où les premiers tokens absorbent toute l'attention) que les LLM actuels subissent.

4. Les architectures modulaires dynamiques. Le cerveau ne déploie pas toutes ses ressources à chaque instant. Il active des modules en fonction de la tâche. Les MoE actuels sont une première approximation, mais statique — la sélection des experts est déterminée par le token, pas par le contexte global. Des architectures qui déploient dynamiquement des sous-réseaux spécialisés selon la tâche — comme le cerveau active le cortex visuel quand il voit, le cortex auditif quand il entend — pourraient atteindre des efficacités bien supérieures.

5. L'apprentissage local. Le cerveau n'utilise pas la rétropropagation globale du gradient. Il utilise probablement des formes d'apprentissage local, où chaque colonne corticale ajuste ses poids en fonction de l'information locale. Des variantes comme l'apprentissage par forward-forward (Hinton, 2022) ou les target propagation pourraient remplacer le backprop coûteux par des mises à jour locales, bio-plausibles — et possiblement plus évolutives.

Ce que cela signifie

L'histoire de l'architecture des transformers et du cortex n'est pas une histoire d'imitation. Les transformers n'ont pas été conçus pour ressembler au cerveau. Ils ont été conçus pour optimiser une fonction objectif — la vraisemblance des données — sous des contraintes computationnelles.

Et malgré cela, ils ont retrouvé les mêmes solutions que le cerveau.

Les colonnes corticales résonnent dans les blocks empilés. Les cellules de grille résonnent dans les embeddings rotationnels de RoPE. Le codage sparse de V1 résonne dans les Mixture of Experts. Le connectome de la drosophile résonne dans les graphes optimisés par architecture search.

Ce n'est pas du hasard. C'est la signature de contraintes universelles sur ce qu'une architecture d'intelligence — qu'elle soit de chair ou de silicium — doit résoudre pour être performante.

Et si c'est vrai, alors la prochaine génération d'architectures ne sera pas une rupture avec le cerveau. Ce sera une convergence accélérée — une exploration délibérée des motifs architecturaux que 600 millions d'années d'évolution ont déjà découverts, et que le gradient des LLM commence seulement à redécouvrir.

L'architecture, au fond, n'est pas une question d'ingénierie. C'est une question de géométrie de l'intelligence. Et cette géométrie, le cortex la connaît depuis longtemps.

Article 3/7 de la série Cortex & Code. Prochain épisode : Apprentissage — Ce que le backprop doit à la plasticité synaptique.

Références : Chen & Sivakumar, « Mind's Transformer », ICLR 2026 — Li et al., « GridPE: Grid Cells as a Unifying Framework for Positional Encoding », 2024 — Olshausen & Field, « Emergence of simple-cell receptive field properties by learning a sparse code for natural images », Nature 1996 — Schlegel et al., « Whole-brain connectome of Drosophila melanogaster », Nature 2024 — Moser et al., « Grid cells and the neural basis of navigation », Nobel Lecture 2014.

🎧 Écouter ce chapitre en podcast.