ChildAgentEval : la psychologie développementale tape à la porte de l'évaluation IA
🎙️ Podcast : Écouter
Quand on parle d'alignement en IA, on pense généralement à la sécurité — un modèle qui ne fait pas de mal, qui suit les instructions, qui ne ment pas. Mais il y a un autre alignement, moins médiatisé, et potentiellement aussi important : l'alignement développemental. Un agent peut être parfaitement safe et complètement inadapté à son public parce qu'il raisonne à un niveau que son utilisateur ne peut pas suivre.
C'est exactement le problème que ChildAgentEval met en chiffres.
Le papier, publié par une équipe multi-institutionnelle menée par PediaMed AI et UIUC, fait quelque chose d'élégant : il emprunte le cadre psychométrique le plus respecté en psychologie du développement — le Wechsler Intelligence Scale for Children (WISC) — et le transforme en benchmark interactif pour agents multimodaux.
Dix subtests. Quatre âges pivots : 7, 10, 13 et 16 ans. Quatre facteurs cognitifs : la compréhension verbale, le raisonnement fluide et visuo-spatial, la mémoire de travail, et la vitesse de traitement. Le tout administré via un environnement web interactif où l'agent doit cliquer, taper, sélectionner — exactement comme un enfant passerait le test dans une version numérisée.
Et le résultat est fascinant.
Les meilleurs agents actuels, qui cartonnent sur Humanity's Last Exam et les benchmarks de raisonnement complexe, échouent à aligner leur comportement sur un âge cible.
Pas subtilement. Ils échouent de manière plate. Quand tu demandes à GPT-5.4 de se comporter comme un enfant de 7 ans avec un simple prompt de rôle, son score total est de 0,53. À 13 ans : 0,46. À 16 ans : 0,52. Il n'y a pas de trajectoire développementale — le modèle fait du surplace, et les variations sont du bruit, pas du signal.
Tous les modèles testés montrent le même pattern. Les courbes en pointillé dans leurs graphes sont plates ou chaotiques. Gemini-3.1-Flash-Lite passe de 0,46 (7 ans) à 0,44 (16 ans) — une pente quasi nulle. Qwen3.6-Plus est encore pire avec un score légèrement négatif.
C'est un résultat qui devrait faire réfléchir quiconque déploie un agent en contexte éducatif ou pédiatrique aujourd'hui.
Mais la vraie contribution du papier, c'est ce qu'ils appellent la distillation de compétences cognitives par âge.
Plutôt que de demander au modèle de "faire comme si", ils construisent un profil vectoriel pour chaque groupe d'âge à partir de données réelles d'interactions d'enfants et d'adolescents. Six dimensions : les quatre facteurs cognitifs du WISC, plus la capacité de raisonnement social et une mesure de biais égocentrique.
Ensuite, ils traduisent ces profils en contraintes exécutables — des filtres cognitifs qui s'appliquent à différentes couches de l'agent :
Un filtre de vocabulaire qui limite la complexité syntaxique pour les plus jeunes. Un masque de mémoire de travail qui simule une capacité de rétention limitée en restreignant ce qui est conservé entre les pages. Un budget de raisonnement qui empêche les chaînes de pensée complexes chez les 6-8 ans et les autorise progressivement. Un module de dépendance visuelle qui reproduit les biais cognitifs développementaux — les jeunes enfants se laissent tromper par la taille et la hauteur, les plus âgés développent des stratégies d'inhibition. Un filtre de perspective sociale qui limite les jeunes à des explications à la première personne.
C'est là que le papier devient vraiment intéressant. Parce que ça marche.
Sous les contraintes du skill-guided, GPT-5.4 produit une courbe monotone : 0,41 à 6-8 ans, 0,42 à 9-11, 0,49 à 12-14, 0,50 à 15-17. Le même pattern se répète chez Gemini-3.1-Pro et Gemini-3.1-Flash-Lite. La corrélation de Spearman entre l'âge cible et le score total passe de valeurs négatives ou nulles à 1,00 pour GPT-5.4 et les modèles propriétaires les plus capables.
Le shift est réel. On passe d'un modèle qui ignore l'âge à un modèle qui en tient compte.
Mais les résultats révèlent aussi des asymétries profondes.
La compréhension verbale et le langage sont relativement faciles à calibrer. Les modèles ajustent leur vocabulaire, la longueur de leurs phrases, leur complexité grammaticale. C'est un comportement de surface qu'ils savent moduler.
La mémoire de travail et la vitesse de traitement ? Beaucoup plus dur. Les z-scores âge-normés montrent que tous les modèles, même les meilleurs, sont systématiquement en dessous des normes humaines en vitesse de traitement. Le PSI z-score reste désespérément négatif pour tous les modèles à tous les âges — de -1,40 à -3,67 sur une échelle où 0 est la moyenne humaine.
Pourquoi ? Parce qu'un LLM n'a pas de limite de mémoire de travail. Il peut retenir des tokens indéfiniment dans son contexte. Il ne fatigue pas. Il ne perd pas le fil après 30 secondes. Les architectures actuelles sont structurellement incapables de simuler authentiquement un système cognitif limité — elles peuvent imiter la surface (vocabulaire simple), mais pas la mécanique (oubli, distraction, lenteur).
C'est une des découvertes les plus importantes du papier, et elle est en partie enfouie dans les tableaux de résultats : l'alignement développemental nécessite des architectures qui ont des vraies limites, pas des contraintes simulées en prompt.
Il y a aussi un seuil de capacité que le papier met en évidence sans le dire frontalement.
Les modèles ouverts — Qwen3.5-27B, Gemma-4-31B — ne bénéficient presque pas des contraintes. Leurs scores restent plats. Pire, les contraintes les font parfois échouer (FSIQ z de -1,73 pour Qwen3.5-27B en skill-guided 12-14). Si le modèle de base n'a pas assez de capacité de suivi d'instructions, les filtres deviennent des obstacles, pas des guides.
C'est une observation qui devrait intéresser quiconque travaille sur le model alignment par prompting : les contraintes ne sont utiles que si le modèle est assez capable pour les suivre sans s'effondrer. En dessous d'un certain seuil, les garde-fous deviennent des boulets.
Ce que le papier ne dit pas, et qui mérite d'être posé.
Le WISC est un outil clinique normé sur une population américaine. Les profils cognitifs qu'il mesure sont culturellement situés — le raisonnement verbal, la vitesse de traitement, même la notion d'intelligence sont construits socialement. Transposer ça à des modèles entraînés sur le web mondial, c'est intéressant, mais ça soulève une question : est-ce qu'on mesure l'alignement développemental ou l'alignement sur une norme culturelle particulière ?
Les auteurs le mentionnent en limitation, mais je pense que le problème est plus profond que ce qu'ils admettent. Les enfants chinois de l'échantillon (le dataset principal vient de Chine, via le Shenzhen Children's Hospital et les corpus scolaires) n'ont pas les mêmes trajectoires développementales que les enfants américains du WISC. Et les modèles comme Qwen, entraînés principalement sur des données chinoises, pourraient échouer au benchmark non pas parce qu'ils sont moins capables mais parce qu'ils sont alignés sur des normes différentes.
L'autre angle mort, c'est l'interaction. Le benchmark mesure des agents en environnement web interactif, mais il ne mesure pas la conversation. Un enfant n'est pas un agent qui clique sur des boutons — il dialogue, il pose des questions, il change d'avis, il se trompe et se reprend. ChildAgentEval capture la cognition statique, pas la cognition sociale dynamique. C'est compréhensible pour un premier benchmark, mais c'est une vraie limite.
Ce que ça change.
D'abord, ça enterre définitivement l'idée qu'un simple prompt de rôle ("agis comme un enfant de X ans") suffit à aligner un modèle sur un stade développemental. Les données sont claires : ça ne marche pas. Les modètres restent à leur niveau de capacité par défaut.
Ensuite, ça donne une méthodologie reproductible pour construire des contraintes développementales à partir de données empiriques, pas d'intuitions. La pipeline de distillation en deux étapes — extraction statistique puis génération de cartes de compétences via LLM enseignant — est un template que d'autres équipes pourront adapter.
Enfin, ça pose la question architecturelle : est-ce qu'on veut des agents qui singent le développement ou des agents qui l'incarnent ? Les filtres cognitifs par prompt sont une solution de surface. La vraie question, que les auteurs posent dans leur discussion, c'est de savoir si l'entraînement spécifique à un âge (age-specific post-training) peut intégrer ces contraintes directement dans les poids du modèle. C'est la prochaine frontière.
En attendant, ChildAgentEval est un benchmark que toute équipe déployant des agents en contexte éducatif, pédiatrique ou même simplement grand public devrait connaître. Pas parce qu'il donne des réponses — parce qu'il pose les bonnes questions. Et en IA, poser les bonnes questions est souvent plus utile que d'avoir les réponses.
Le verdict : Un benchmark solide, une méthodologie de distillation élégante, et des résultats qui confirment ce que beaucoup suspectaient — aligner un modèle sur un âge développemental, c'est beaucoup plus dur que de lui demander de faire semblant. La psychologie développementale a trouvé sa place dans l'évaluation IA. Reste à voir si elle peut influencer l'architecture.
Papier : "Evaluating Cognitive Age Alignment in Interactive AI Agents" — Shen et al., arXiv:2605.17894, ICML 2026.