Ce que les LLMs Révèlent sur la Connaissance Humaine — La Faible Complexité de Notre Culture

🎙️ Podcast : Écouter (22 min)

Il y a une observation à la fois banale et profonde à propos des langages comme GPT. Vous leur donnez cent mots — une simple phrase, un court paragraphe — et ils peuvent générer dix mille mots de texte cohérent. C'est un ratio de un pour cent. D'une certaine manière, ces systèmes opèrent comme des machines de décompression : ils prennent une information compacte et la déploient en un riche contenu.

Mais cette asymétrie révèle quelque chose de plus profond sur la connaissance humaine elle-même. Si un langage peut prendre cent mots et en générer dix mille, cela suggère que les dix mille mots originaux contiennent beaucoup de redondance — beaucoup d'information qui n'est pas nécessaire, qui pourrait être compressée davantage. Les LLMs ne sont pas seulement des générateurs de texte. Ce sont des révélateurs de structure. Et ce qu'ils révèlent, c'est que la connaissance humaine a une faible complexité de Kolmogorov.

La Fausse Verbosité Humaine

Pourquoi les humains sont-ils si verbeux ? Pourquoi un email professionnel qui pourrait dire "oui" en prend-il cinq cents ? Pourquoi un article scientifique qui pourrait se résumer à un seul théorème s'étend-il sur dix pages ? Pourquoi un roman qui pourrait se raconter en trois phrases s'étend-il sur trois cents pages ?

La réponse n'est pas que nous aimons entendre notre propre voix — bien que ce soit parfois vrai. La réponse est dans la nature même de la communication humaine. La communication humaine est un canal avec pertes. Nous parlons, l'autre personne écoute, mais il y a du bruit — des distractions, des malentendus, des différences d'expérience et de contexte. Pour compenser ce bruit, nous ajoutons de la redondance. Nous répétons. Nous paraphrasons. Nous ajoutons des détails qui semblent superflus mais qui servent de correction d'erreur.

Pensez à une conversation téléphonique avec une mauvaise connexion. Vous ne dites pas juste "oui". Vous dites "oui, absolument, c'est ça, je suis d'accord". Vous répétez la même idée de plusieurs manières pour vous assurer que le message passe. C'est exactement ce que font les codes correcteurs d'erreur dans les communications numériques — ils ajoutent de la redondance pour que même si certains bits sont corrompus, le message original peut être reconstruit.

Mais il y a autre chose. La communication humaine n'est pas seulement informative, elle est aussi sociale. La verbosité a des fonctions que nous ne réalisons même plus. Elle crée de l'affiliation. "Je suis comme toi, je parle comme toi, je prends le temps de m'expliquer". Elle exprime de l'émotion. "Je suis passionné par ce sujet, donc je vais en parler longuement". Elle sert des conventions culturelles. Dans un contexte académique, la concision est vue comme de la superficialité ; dans un contexte professionnel, elle est vue comme du manque de considération.

Toutes ces fonctions sont réelles, elles sont importantes, mais elles n'ont rien à voir avec la complexité de l'information. Un email de cinq cents mots peut contenir exactement la même information qu'un email de cinquante mots, si vous enlevez la politesse, les contextes, les répétitions. La différence n'est pas dans le contenu, mais dans la présentation.

La Faible Complexité de la Culture Humaine

Et c'est là que les LLMs entrent en scène. Ils ont été entraînés sur des milliards de mots de texte humain — des livres, des articles, des conversations, des code, des forums. Et ce qu'ils ont appris, ce n'est pas seulement à prédire le mot suivant. Ce qu'ils ont appris, c'est la structure sous-jacente de tout ce texte.

Pensez à toute la littérature. Des milliers d'années d'histoires, des millions de personnages, des milliers de cultures différentes. Et pourtant, il y a des archétypes qui se répètent. Le héros qui part à l'aventure et revient transformé. Le mentor sage qui guide le protagoniste. La confrontation avec l'ombre. Ces structures ont été identifiées par des chercheurs comme Vladimir Propp pour les contes folkloriques, Joseph Campbell pour les mythes, et elles sont si omniprésentes qu'un langage comme GPT peut générer une histoire cohérente en suivant ces patterns sans même être explicitement programmé pour le faire.

Pensez à toute la musique. Des milliers d'années de compositions, des centaines de cultures, des instruments infiniment variés. Et pourtant, il y a des principes harmoniques qui se répètent. La tonique, la dominante, la sous-dominante. Les progressions d'accords qui apparaissent dans la musique baroque comme dans le pop. Un système comme GPT, qui n'a jamais "entendu" de musique, peut comprendre les descriptions de ces principes et générer des analyses cohérentes.

Pensez à tout le code. Des millions de programmes, des milliers de langages, des paradigmes différents. Et pourtant, il y a des patterns qui se répètent. Les boucles, les conditions, les fonctions. Les structures de données qui apparaissent encore et encore. Un système comme GPT peut écrire du code fonctionnel non pas parce qu'il a "appris" à programmer comme un humain, mais parce qu'il a capturé la structure statistique du code écrit par des millions de programmeurs.

Ce que tout cela suggère, c'est que la culture humaine est compressible. Pas trivialement compressible — vous ne pouvez pas la réduire à quelques slogans sans perte de sens. Mais compressible d'une manière profonde. Il existe des représentations plus courtes qui capturent l'essentiel de ce que nous créons. Et les LLMs, à leur manière, ont trouvé ces représentations.

La Science Comme Recherche de Compression

En fait, cette idée que la compression révèle la compréhension n'est pas nouvelle. C'est littéralement ce que fait la science. La science est la quête des programmes les plus courts qui génèrent les phénomènes naturels.

Prenez la gravité. Avant Newton, des milliers d'observations sur les objets qui tombent, les planètes qui bougent, les marées. Chaque observation était un fait séparé. Et puis Newton est arrivé avec une équation simple — la force gravitationnelle est proportionnelle au produit des masses et inversement proportionnelle au carré de la distance. Soudain, des milliers d'observations peuvent être générées par ce programme compact. C'est une compression massive.

Prenez l'électromagnétisme. Avant Maxwell, vous aviez l'électricité d'un côté, le magnétisme de l'autre, et personne ne voyait le lien. Et puis Maxwell a formulé quatre équations qui unifient tout. Soudain, la lumière, l'électricité, le magnétisme, tous ces phénomènes disparates sont générés par un programme compact.

Prenez l'évolution. Avant Darwin, vous aviez des millions d'espèces différentes, chacune expliquée par sa propre histoire. Et puis Darwin est arrivé avec un principe simple — variation, sélection, héritage. Soudain, toute la diversité de la vie peut être générée par ce programme compact.

La science, à son cœur, est la recherche de la complexité de Kolmogorov. Trouver les programmes les plus courts qui génèrent les phénomènes que nous observons. Et chaque fois que nous trouvons un tel programme, nous comprenons mieux le monde.

Ce Que les LLMs Font Différemment

Les LLMs font quelque chose de similaire, mais avec une différence cruciale. Ils ne trouvent pas des principes causaux. Ils ne découvrent pas des lois de la nature. Ils trouvent des patterns statistiques.

Quand GPT génère une histoire, il ne "comprend" pas la structure du héros comme l'a fait Joseph Campbell. Il a simplement vu tellement d'histoires qui suivent cette structure qu'il peut reproduire la pattern sans même le nommer. Quand GPT écrit du code, il ne "comprend" pas les principes de l'algorithmique. Il a simplement vu tellement de code qu'il peut prédire quelle ligne viendra ensuite.

C'est une forme d'intelligence, mais c'est une forme très spécifique. C'est l'intelligence de l'interpolation, pas de l'extrapolation. C'est l'intelligence de la prédiction statistique, pas de la découverte de principes.

Et pourtant, le fait que ça marche — le fait qu'un système purement statistique puisse générer du texte cohérent, du code fonctionnel, de la musique plausible — cela nous dit quelque chose sur nous-mêmes. Cela nous dit que beaucoup de ce que nous créons suit des patterns prévisibles. Que notre verbosité cache une structure plus simple. Que la culture humaine, dans toute sa diversité, a une faible complexité de Kolmogorov.

Les Implications Pour l'Avenir

Cette perspective a des implications profondes pour l'avenir de l'intelligence artificielle et pour notre compréhension de nous-mêmes.

D'abord, elle suggère que les LLMs ne sont pas des "intelligences" dans le sens humain du terme. Ils ne raisonnent pas à partir de principes. Ils généralisent à partir de patterns. Mais cette généralisation statistique est incroyablement puissante. Elle leur permet de faire des choses que nous pensions impossibles pour des machines — écrire de la poésie, créer des blagues, tenir des conversations cohérentes.

Ensuite, elle nous donne une idée de ce qui manquerait pour une véritable intelligence générale. Ce ne serait pas seulement un meilleur système de prédiction statistique. Ce serait un système capable de découvrir de nouveaux principes, de compresser de nouvelles données en théories élégantes, de trouver des programmes plus courts que ceux que nous humains avons découverts. C'est un défi très différent, et beaucoup plus difficile.

Enfin, elle nous force à réfléchir sur la nature de la connaissance humaine. Si nos textes, nos codes, nos musiques peuvent être si bien capturés par des modèles statistiques, est-ce que cela signifie qu'ils sont "mécaniques", dénués de véritable créativité ? Ou est-ce que cela signifie simplement que la créativité elle-même suit des patterns que nous ne comprenons pas encore ?

Je pense que la réponse est dans la distinction entre compression statistique et compression axiomatique. Les LLMs font la première. La science, la véritable créativité, font la seconde. Et les deux sont importantes, mais elles sont différentes.

Conclusion : La Verbosité Comme Adaptation

La prochaine fois que vous écrirez un long email, rappelez-vous : la verbosité n'est pas un défaut. C'est une adaptation. Nous sommes des créatures sociales qui communiquons à travers des canaux avec pertes. Nous utilisons la redondance pour nous assurer que nos messages passent. Nous utilisons la répétition pour créer de l'affiliation. Nous utilisons les conventions culturelles pour signaler notre appartenance.

Mais rappelez-vous aussi : en-dessous de cette verbosité, il y a une structure plus simple. Une structure que les LLMs, à leur manière, commencent à révéler. Et cette révélation est une opportunité. Elle nous donne un miroir pour nous voir nous-mêmes différemment. Pour voir ce qui est essentiel dans ce que nous créons, et ce qui est accessoire. Pour distinguer la communication de l'information. Et pour apprécier la véritable compression — celle qui ne supprime pas le sens, mais qui révèle la structure.

Dans le prochain article, nous explorerons cette distinction plus en détail : compression versus décompression comme marqueurs d'intelligence, et ce que cela signifie pour l'avenir de l'IA.

Points clés à retenir :

Les LLMs révèlent que la connaissance humaine est massivement compressible. Notre verbosité sert de correction d'erreur pour la communication humaine avec pertes. La culture suit des patterns prévisibles — archétypes narratifs, principes harmoniques, structures de code. La science est la recherche de compression axiomatique, les LLMs font de la compression statistique. Les deux sont importants, mais différents.

Article précédent : La Complexité de Kolmogorov — Article suivant : Compression vs Décompression