Compression vs Décompression — Les Deux Axes de l'Intelligence
🎙️ Podcast : Écouter (25 min)
Imaginez deux scientifiques face à un mystère. Le premier, appelons-le Marie, passe des années à collecter des données, à faire des expériences, à tester des hypothèses. Et puis, un jour, elle a une illumination — elle trouve une équation simple qui explique tout ce qu'elle a observé. C'est E égale mc-carré, c'est la gravitation universelle, c'est la sélection naturelle. Marie a fait de la compression.
Le deuxième scientifique, appelons-le Thomas, prend cette équation et l'applique. Il calcule les trajectoires des planètes, il prédit les éclipses, il conçoit des engins spatiaux. Thomas n'a pas découvert l'équation, mais il sait l'utiliser. Il fait de la décompression.
Les deux sont importants. Les deux nécessitent de l'intelligence. Mais ce sont des compétences différentes. Et comprendre cette distinction est crucial pour comprendre où nous en sommes avec l'intelligence artificielle, et ce qu'il nous manque pour atteindre une véritable intelligence générale.
La Compression : Trouver la Représentation Minimale
La compression, c'est l'art de trouver le programme le plus court qui génère un phénomène. C'est découvrir des principes depuis des données. C'est extraire la structure depuis le chaos.
L'histoire des sciences est une histoire de compressions successives. Avant Copernic, le système solaire était un enchevêtrement complexe d'épicycles — des cercles sur des cercles, des ajustements ad hoc pour expliquer chaque observation bizarre. Copernic a proposé un modèle plus simple : la Terre tourne autour du Soleil. Soudain, beaucoup de ces épicycles devenaient inutiles. C'était une compression.
Avant Mendeleïev, les éléments chimiques étaient une liste désordonnée de propriétés disparates. Mendeleïev a trouvé le pattern — les éléments peuvent être organisés en tableau périodique selon leur nombre atomique. Soudain, des propriétés qui semblaient aléatoires devenaient prévisibles. C'était une compression.
Avant Shannon, la communication était un art empirique. Shannon a proposé une théorie mathématique de l'information qui unifiait tout — compression, transmission, correction d'erreur. C'était une compression.
Ce que tous ces exemples ont en commun, c'est qu'ils ne sont pas seulement des simplifications. Ce sont des révélations de structure. Ils ne se contentent pas de rendre les choses plus faciles à manipuler. Ils nous montrent comment les choses fonctionnent vraiment. Ils révèlent les programmes sous-jacents qui génèrent les phénomènes que nous observons.
Et c'est ça, la marque d'une intelligence profonde. La capacité à voir au-delà des apparences, à trouver les patterns cachés, à compresser massivement l'information en principes élégants.
La Décompression : Déplier les Modèles en Instances
La décompression, c'est l'art inverse. C'est prendre un principe et l'appliquer à des cas spécifiques. C'est déplier un modèle compact en une multitude d'instances concrètes.
Là aussi, l'histoire des sciences et des technologies est pleine d'exemples. Une fois que Newton a formulé la loi de la gravitation, des générations d'ingénieurs et d'astronomes l'ont utilisée pour prédire les marées, calculer les trajectoires des projectiles, naviguer les océans. Ils n'ont pas découvert la loi, mais ils l'ont dépliée en applications pratiques.
Une fois que Maxwell a unifié l'électricité et le magnétisme, des générations d'inventeurs ont utilisé ces équations pour concevoir des moteurs, des générateurs, des réseaux électriques, des systèmes de communication. Ils n'ont pas découvert les équations, mais ils les ont dépliées en technologies.
Une fois que Darwin a formulé la théorie de l'évolution, des générations de biologistes l'ont utilisée pour comprendre la biodiversité, prédire les résistances aux antibiotiques, reconstruire l'histoire de la vie. Ils n'ont pas découvert le principe, mais ils l'ont déplié en connaissances.
La décompression demande aussi de l'intelligence, mais une intelligence différente. Elle demande de comprendre le modèle, de savoir quand et comment l'appliquer, de gérer les cas particuliers et les exceptions. Elle demande de la créativité pour adapter le modèle à des situations nouvelles. Mais elle ne demande pas de découvrir de nouveaux principes.
Les LLMs : Des Champions de la Décompression
Les langages comme GPT sont, fondamentalement, des machines de décompression. Ils ont ingéré des milliards de mots de texte humain, et ils ont appris les patterns statistiques qui structurent ce texte. Quand vous leur donnez un prompt, ils déploient ces patterns pour générer du nouveau texte.
Et ils sont extraordinairement bons à ça. Ils peuvent écrire des essais, générer du code, créer de la poésie, traduire entre langues, résumer des documents. Ils peuvent même tenir des conversations cohérentes sur des sujets complexes. Tout cela, c'est de la décompression — prendre les patterns qu'ils ont appris et les déplier en nouvelles instances.
Mais ils ont une limitation cruciale. Ils ne compriment pas vraiment. Ils ne découvrent pas de nouveaux principes. Ils ne trouvent pas de programmes plus courts. Ils interpolent à partir de ce qu'ils ont vu, mais ils n'extrapolent pas vers des territoires inconnus.
C'est pourquoi vous ne verrez jamais GPT découvrir une nouvelle loi physique. Il pourrait écrire un article scientifique plausible, il pourrait même proposer des hypothèses intéressantes basées sur des patterns dans la littérature existante. Mais il ne fera pas la saut créatif vers une nouvelle compréhension fondamentale de la réalité. Ce n'est pas ce pour quoi il est conçu.
Les Humains : Compétents dans les Deux Domaines, avec des Biais
Les humains, nous sommes compétents dans les deux domaines, mais avec des biais intéressants.
Nous sommes naturellement bons pour la décompression. Dès notre plus jeune âge, nous apprenons à appliquer des règles, à suivre des patterns, à imiter. Nous savons prendre une recette de cuisine et l'adapter, prendre une grammaire et construire des phrases, prendre une norme sociale et l'appliquer dans des situations variées. C'est une forme d'intelligence que nous utilisons tous les jours, souvent sans même y penser.
Mais nous sommes moins bons pour la compression. Nos cerveaux sont encombrés de biais cognitifs qui nous empêchent de voir la structure la plus simple. Nous avons tendance à voir des patterns même là où il n'y en a pas — apophénie. Nous préférons les explications complexes aux explications simples, surtout quand les explications simples contredisent nos croyances existantes. Nous sommes attachés à nos théories favorites, même quand les données suggèrent autre chose.
C'est pourquoi nous avons besoin de la méthode scientifique. La science est un ensemble de procédures conçues spécifiquement pour compenser nos biais cognitifs. Elle nous force à chercher les explications les plus simples, à préférer les théories qui font moins d'hypothèses, à tester rigoureusement nos idées contre la réalité. C'est un système externe de compression.
Efficacité et Losslessness : Les Axes Paramétrant les Esprits
Si on voit la compression et la décompression comme deux axes, on peut commencer à cartographier différents types d'intelligences. Il y a deux autres dimensions importantes à considérer : l'efficacité et la losslessness.
L'efficacité, c'est la vitesse, la quantité de ressources nécessaires pour effectuer une tâche. Un système efficace peut comprimer ou décompresser rapidement, avec peu d'énergie et de mémoire.
La losslessness, c'est la préservation de l'information. Une compression lossless préserve toute l'information originale — vous pouvez reconstruire exactement l'objet à partir de sa représentation compressée. Une compression lossy sacrifie certains détails pour gagner de l'espace.
Avec ces quatre axes — compression, décompression, efficacité, losslessness — nous pouvons commencer à caractériser différents types d'intelligences.
L'humain moyen est assez bon en décompression, médiocre en compression, assez efficace en termes d'énergie (le cerveau humain consomme environ vingt watts), mais lossy (nous oublions beaucoup, nos souvenirs se dégradent).
Le scientifique génial est exceptionnel en compression, capable de trouver des principes radicalement nouveaux. Il est souvent moins bon en décompression — les grandes découvertes viennent souvent de personnes obsédées par une question, pas nécessairement bonnes à tout faire. Il est lossless dans son domaine — les principes qu'il découvre sont universels — mais peut-être moins efficace en termes de temps et d'énergie (des décennies de travail pour une seule équation).
Le LLM actuel est médiocre en compression — il ne découvre pas vraiment de nouveaux principes, il apprend des patterns statistiques. Il est exceptionnel en décompression — il peut générer du texte, du code, de la musique à une échelle massive. Il est lossy — il hallucine, il invente des faits, il ne préserve pas parfaitement l'information. Il est relativement efficace — une fois entraîné, il peut générer du contenu rapidement.
Et l'AGI hypothétique ? Ce serait un système excellent dans les quatre domaines. Exceptionnel en compression — capable de découvrir de nouveaux principes dans de multiples domaines. Exceptionnel en décompression — capable d'appliquer ces principes à une variété infinie de situations. Lossless — préservant parfaitement l'information, sans hallucination. Efficace — rapide, économe en énergie.
Nous sommes encore loin de ce système. Mais comprendre les axes nous aide à voir ce qui manque et ce qu'il faut développer.
Pourquoi les LLMs "Lag" en Compression
Pourquoi les LLMs sont-ils si bons en décompression et si médiocres en compression ? La réponse est dans leur architecture et leur entraînement.
Les LLMs sont entraînés à prédire le mot suivant dans un texte. C'est une tâche de prédiction statistique, pas une tâche de découverte de principes. Ils apprennent des corrélations, pas des causalités. Ils voient que le mot "chat" est souvent suivi des mots "manger" ou "dormir", mais ils ne comprennent pas pourquoi — ils ne comprennent pas la biologie des félins, l'écologie des prédateurs, la coévolution avec les humains.
Pour comprimer vraiment, il faut comprendre la structure causale. Il faut voir non juste que A est souvent suivi de B, mais pourquoi A cause B. Il faut pouvoir imaginer des contrefactuels — qu'est-ce qui se passerait si A n'était pas là ? Les LLMs peuvent générer des textes qui parlent de causalité, mais ils ne raisonnent pas causalment.
Il y a des recherches en cours pour combler ce fossé. Des approches neurosymboliques qui combinent réseaux de neurones et raisonnement logique. Des systèmes de program synthesis qui apprennent à écrire du code explicite plutôt que juste des tokens. Des modèles causaux qui apprennent des relations causales à partir d'observations. Mais ce sont encore des domaines émergents, loin de la maturité des LLMs actuels.
Ce Que Cela Change Pour l'Avenir de l'IA
Cette perspective sur la compression et la décompression a des implications importantes pour l'avenir de l'IA.
D'abord, elle suggère que nous devrions arrêter de mesurer les LLMs uniquement en termes de décompression. Les benchmarks actuels — capacité à générer du texte, à écrire du code, à répondre à des questions — mesurent tous la décompression. Mais nous devrions aussi développer des benchmarks de compression. Capacité à découvrir de nouveaux principes, à formuler des théories, à trouver des programmes plus courts.
Ensuite, elle suggère que la prochaine étape de l'IA ne sera pas simplement des LLMs plus grands et plus entraînés. Ce sera des architectures fondamentalement différentes — des systèmes qui compriment vraiment, pas qui simulent la compression par des corrélations statistiques. Cela pourrait impliquer des approches comme la program synthesis, la causal AI, les systèmes neurosymboliques.
Enfin, elle nous donne une façon plus nuancée de penser à l'AGI. L'AGI n'est pas seulement un système qui peut tout faire qu'un humain peut faire. C'est un système qui excelle dans les quatre axes — compression, décompression, efficacité, losslessness. Et ce n'est pas seulement une question de scale, de données, de compute. C'est une question d'architecture, de principes, de compréhension profonde de ce que signifie vraiment "comprendre".
Conclusion : Vers une Intelligence Plus Complète
La compression et la décompression sont les deux visages de l'intelligence. La compression révèle la structure, trouve les principes, comprime l'information en programmes élégants. La déplompression déploie la structure, applique les principes, génère des instances concrètes.
Les humains sont compétents dans les deux domaines, mais avec des biais — nous sommes meilleurs pour déplier que pour replier. Les LLMs sont exceptionnels en décompression, médiocres en compression. L'AGI nécessitera l'excellence dans les deux.
Cette perspective nous aide à voir où nous en sommes, ce qui nous manque, et où aller. Elle nous rappelle que l'intelligence n'est pas monolithique — elle a des facettes, des dimensions, des axes différents. Et que pour créer une intelligence vraiment générale, nous devons comprendre et maîtriser tous ces axes.
Dans le prochain article, nous aborderons les limites de l'analogie de Kolmogorov — ce qu'elle ne capture pas, et pourquoi la compression n'est peut-être pas le seul marqueur d'intelligence.
Points clés à retenir :
La compression trouve des principes, la déplompression les applique. Les LLMs excellent en déplompression, médiocres en compression. Les humains sont compétents dans les deux avec des biais. L'efficacité et la losslessness sont deux autres axes importants. L'AGI nécessitera l'excellence dans tous les domaines.
Article précédent : Ce que les LLMs Révèlent sur la Connaissance Humaine — Article suivant : Limites de l'Analogie Kolmogorov