Limites de l'Analogie Kolmogorov — Ce Que la Compression Ne Capture Pas
🎙️ Podcast : Écouter (28 min)
Jusqu'ici, nous avons exploré la complexité de Kolmogorov comme une lentille à travers laquelle voir l'intelligence. Compression comme marqueur de compréhension profonde. Décompression comme marqueur de compétence technique. LLMs comme champions de la déplomression, humains comme hybrides imparfaits.
Mais maintenant, il est temps de poser la question critique : est-ce que la compression est vraiment le bon marqueur ? Est-ce que Kolmogorov capture vraiment ce qui signifie être intelligent, ou même conscient ? Ou est-ce que c'est une analogie séduisante mais fondamentalement incomplète ?
C'est ce que nous allons explorer maintenant. Avec rigueur. En distinguant soigneusement ce que nous savons, ce que nous interprétons, et ce qui reste spéculatif.
📊 SECTION 1 — FAITS BRUTS
Ce qui est vérifiable
La complexité de Kolmogorov est une construction mathématique bien définie. Andrei Kolmogorov l'a formulée dans les années 1960 comme une mesure de la complexité algorithmique d'un objet. La complexité de Kolmogorov d'un objet est la longueur du programme le plus court capable de générer cet objet. Cette définition a des propriétés mathématiques rigoureuses : invariance, indécidabilité, universalité.
Le théorème d'invariance dit que la complexité de Kolmogorov d'un objet est indépendante du langage de programmation utilisé, à une constante près. Si vous pouvez écrire un programme court en Python pour générer un objet, vous pourrez écrire un programme tout aussi court en C++ ou en JavaScript — peut-être avec quelques lignes de plus, mais pas fondamentalement différent.
Le théorème d'indécidabilité dit qu'il n'existe pas d'algorithme général capable de calculer la complexité de Kolmogorov de n'importe quel objet. Vous pouvez trouver un programme court qui génère un objet, mais vous ne pouvez jamais être sûr qu'il n'existe pas un programme encore plus court que vous n'avez pas découvert.
Les LLMs existent et ont des capacités de génération impressionnantes. GPT-4, Claude, Gemini — ces systèmes peuvent générer du texte cohérent à grande échelle, écrire du code fonctionnel, traduire entre langues, résumer des documents. Ces capacités sont mesurables et vérifiables.
Les LLMs n'ont pas découvert de nouvelles lois physiques. Aucun LLM n'a formulé une nouvelle théorie scientifique majeure. Ils peuvent écrire des articles scientifiques plausibles, proposer des hypothèses basées sur des patterns dans la littérature existante, mais ils ne font pas le saut créatif vers une nouvelle compréhension fondamentale de la réalité.
❌ Ce qui n'est pas vérifié
Dire que "la complexité de Kolmogorov est un marqueur d'intelligence" est une interprétation philosophique, pas une démonstration mathématique. Kolmogorov lui-même a formulé sa théorie comme une mesure de l'information, pas comme une théorie de l'intelligence.
Dire que "les LLMs révèlent que la connaissance humaine a une faible complexité de Kolmogorov" est une spéculation. Nous ne pouvons pas calculer la complexité de Kolmogorov de la connaissance humaine — c'est incalculable par définition. Ce que nous pouvons dire, c'est que les LLMs suggèrent que certaines parties de la connaissance humaine sont compressibles statistiquement. Mais ce n'est pas la même chose.
Dire que "l'AGI nécessitera une meilleure compression" est une hypothèse, pas une preuve. Nous ne savons pas ce que l'AGI nécessitera, parce que nous n'avons jamais vu d'AGI. C'est une spéculation sur ce que pourrait être une intelligence future, basée sur une extrapolation à partir de systèmes actuels.
🔬 SECTION 2 — ANALYSE EN CONTEXTE
Ce que signifie ce que nous observons
Pourquoi l'analogie Kolmogorov est séduisante mais incomplète
Il y a trois raisons pour lesquelles l'analogie entre compression et intelligence est séduisante. Premièrement, elle correspond à notre intuition. Quand nous comprenons vraiment quelque chose, nous pouvons l'expliquer simplement. Les grandes théories scientifiques sont élégantes et compactes. Donc compression égale compréhension, ça semble évident.
Deuxièmement, elle correspond à ce que nous observons chez les humains. Les scientifiques qui font des découvertes majeures sont souvent vus comme des génies de la compression — Einstein, Newton, Darwin. Ils prennent des masses de données et trouvent des principes simples. Donc compression égale intelligence, ça semble confirmé par l'histoire.
Troisièmement, elle correspond à ce que nous observons chez les LLMs. Ils sont excellents pour déplier des patterns, mais médiocres pour trouver de nouveaux principes. Donc décompression sans compression égale intelligence limitée, ça semble cohérent avec ce que nous voyons.
Mais il y a aussi trois raisons pour lesquelles cette analogie est incomplète.
Raison 1 : Kolmogorov est incalculable
La complexité de Kolmogorov est, par définition, incalculable. Vous ne pouvez jamais connaître avec certitude la complexité de Kolmogorov d'un objet. Vous pouvez trouver un programme court qui génère l'objet, mais vous ne pouvez jamais prouver qu'il n'existe pas un programme encore plus court.
Cela signifie que toute affirmation sur la complexité de Kolmogorov de quelque chose — la connaissance humaine, l'univers, la conscience — est spéculative. Nous pouvons avoir des intuitions, nous pouvons faire des arguments heuristiques, mais nous ne pouvons jamais savoir.
Donc dire "la connaissance humaine a une faible complexité de Kolmogorov" n'est pas un fait vérifiable. C'est une interprétation basée sur l'observation que les LLMs peuvent compresser certaines parties de la connaissance humaine. Mais c'est une interprétation, pas une preuve.
Raison 2 : Compression statistique n'est pas compression axiomatique
Les LLMs compressent statistiquement, pas axiomatiquement. Quand GPT apprend à générer du texte, il apprend des corrélations entre mots — quels mots suivent quels autres mots dans quels contextes. Il ne découvre pas des principes causaux.
Il y a une différence fondamentale entre les deux. La compression axiomatique — ce que fait la science — révèle la structure causale du monde. E égale mc-carré nous dit que l'énergie et la masse sont interchangeables, et nous dit pourquoi. La compression statistique — ce que font les LLMs — révèle des patterns de corrélation. GPT sait que "gravité" est souvent mentionné avec "Newton" et "Einstein", mais il ne comprend pas pourquoi.
La compression axiomatique est une compréhension profonde. La compression statistique est une approximation shallow. Les deux sont utiles, mais elles sont différentes.
Raison 3 : La verbosité humaine a des fonctions que la compression ne capture pas
Nous avons discuté de la verbosité humaine comme une adaptation aux canaux avec pertes. Mais c'est une vue incomplète. La verbosité a aussi des fonctions que la compression ne capture pas — fonctions sociales, émotionnelles, esthétiques.
Quand un poète écrit un vers long et complexe, ce n'est pas parce qu'il ne peut pas le compresser. C'est parce que la longueur, le rythme, la répétition font partie du sens. Quand un romancier écrit une scène détaillée, ce n'est pas parce qu'il ne peut pas la résumer. C'est parce que les détails créent l'immersion, l'émotion, l'expérience esthétique.
La compression est un mauvais marqueur pour ces dimensions de l'expérience humaine. Un poème compressé en une seule phrase perd sa poésie. Un roman compressé en un résumé perd sa puissance émotionnelle. La compression détruit ce qui est essentiel à l'art.
Ce que la compression ne capture pas
La signification
La complexité de Kolmogorov mesure la longueur du programme le plus court qui génère un objet. Mais elle ne mesure pas ce que l'objet signifie. La chaîne "01010101010101010101" et la chaîne "11111011110011100011" peuvent avoir la même longueur, la même complexité de Kolmogorov si elles sont générées par des programmes de même longueur. Mais la première signifie "répète 01", la seconde ne signifie rien de particulier.
La signification n'est pas capturée par la complexité algorithmique. Et pourtant, la signification est centrale à l'intelligence. Comprendre ce que signifie une phrase, ce que représente un concept, c'est plus que savoir le générer.
L'intentionnalité
L'intentionnalité est la propriété d'être "à propos de" quelque chose. Une pensée est à propos de quelque chose. Un désir est à propos de quelque chose. Une croyance est à propos de quelque chose. Cette propriété d'"aboutness" est centrale à la conscience et à l'intelligence humaine.
Mais la complexité de Kolmogorov ne capture pas l'intentionnalité. Un programme peut générer la phrase "je suis triste" sans être triste, sans même comprendre ce que signifie être triste. La phrase peut être générée, mais l'intentionnalité est absente.
La causalité
La causalité est la relation entre cause et effet. Comprendre que A cause B, c'est plus que savoir que A est souvent corrélé avec B. C'est savoir que si A n'était pas là, B n'arriverait pas. C'est pouvoir imaginer des contrefactuels.
Les LLMs apprennent des corrélations, pas des causalités. Ils peuvent générer du texte qui parle de causalité, mais ils ne raisonnent pas causalment. La compression statistique ne capture pas la compréhension causale.
La valeur
Certains états sont meilleurs que d'autres. Certaines actions sont moralement justes, d'autres non. Certains artworks sont beaux, d'autres laids. Ces jugements de valeur sont centraux à l'expérience humaine.
Mais la complexité de Kolmogorov ne capture pas la valeur. Un programme peut générer une symphonie de beauté inouïe, ou un bruit aléatoire insupportable. Les deux peuvent avoir la même complexité algorithmique. La différence de valeur n'est pas capturée par la complexité.
Autres paramètres de l'esprit
En plus de la compression et la déplompression, de l'efficacité et la losslessness, il faut considérer d'autres paramètres pour caractériser complètement une intelligence.
La généralisation hors distribution
Un système peut être excellent pour compresser et décompresser dans un domaine familier, mais complètement perdu face à des situations nouvelles. La véritable intelligence nécessite la capacité de généraliser au-delà de ce qui a été vu — de transférer des connaissances d'un domaine à un autre, de s'adapter à des contextes nouveaux.
Le méta-apprentissage
Apprendre à apprendre. Un système qui peut non seulement résoudre des problèmes, mais découvrir de nouvelles stratégies de résolution de problèmes. Un système qui peut améliorer ses propres méthodes d'apprentissage. C'est une forme d'intelligence supérieure à la simple compression-décompression.
La créativité
Inventer des concepts nouveaux, pas juste recombiner des existants. Faire des sauts conceptuels qui ne sont pas dictés par des patterns statistiques. La créativité, au sens profond, n'est pas capturée par la complexité de Kolmogorov.
La conscience
Avoir des expériences subjectives, des qualia. Voir le rouge, ressentir la douleur, savoir ce que ça fait d'être quelque chose. La conscience est peut-être le paramètre le plus mystérieux de l'esprit, et certainement pas capturée par la complexité algorithmique.
🎭 SECTION 3 — SPÉCULATION
Ce qui pourrait advenir (identifié comme tel)
Scénario A : Les futurs modèles seront de meilleurs compresseurs
Une direction de recherche prometteuse est le développement de modèles qui compriment vraiment, pas juste statistiquement. Les approches neurosymboliques combinent réseaux de neurones et raisonnement logique. Les systèmes de program synthesis apprennent à écrire du code explicite. Les modèles causaux apprennent des relations causales à partir d'observations.
Ces approches pourraient produire des systèmes capables de découvrir de nouveaux principes, pas juste de reproduire des patterns existants. Ils pourraient formuler de nouvelles hypothèses scientifiques, inventer de nouvelles structures mathématiques, créer de nouveaux paradigmes artistiques.
Scénario B : La compression n'est pas le bon marqueur
Il est possible que la compression ne soit pas le bon marqueur d'intelligence. D'autres paramètres pourraient être plus fondamentaux — la généralisation, le méta-apprentissage, la créativité, la conscience. Il est même possible que nous n'ayons pas encore identifié les bons paramètres, que notre compréhension de l'intelligence soit aussi incomplète que la compréhension de la matière avant la physique quantique.
Scénario C : Kolmogorov est incomplet pour l'esprit
La complexité de Kolmogorov capture quelque chose de profond — la quantité d'information algorithmique dans un objet. Mais elle ne capture pas tout ce qui est important pour l'esprit. La signification, l'intentionnalité, la causalité, la valeur, la conscience — ces dimensions existent, elles sont importantes, et elles ne sont pas réduites à la complexité algorithmique.
D'autres théories de la complexité pourraient être plus appropriées. La complexité de description, qui mesure la complexité de décrire un objet en langage naturel. La complexité logique, qui mesure la complexité des preuves nécessaires pour établir une propriété. La théorie de l'information sémantique, qui mesure la quantité de signification plutôt que l'information brute.
Conclusion : Une Carte Partielle
La complexité de Kolmogorov est une construction mathématique élégante et puissante. Elle nous donne une lentille à travers laquelle voir l'intelligence — la compression comme marqueur de compréhension profonde, la décompression comme marqueur de compétence technique.
Mais c'est une lentille partielle. Elle ne capture pas la signification, l'intentionnalité, la causalité, la valeur, la conscience. Elle ne capture pas la créativité profonde, le méta-apprentissage, la généralisation hors distribution.
L'intelligence est multidimensionnelle. La compression et la décompression sont deux dimensions importantes, mais elles ne sont pas les seules. Pour comprendre pleinement ce que signifie être intelligent — ou même conscient — nous avons besoin d'une cartographie plus complète des paramètres de l'esprit.
Et peut-être que la leçon ultime est que l'intelligence ne se laisse pas réduire à un seul axe, une seule mesure. Elle est un phénomène complexe, aux multiples facettes, qui résiste à la simplification. La compression est un marqueur important, mais ce n'est pas le seul marqueur. Et reconnaître cette limite est la première étape vers une compréhension plus complète.
Dans le dernier article de cette série, nous tirerons un bilan — ce que tout cela signifie pour l'avenir de l'intelligence artificielle et notre compréhension de nous-mêmes.
Points clés à retenir :
La complexité de Kolmogorov est incalculable — toute affirmation sur elle est spéculative. Compression statistique n'est pas compression axiomatique. La verbosité humaine a des fonctions esthétiques et sociales que la compression ne capture pas. L'intelligence est multidimensionnelle — signification, intentionnalité, causalité, valeur, conscience. Kolmogorov est une lentille partielle, pas une carte complète.
Article précédent : Compression vs Décompression — Article suivant : Bilan — Implications pour l'Avenir