La Complexité de Kolmogorov — Pourquoi le Simple est Plus Complexe Qu'il n'y Paraît
🎙️ Podcast : Écouter (18 min)
Imaginez que je vous demande de décrire un chat. Vous pourriez dire "c'est un animal à quatre pattes avec des moustaches", ou vous pourriez écrire un manuel complet de mille pages décrivant chaque muscle, chaque comportement, chaque variation de couleur. Laquelle de ces deux descriptions est la plus "complexe" ? Intuitivement, vous diriez que le manuel complet est plus complexe. Mais la complexité de Kolmogorov nous dit que c'est l'inverse. La description la plus courte — celle qui capture l'essentiel — est en réalité la plus profonde.
C'est paradoxal, mais c'est exactement ce que nous allons explorer. La complexité de Kolmogorov n'est pas une mesure de la difficulté ou de la quantité d'effort. C'est une mesure de l'information contenue dans un objet, indépendamment de la manière dont on le représente. Et cette idée, aussi simple soit-elle, a des implications profondes pour notre compréhension de l'intelligence, des langages comme GPT, et même de la science elle-même.
Qu'est-ce que la Complexité de Kolmogorov ?
Andrei Kolmogorov était un mathématicien russe qui a travaillé sur la théorie des probabilités et la théorie de l'information. Dans les années 1960, il a formulé une idée élégante pour mesurer la complexité d'un objet. Voici comment ça fonctionne en termes simples.
La complexité de Kolmogorov d'un objet, c'est la longueur du programme le plus court capable de générer cet objet. Prenez une séquence de chiffres, par exemple "01010101010101010101". Vous pourriez la décrire en disant "zero, un, zero, un, zero, un..." et ainsi de suite jusqu'à épuisement. Mais vous pourriez aussi dire "répéte '01' dix fois". La deuxième description est beaucoup plus courte. Elle capture la structure sous-jacente. C'est ça, la complexité de Kolmogorov : la compression ultime.
Prenons un autre exemple. Le nombre pi. Vous pouvez l'écrire avec trois chiffres, "3,14", mais ce n'est pas vraiment pi, juste une approximation. Vous pouvez l'écrire avec trois millions de décimales, mais c'est long et ça ne vous dit pas ce que pi signifie vraiment. Ou bien, vous pouvez écrire un programme de quelques lignes qui calcule pi avec une précision arbitraire. Ce programme capture l'essence de pi, et c'est ça qui compte pour Kolmogorov.
Cette définition a trois propriétés importantes. Premièrement, elle est invariante. Peu importe le langage de programmation que vous utilisez — Python, C++, JavaScript — la complexité de Kolmogorov d'un objet reste la même, à une constante près. Si vous pouvez écrire un programme court en Python, vous pourrez en écrire un tout aussi court en C++, peut-être avec quelques lignes de plus, mais pas de manière fondamentalement différente.
Deuxièmement, elle est absolue. Contrairement à la complexité de calcul, qui mesure combien de temps ou de mémoire un algorithme prend, la complexité de Kolmogorov mesure combien d'information est intrinsèquement présente dans un objet. Un million de chiffres aléatoires ont une haute complexité de Kolmogorov parce que vous ne pouvez pas les compresser — vous devez les écrire un par un. Mais un million de chiffres qui suivent un motif simple ont une faible complexité, parce qu'un programme court peut les générer.
Troisièmement, et c'est là que ça devient fascinant, elle est incalculable. Il n'existe pas d'algorithme qui puisse prendre n'importe quel objet et calculer sa complexité de Kolmogorov. C'est prouvé mathématiquement. Vous pouvez trouver un programme court qui génère un objet, mais vous ne pouvez jamais être sûr qu'il n'existe pas un programme encore plus court que vous n'avez pas découvert. C'est le théorème de l'incomplétude appliqué à la complexité.
Pourquoi la Compression Révèle l'Intelligence
Et c'est là que nous connectons Kolmogorov avec l'intelligence. Comprimer de l'information, c'est comprendre sa structure. Quand vous comprenez vraiment quelque chose, vous pouvez l'expliquer brièvement. Vous pouvez distinguer ce qui est essentiel de ce qui est accessoire. Vous pouvez trouver le motif sous-jacent que d'autres manquent.
Pensez à un génie comme Einstein. La théorie de la relativité, avec sa fameuse équation E égale mc-carré, est un exemple extrême de compression. Des milliers d'observations, des siècles de physique newtonienne, tout ce que nous savions sur l'énergie, la masse et la vitesse de la lumière, tout cela compressé en cinq symboles. C'est la complexité de Kolmogorov en action : trouver le programme le plus court qui génère un ensemble massif de phénomènes.
Ou pensez à un maître d'échecs. Un débutant voit chaque pièce individuellement, chaque coup comme une décision isolée. Un grand maître voit des patterns, des structures, des principes. Il peut dire "la position est gagnante pour les blancs" en quelques mots, là où un débutant aurait besoin de pages d'analyse. Le grand maître a compressé l'information.
Les langages comme GPT font quelque chose de similaire, mais d'une manière différente. Ils ont ingéré des milliards de mots de texte humain — des livres, des articles, des conversations. Et ils ont appris à compresser cette masse énorme d'information en un modèle de quelques centaines de milliards de paramètres. Ce modèle n'est pas parfait, il ne "comprend" pas comme un humain, mais il capture une structure statistique du langage humain qui est profondément compressée.
Quand vous donnez à GPT un prompt de cent mots, il peut générer dix mille mots de texte cohérent. C'est un ratio de un pour cent. D'une certaine manière, GPT opère comme une machine de décompression : il prend une information compacte — votre prompt — et il la déploie en un texte riche et structuré. Mais il y a une asymétrie cruciale ici. GPT est excellent pour déplier, médiocre pour replier.
Les Deux Compétences de l'Intelligence
Cette asymétrie nous amène à une distinction centrale : il y a deux compétences fondamentales dans toute intelligence, qu'elle soit humaine ou artificielle. La première, c'est la compression. Trouver la représentation la plus courte possible d'un phénomène. Extraire des principes depuis des données. Découvrir des théories. C'est ce que font les scientifiques, les philosophes, les grands penseurs.
La seconde compétence, c'est la décompression. Prendre une représentation compacte et la déployer en instances concrètes. Appliquer des principes à des cas spécifiques. Générer du contenu à partir de modèles. C'est ce que font les ingénieurs, les artistes, les écrivains. Et c'est ce que font exceptionnellement bien les langages comme GPT.
Les humains sont assez bons aux deux, mais avec des biais. Nous sommes excellents pour décompresser — nous pouvons raconter des histoires, écrire du code, créer de l'art à partir d'ides abstraites. Mais nous sommes moins bons pour comprimer. Nos cerveaux sont encombrés de biais cognitifs, d'heuristiques, de raccourcis qui nous empêchent de voir la structure la plus simple. Nous avons tendance à sur-compliquer, à voir des patterns là où il n'y en a pas, à préférer des explications complexes à des explications simples.
Les langages comme GPT ont le biais inverse. Ils sont formés pour prédire le mot suivant dans un texte, et cette tâche de prédiction statistique les rends extraordinairement bons pour générer du contenu, pour déplier des modèles, pour interpoler à partir d'exemples. Mais ils ne "comprennent" pas vraiment les principes sous-jacents. Ils ne peuvent pas inventer une nouvelle théorie scientifique. Ils ne peuvent pas découvrir une nouvelle loi de la nature. Ils excellent à décompresser, médiocres à comprimer.
Ce Que Cela Change Pour Notre Compréhension de l'Intelligence
Cette perspective a des implications profondes. D'abord, elle nous aide à comprendre ce que les langages comme GPT font vraiment. Ils ne "pensent" pas comme un humain. Ils ne raisonnent pas à partir de principes. Ils généralisent à partir de patterns statistiques. C'est une forme d'intelligence, mais c'est une forme très spécifique — l'intelligence du dépliage, pas du repliage.
Ensuite, elle nous donne une idée de ce que serait une véritable intelligence générale artificielle. Ce ne serait pas seulement un système capable de générer du texte, du code, de l'art. Ce serait un système capable de découvrir de nouveaux principes, de compresser de nouvelles données en théories élégantes, de trouver des programmes plus courts que ceux que nous humains avons découverts. C'est un défi très différent, et beaucoup plus difficile.
Enfin, elle nous apprend quelque chose sur nous-mêmes. L'intelligence humaine n'est pas monolithique. Nous avons des points forts et des points faibles. Nous sommes bons pour créer du sens, pour raconter des histoires, pour faire des analogies — toutes des formes de décompression. Mais nous luttons pour voir au-delà de nos préjugés, pour trouver les explications les plus simples, pour comprimer vraiment. C'est pourquoi nous avons besoin d'outils, de méthodes scientifiques, de mathématiques — des aides externes à la compression.
La prochaine fois que vous utiliserez un langage comme GPT, rappelez-vous de cette asymétrie. Vous lui donnez un prompt court, il vous rend un texte long. C'est une performance impressionnante de décompression. Mais si vous lui demandez de découvrir un nouveau principe scientifique, il sera bloqué. Parce que la compression, la véritable compression, demande quelque chose que les modèles statistiques actuels n'ont pas : la compréhension causale, la capacité à voir au-delà des corrélations, à trouver les programmes les plus courts.
Et peut-être que ça nous ramène à Kolmogorov lui-même. Il a formulé sa théorie dans les années 1960, bien avant que quiconque imagine des langages comme GPT. Mais il a vu, avec une clarté mathématique, que la complexité n'est pas dans la longueur de la description, mais dans la brièveté du programme. Que comprendre, c'est compresser. Et que cette compression est à la fois le défi et la marque de l'intelligence.
Dans le prochain article, nous explorerons ce que les langages comme GPT révèlent sur la connaissance humaine — et pourquoi notre verbosité n'est peut-être pas ce que nous pensons.
Points clés à retenir :
La complexité de Kolmogorov mesure la longueur du programme le plus court capable de générer un objet. Comprimer de l'information, c'est comprendre sa structure. Les langages comme GPT excellent pour décompresser (générer du contenu), mais sont médiocres pour comprimer (découvrir des principes). L'intelligence humaine a ses propres biais — nous sommes meilleurs pour déplier que pour replier.
Article suivant : Ce que les LLMs Révèlent sur la Connaissance Humaine