Les Embeddings : La Carte Mentale de l'IA
🎙️ Podcast : Écouter (~15 min)
Imaginez que je vous demande de penser au mot "roi". Qu'est-ce qui vient à l'esprit ? Probablement des concepts comme "couronne", "pouvoir", "royaume", ou même "reine". Maintenant, si je vous demande de penser au mot "reine", les mêmes associations surgissent, avec en plus "femme", "souveraine", et bien sûr... "roi".
Il y a un lien invisible entre ces mots. Une proximité de sens. Une relation que votre cerveau comprend intuitivement, mais qui semble impossible à capturer dans un ordinateur. Et pourtant, c'est exactement ce que font les embeddings, l'une des technologies les plus fondamentales de l'intelligence artificielle moderne.
Les embeddings sont la carte mentale de l'IA. Ils transforment des mots, des phrases, des images, en points dans un espace mathématique où proximité égale similarité de sens. Et cette transformation apparemment simple est la raison pour laquelle ChatGPT peut comprendre que "J'ai faim" et "Je suis affamé" veulent dire la même chose, ou pourquoi Google Traduction ne se contente pas de remplacer mot par mot comme au temps des dictionnaires électroniques des années 90.
Commençons par le commencement. Pour comprendre les embeddings, il faut d'abord comprendre ce qu'ils résolvent. Pendant des décennies, l'informatique a traité le langage comme du code, avec des règles rigides. Si vous cherchiez "chien" dans un moteur de recherche des années 1990, il trouvait "chien", mais pas "canin", "carnivore", ou "animal domestique". Pour l'ordinateur, ces mots étaient totalement distincts, des chaînes de caractères sans relation sémantique. C'est comme si votre cerveau classait les concepts dans des tiroirs séparés, sans jamais réaliser que "pomme" et "fruit" sont connectés.
Les embeddings changent tout ça. Au lieu de représenter un mot par ses lettres, ils le représentent par un vecteur, une liste de nombres. Imaginez chaque mot comme un point dans un espace à plusieurs centaines de dimensions. "Roi" et "reine" seront proches dans cet espace. "Roi" et "pomme" seront très loin. Et voici la partie magique : les relations entre mots deviennent des opérations mathématiques. L'opération "roi" moins "homme" plus "femme" vous donne... "reine". C'est pas une métaphore, c'est un calcul réel qui fonctionne avec les embeddings modernes.
Comment ça marche dans la pratique ? Les réseaux de neurones apprennent ces représentations en analysant des milliards de textes. Ils voient "chien" apparaître dans des contextes similaires à "loup", "animal", "chiot". Ils apprennent que "Paris" et "France" sont souvent mentionnés ensemble, tout comme "Berlin" et "Allemagne". Progressivement, chaque mot gagne une position dans cet espace sémantique multidimensionnel qui capture non seulement sa signification, mais ses relations avec tous les autres mots.
Et ce n'est pas limité aux mots individuels. Les mêmes techniques peuvent encoder des phrases entières, des paragraphes, voire des documents. On peut aussi encoder des images, des sons, des vidéos. C'est ce qui permet à ChatGPT de comprendre votre demande même si vous la formulez différemment. C'est ce qui permet aux systèmes de recommandation de Netflix de proposer des films similaires à ceux que vous avez aimés. C'est ce qui permet à Google de trouver la page que vous cherchez même si vos mots-clés n'y apparaissent pas littéralement.
Pourtant, les embeddings ont des limitations. Ils capturent des stéréotypes présents dans les données d'entraînement. Si "médecin" est statistiquement plus associé à "homme" qu'à "femme" dans les textes utilisés pour l'apprentissage, l'embedding reflétera ce biais. C'est un problème réel, documenté, que les chercheurs en IA travaillent à corriger. Les embeddings ne sont pas neutres, ils sont un miroir déformant de notre langage collectif.
L'histoire des embeddings est fascinante. Au début des années 2000, des méthodes comme Word2Vec ont révolutionné le traitement du langage en montrant qu'on pouvait capturer des relations sémantiques avec des calculs simples. En 2013, l'équipe de Tomas Mikolov chez Google a publié Word2Vec, un algorithme qui pouvait apprendre des embeddings de qualité en quelques heures sur des millions de textes. En 2014, un autre algorithme appelé GloVe, développé à Stanford, a montré que des approches purement statistiques pouvaient aussi fonctionner remarquablement bien.
Puis sont venus les transformers en 2017, avec l'article fondateur "Attention Is All You Need" de Google. Les embeddings sont devenus contextuels : la représentation d'un mot change selon les mots qui l'entourent. Le mot "banc" n'a pas le même embedding dans "je m'assois sur le banc" et "le banque prête de l'argent". C'est cette évolution qui a rendu possible GPT et ses successeurs.
Aujourd'hui, les embeddings sont partout. Quand vous tapez une requête dans Google, des embeddings comparent votre recherche aux pages web. Quand ChatGPT répond à votre question, des embeddings aident à comprendre le contexte et à trouver les informations pertinentes dans ses connaissances. Quand Spotify vous recommande de la musique, des embeddings comparent vos goûts à des millions d'autres utilisateurs. Quand vous uploadez une photo sur Facebook, des embeddings visuels identifient les personnes et les objets. Ils sont devenus une infrastructure invisible mais essentielle de notre monde numérique.
Et l'avenir ? Les embeddings multimodaux, qui peuvent lier texte, image, audio et vidéo dans le même espace sémantique. Les embeddings dynamiques, qui changent en temps réel selon le contexte. Les embeddings personnels, adaptés à votre langage et vos préférences. Les embeddings sont loin d'avoir fini d'évoluer.
Finalement, ce qui est fascinant avec les embeddings, c'est qu'ils sont à la fois incroyablement simples mathématiquement et profondément mystérieux conceptuellement. On peut expliquer le principe en cinq minutes à un collégien. Pourtant, personne ne peut vraiment expliquer pourquoi ça marche aussi bien. Les dimensions de ces espaces, souvent 768, 1024, ou 1536, ne correspondent pas à des concepts linguistiques clairement identifiables. La dimension 1 ne signifie pas "genre", la dimension 2 ne signifie pas "temps". C'est un espace abstrait où chaque dimension capture une combinaison complexe de traits sémantiques que même les créateurs de ces modèles ne comprennent pas complètement.
C'est peut-être ça, la véritable leçon des embeddings : l'IA n'a pas besoin de comprendre le langage comme nous pour le manipuler efficacement. Elle n'a pas besoin de concepts conscients ou de définitions explicites. Il lui suffit de trouver des patterns statistiques dans des milliards d'exemples, de projeter ces patterns dans un espace mathématique, et d'utiliser cet espace pour raisonner. C'est une forme d'intelligence très différente de la nôtre, plus brute, moins conceptualisée, mais d'une efficacité déconcertante.
La prochaine fois que vous utilisez ChatGPT, que vous cherchez quelque chose sur Google, ou qu'un système vous recommande un contenu, rappelez-vous : dans les coulisses, il y a des embeddings qui trament des connexions invisibles, transformant des mots en nombres, ces nombres en distances, ces distances en compréhension. C'est la carte mentale de l'IA, et elle redessine la façon dont les machines interagissent avec notre monde de sens.