Les fondamentaux de l'Intelligence Artificielle.

Intelligence Artificielle Générative.

L’IA générative est un sous-ensemble de l'apprentissage profond. Elle utilise des réseaux artificiels et peut traiter des données étiquetées et non étiquetées en utilisant des méthodes supervisées, non supervisées et semi-supervisées.

L'IA générative est un type d'intelligence artificielle qui crée de nouveaux contenus à partir de contenus existants.

Le processus d'apprentissage à partir de contenus existants est appelé « formation » et aboutit à la création d'un modèle statistique.

Lorsqu'elle reçoit une requête, l'IA générative utilise ce modèle statistique Equations mathématiques permettant de coder les informations extraites à partir des données. pour prédire la réponse attendue et générer un nouveau contenu qui ressemble aux données d'entraînement sans les copier.

Pour comprendre sa spécificité, il faut la comparer à l'approche traditionnelle (ou discriminative).

Distinction entre IA discriminative et générative.

La différence repose sur la nature de la distribution de probabilité que le modèle cherche à apprendre.

L'IA Discriminative (approche traditionnelle).

Les modèles discriminatifs (classification, régression) se concentrent sur la frontière de décision. Ils ne cherchent pas à comprendre comment les données sont générées, mais uniquement à les séparer.

• Sur le plan mathématique, ils apprennent la probabilité conditionnelle P(Y|X). Quelle est la probabilité que l'étiquette soit Y, étant donné l'entrée X ?
• Usage : détection de spams, reconnaissance de visages, prévision de ventes.

L'IA Générative (approche créative).

Les modèles génératifs visent à modéliser la structure sous-jacente des données.

• Mathématiques : ils apprennent la probabilité conjointe P(X, Y) ou la distribution P(X).
• Mécanisme : cela leur permet de comprendre comment les caractéristiques sont produites et, par échantillonnage statistique, de générer de nouvelles instances.

L'Architecture Transformer.

Introduite en 2017 par des chercheurs de Google Brain dans l'article fondateur « Attention Is All You Need » (Vaswani et al.), l'architecture Transformer est à l'origine de la rupture technologique majeure qui a permis l'essor des LLM (Large Language Models) modernes, tels que BERT, GPT ou Claude.

Le Transformer est une architecture de réseau de neurones profonds conçue pour traiter des données séquentielles (texte, code, ADN), mais qui se distingue des contraintes de ses prédécesseurs par un mécanisme de traitement parallèle et non plus séquentiel.

La rupture avec les réseaux récurrents (RNN et LSTM).

Avant 2017, le standard pour le traitement du langage était les réseaux de neurones récurrents (RNN). Ces réseaux lisaient les données de manière séquentielle, mot par mot, de gauche à droite.

• Cette limitation séquentielle impliquait que pour comprendre le mot n, le RNN devait avoir fini de traiter le mot n-1. Cela interdisait la parallélisation des calculs sur les processeurs graphiques (GPU). L'entraînement était donc lent et difficilement évolutif.
• Le problème de la mémoire : sur de longues séquences (un paragraphe, par exemple), le réseau avait tendance à « oublier » le début de la phrase lorsqu'il arrivait à la fin (problème de la disparition du gradient).

Le Transformer résout ces deux problèmes en traitant l'ensemble de la séquence d'entrée simultanément et non plus séquentiellement. Il peut analyser une phrase, un paragraphe ou une page entière d'un seul bloc, ce qui permet un entraînement massif sur des clusters de GPU.

Le Mécanisme d'auto-attention (self-attention).

Le cœur du Transformer est le mécanisme d'auto-attention. Il s'agit d'un algorithme qui permet au modèle de pondérer l'importance de chaque mot d'une séquence par rapport aux autres afin d'en construire une représentation contextuelle précise.

Contrairement aux anciennes méthodes, comme Word2Vec, où le mot « avocat » avait une représentation vectorielle fixe, le Transformer recalcule le sens du mot en fonction de ses voisins.

Illustration pédagogique :

Prenons l'exemple de la phrase : « L' animal ne traverse pas la rue car il est trop fatigué ». Pour un ordinateur, le pronom « il » est ambigu. Pour résoudre cette ambiguïté, le mécanisme d'attention calcule un score de pertinence (ou poids d'attention) entre « il » et tous les autres mots. Mathématiquement, le modèle attribue un poids très élevé à la relation entre « il » et « animal », et un poids faible entre « il » et « rue ». Le vecteur représentant le mot « il » absorbe alors les caractéristiques du mot « animal ». Si la phrase était « l'animal ne traverse pas la rue car elle est trop large », l'attention se focaliserait sur « rue ».

De l'apprentissage non-supervisé à l'auto-supervisé.

Les Transformers nécessitent des quantités colossales de données. Il est impossible d'étiqueter manuellement ces données, c'est-à-dire d'indiquer par exemple que « ceci est un sujet » ou « ceci est un verbe ». Ils utilisent donc l'apprentissage auto-supervisé (Self-Supervised Learning).

Le modèle génère ses propres corrections à partir des données brutes.

• Masquage (Masked Language Modeling) : des mots sont cachés aléatoirement dans une phrase (par exemple, « Le chat mange la [MASQUE] ») et le modèle doit deviner le mot manquant en utilisant le contexte.
• Prédiction du token suivant (Causal Language Modeling) : le modèle apprend à prédire le mot suivant dans une suite, comme le font les modèles GPT (Generative Pre-trained Transformer).

C'est cette capacité à apprendre seul sur l'ensemble du Web, combinée à l'architecture parallèle des Transformers, qui a permis l'émergence de l' « intelligence » apparente des modèles actuels.

Différences entre données et paramètres.

Pour comprendre la mécanique interne des Transformers, il est essentiel de distinguer les données et les ressources du mécanisme de traitement et de stockage appelé « paramètres ».

Les « données » désignent le corpus d'entraînement. Il s'agit d'informations brutes, extérieures au modèle, que l'algorithme doit analyser pour apprendre.

• Il s'agit de milliards de phrases, de livres, de code informatique ou d'articles Web (le « grand nombre de données » cité plus haut).
• Elles servent de matériel pédagogique. Lors de l'apprentissage non supervisé, le modèle « lit » ces données pour en extraire des régularités statistiques.
• Une fois le modèle entraîné, les données brutes ne sont généralement pas stockées dans le modèle. Elles ont servi à le calibrer, puis sont mises de côté. Le modèle ne « contient » pas les données comme une base de données ; il en contient la compréhension statistique

les « paramètres » constituent le cerveau du modèle. Il s'agit des variables internes du réseau de neurones artificiels qui définissent la manière dont le modèle traite l'information.

• Il s'agit de valeurs numériques (des poids W et des biais b) organisées dans des matrices géantes. Ces milliards de paramètres sont de petites variables ajustables au sein du réseau.
• Chaque paramètre est comparable à un minuscule bouton de réglage ou à une synapse artificielle.
• Au début, les paramètres sont initialisés de manière aléatoire (le modèle ne sait rien). Pendant l'apprentissage, l'algorithme ajuste progressivement la valeur de chaque paramètre afin de minimiser l'erreur de prédiction par rapport aux données fournies.
• L'ensemble des paramètres figés constitue le « modèle » final (comme GPT-4 ou Claude). Ils sont la cristallisation de ce que l'IA a appris.

Pourquoi les grands modèles de langage (LLM) hallucinent-ils ?

Dans le contexte des modèles de langage, une hallucination désigne la génération d'un contenu qui semble cohérent, syntaxiquement fluide et formulé avec assurance, mais qui est factuellement inexact, ne repose pas sur le corpus d'entraînement ou est illogique par rapport au contexte donné.

À la différence des erreurs logicielles classiques (bugs), l'hallucination n'est pas un dysfonctionnement technique, mais une conséquence intrinsèque de la nature probabiliste des LLM.

Distinction entre syntaxe et sémantique.

Il est essentiel pour l'étudiant de corriger une idée reçue : les hallucinations modernes sont rarement des erreurs grammaticales.

• Grâce à l'architecture Transformer, les modèles maîtrisent parfaitement les règles grammaticales et stylistiques. La phrase générée est donc structurellement irréprochable.
• Dérive sémantique : l'erreur se situe au niveau du sens. Le modèle comble les « trous » dans sa distribution de probabilité par les suites de mots les plus plausibles statistiquement, même si elles sont fausses factuellement.

On dit souvent que le modèle est optimisé pour la plausibilité (ce qui ressemble à une réponse humaine) et non pour la véracité (ce qui est exact).

Les causes techniques des hallucinations.

• Compression avec perte : un LLM ne stocke pas les faits comme le ferait une base de données. Il stocke des associations statistiques dans ses paramètres (poids). Lors de l'apprentissage, il doit donc compresser une immense quantité d'informations (Internet) dans un nombre fini de paramètres. Cette compression entraîne une perte de précision concernant les faits rares ou spécifiques.
• L'objectif de prédiction (next-token prediction) : le modèle n'a pas de concept de « vérité » ou de « monde réel ». Sa seule fonction est de prédire le mot suivant le plus probable. Si le mot « faux » a une probabilité d'apparition élevée dans le contexte de la phrase, le modèle le choisira.
• Bruit dans les données (qualité des données) : si le corpus d'entraînement contient des contradictions ou des erreurs (ce qui est le cas d’Internet), le modèle reproduira ces incohérences.

Typologie des Hallucinations.

Pour une analyse approfondie, on distingue généralement deux types d'hallucinations.

1. Les hallucinations intrinsèques, qui contredisent le contexte immédiat fourni au modèle (par exemple, on lui donne un texte résumant une réunion qui a eu lieu le lundi et il affirme dans le résumé que la réunion a eu lieu le mardi).
2. Les hallucinations extrinsèques, pour lesquelles le modèle invente des faits externes non vérifiables dans le contexte (par exemple, inventer une jurisprudence juridique inexistante ou attribuer une citation célèbre au mauvais auteur).

Atténuation du phénomène (mitigation).

Si l'on ne peut pas encore « supprimer » les hallucinations (le modèle restant un moteur probabiliste), on utilise des techniques pour les contrôler.

• RAG (Retrieval-Augmented Generation) : le modèle génératif est connecté à une base de connaissances externe fiable. Le modèle doit alors formuler sa réponse uniquement à partir des documents retrouvés, ce qui réduit drastiquement l'invention (ancrage).
• RLHF (Reinforcement Learning from Human Feedback) : lors de l'alignement du modèle, des humains pénalisent les réponses hallucinées pour inciter le modèle à répondre « Je ne sais pas » plutôt qu'à inventer.

Le pilotage : prompt engineering (ingénierie de prompt).

Le prompt engineering est l'art et la science de concevoir et d'optimiser les entrées textuelles (ou prompts) afin de guider efficacement un grand modèle de langage (LLM) vers une réponse spécifique, sans modifier ses paramètres internes.

À la différence de la programmation traditionnelle, où le code est déterministe, le prompting consiste à contraindre la distribution de probabilité du modèle afin d'orienter la génération. On parle alors d'« apprentissage en contexte » : le modèle « apprend » temporairement grâce au contexte fourni dans la fenêtre d'attention, mais cet apprentissage disparaît dès que la session est fermée. Les poids du modèle restent figés (gelés).

Voici les techniques fondamentales que tout entrepreneur doit connaître :

• Le zero-shot learning : on demande au modèle d'effectuer une tâche sans aucun exemple préalable (par exemple, « traduis ce texte en anglais »).
• Le « few-shot learning » : on fournit au modèle quelques exemples de couples « question-réponse » dans le prompt pour lui montrer le format ou la logique attendue avant de lui poser la vraie question. Cette méthode améliore drastiquement les performances.
• Chain-of-Thought (CoT) : on demande au modèle d'expliciter son raisonnement étape par étape (« Pense pas à pas ») avant de donner la réponse finale. Cette technique permet au modèle de décomposer des problèmes complexes (mathématiques ou logiques) et de réduire les hallucinations.

Fine-Tuning (peaufinage ou ajustement fin).

Le Fine-Tuning est un processus d'apprentissage supervisé qui intervient après le pré-entraînement initial du modèle. Il s'agit d'une technique d'apprentissage par transfert.

À la différence du Prompt Engineering, le Fine-Tuning modifie durablement les paramètres (poids) du réseau de neurones.

Le processus consiste à prendre un modèle généraliste pré-entraîné (par exemple Gemini), qui a « lu » tout Internet, et à le ré-entraîner sur un jeu de données plus petit, très spécifique et de haute qualité (ensemble de données de spécialisation).

Pourquoi faire du Fine-Tuning ?

Il existe trois raisons majeures de faire du fine-tuning :

1. Spécialisation métier : pour adapter un modèle au vocabulaire médical, juridique ou au code informatique d'une entreprise spécifique.
2. Adaptation de style : pour forcer le modèle à répondre dans un style, un format ou une structure précise (par exemple, JSON, poème ou rapport militaire).
3. Réduction des coûts : un petit modèle bien « finetuné » peut souvent égaler les performances d'un modèle géant généraliste sur une tâche précise, tout en étant moins cher à faire tourner.

Remarque sur le PEFT (Parameter-Efficient Fine-Tuning) : aujourd'hui, il est rare de réentraîner tous les milliards de paramètres d'un modèle (ce qui est trop coûteux). On utilise des techniques comme LoRA (Low-Rank Adaptation) qui consistent à ne modifier qu'une infime partie des paramètres (parfois moins de 1 %) pour obtenir des résultats similaires.

Intelligence Artificielle multimodale.

L'IA moderne tend vers la multimodalité, c'est-à-dire la capacité de traiter simultanément différents types de signaux (texte, image, audio) au sein d'un même espace mathématique (espace latent).

Contrairement aux modèles « unimodaux » conçus pour une seule tâche (par exemple, un modèle qui ne fait que traduire du texte), un système multimodal est capable de traiter, de comprendre et de générer des informations provenant de plusieurs types de signaux ou modalités simultanément1NBSP.: texte, image, audio, vidéo, code ou données sensorielles.

Les modalités.

• Text-to-Text : raisonnement, traduction, résumé.
• Text-to-Image ; / Image-to-Text : génération visuelle ou analyse d'images par le biais de réseaux de diffusion et d'encodeurs visuels.
• Nativement multimodal : modèles (comme GPT-4o ou Gemini 3) entraînés dès le départ sur un mélange de médias, capables de « voir » et « entendre » sans outils de conversion intermédiaires.

Les Agents (Text-to-Action).

L'évolution ultime est l'agent IA. Au lieu de simplement générer une réponse, il est capable d'utiliser des outils externes (navigation sur le Web, exécution de code, appel d'une API) pour effectuer des tâches complexes de manière autonome.