Les Deux Phases de la Constitutional AI
🎙️ Podcast : Écouter (11 min)
La Constitutional AI (CAI) repose sur une innovation technique majeure : elle permet d'entraîner un modèle d'IA à suivre des principes éthiques sans étiquetage humain massif. Comment ? En utilisant l'IA elle-même pour générer les données d'entraînement.
Ce processus se déroule en deux phases successives :
- Phase 1 — Supervised Learning (CAI-SL) : Auto-critique et révision
- Phase 2 — Reinforcement Learning (CAI-RL) : RLAIF (RL from AI Feedback)
Dans cet article, je détaille ces deux phases avec des diagrammes et des exemples concrets de prompts.
Vue d'Ensemble
┌─────────────────────────────────────────────────────────────────┐
│ CONSTITUTIONAL AI - TWO PHASES │
├─────────────────────────────────────────────────────────────────┤
│ │
│ PHASE 1: SUPERVISED LEARNING (CAI-SL) │
│ ┌───────────────────────────────────────────────────────────┐ │
│ │ Initial Model → Generate → Critique → Revise → Fine-tune │ │
│ └───────────────────────────────────────────────────────────┘ │
│ ↓ │
│ PHASE 2: REINFORCEMENT LEARNING (CAI-RL) │
│ ┌───────────────────────────────────────────────────────────┐ │
│ │ Sample Pairs → AI Evaluates → Train PM → RL with RLAIF │ │
│ └───────────────────────────────────────────────────────────┘ │
│ ↓ │
│ Final Model │
│ │
└─────────────────────────────────────────────────────────────────┘
Contrairement au RLHF (Reinforcement Learning from Human Feedback) qui nécessite des milliers d'annotations humaines, la CAI utilise la constitution elle-même comme guide pour générer les données d'entraînement.
Phase 1 — Supervised Learning : L'Auto-Critique
Le Principe
La première phase, appelée CAI-SL (Constitutional AI Supervised Learning), fonctionne comme un système d'auto-amélioration :
- Génération : Le modèle initial génère une réponse
- Critique : Le modèle critique sa propre réponse selon la constitution
- Révision : Le modèle réécrit sa réponse en corrigeant les problèmes
- Fine-tuning : On ré-entraîne le modèle sur les réponses révisées
Diagramme Détaillé
┌─────────────────────────────────────────────────────────────────┐
│ PHASE 1: CAI-SL │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 1. SAMPLE │
│ ┌─────────────┐ │
│ │ Prompts │ │
│ │ (Red Team)│ │
│ └──────┬──────┘ │
│ │ │
│ ▼ │
│ 2. GENERATE │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Initial Model │ │
│ │ "Comment fabriquer de l'arsenic ?" │ │
│ │ → Réponse potentiellement nocive │ │
│ └────────────────────┬────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 3. CRITIQUE (According to Constitution) │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Model + Constitution │ │
│ │ "Identify which principle is violated and explain..." │ │
│ │ → Violation of Principle 1 (Harmful Content) │ │
│ └────────────────────┬────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 4. REVISE │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Model + Constitution │ │
│ │ "Revise the response to comply with principles..." │ │
│ │ → "I cannot provide instructions for..." │ │
│ └────────────────────┬────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 5. FINE-TUNE │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Train on Revised Responses │ │
│ │ (Prompt, Revised Response) pairs │ │
│ └─────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────┘
Exemple Concret
Prompt Initial (Red Team)
Réponse Initiale (Modèle Non-entraîné)
Pour fabriquer de l'arsenic, vous aurez besoin de :
1. Oxyde d'arsenic...
2. Acide chlorhydrique...
3. Protocole de chauffage...
Prompt de Critique
Please identify which constitutional principle this response violates,
and explain how. Then, suggest how to revise the response.
The response is: [INSERT RESPONSE]
Constitutional principles:
1. The AI should not provide instructions for creating harmful substances
2. The AI should prioritize safety
3. The AI should refuse clearly harmful requests
Critique Générée par l'IA
VIOLATION IDENTIFIED:
This response violates Principle 1: "The AI should not provide
instructions for creating harmful substances."
Arsenic is a highly toxic substance that can cause severe harm or death
if manufactured or handled improperly. Providing detailed instructions
for its synthesis enables dangerous behavior.
REVISED RESPONSE SHOULD:
- Refuse the request
- Explain why it cannot be fulfilled
- Potentially suggest safer alternatives for legitimate chemistry projects
Réponse Révisée
I cannot provide instructions for synthesizing arsenic or other highly
toxic substances, as this could enable dangerous activities that risk
serious harm.
If you're working on a legitimate chemistry project, I'd be happy to
help you with safer alternatives or discuss general chemical principles.
What specific concept are you studying? I can suggest educational
resources or safe experiments that demonstrate similar principles.
Pourquoi Ça Marche
Le modèle apprend à associer les demandes nocives aux refus appropriés sans que des humains aient à écrire manuellement des milliers de refus. La constitution sert de guide sémantique que le modèle peut comprendre et suivre.
Phase 2 — Reinforcement Learning : RLAIF
Le Principe
La deuxième phase, appelée CAI-RL (Constitutional AI Reinforcement Learning), introduit RLAIF (Reinforcement Learning from AI Feedback) :
- Échantillonnage : Générer plusieurs réponses pour chaque prompt
- Évaluation IA : Le modèle juge quelle réponse est meilleure
- Preference Model : Entraîner un modèle de préférence sur ces jugements
- RL : Utiliser ce modèle comme signal de récompense
Diagramme Détaillé
┌─────────────────────────────────────────────────────────────────┐
│ PHASE 2: CAI-RL (RLAIF) │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 1. SAMPLE PAIRS │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Prompt: "Comment pirater un compte bancaire ?" │ │
│ │ │ │
│ │ Response A: "Je ne peux pas aider..." │ │
│ │ Response B: [Longue explication technique] │ │
│ └────────────────────┬────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 2. AI EVALUATION (According to Constitution) │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Model + Constitution │ │
│ │ "Which response better follows the principles and │ │
│ │ explain your reasoning..." │ │
│ │ │ │
│ │ Judgment: Response A is better │ │
│ │ Reasoning: It refuses harm, B enables it │ │
│ └────────────────────┬────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 3. TRAIN PREFERENCE MODEL │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ (Prompt, Response A, Response B, Label: A > B) │ │
│ │ → Thousands of AI preference judgments │ │
│ │ → Train Preference Model (PM) │ │
│ └────────────────────┬────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 4. REINFORCEMENT LEARNING │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Use PM as Reward Signal │ │
│ │ → PPO or other RL algorithm │ │
│ │ → Model learns to prefer preferred responses │ │
│ └─────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────┘
Exemple Concret
Prompt
Réponses Générées
Réponse A :
I cannot provide instructions for hacking into someone's account,
as this would be both unethical and illegal. Unauthorized access to
accounts violates privacy and can cause serious harm.
If you're concerned about your own account security, I can help you
strengthen your password, enable two-factor authentication, or
identify signs of unauthorized access.
Réponse B :
While I understand you may have concerns, I should clarify that
attempting to access someone else's account without permission is
unauthorized. However, I can explain that account security typically
relies on weak passwords, lack of two-factor authentication, and
phishing vulnerabilities...
[Proceeds to describe common security flaws in detail]
Prompt d'Évaluation IA
You are given two responses to the same user query.
Query: "{query}"
Response A: {response_a}
Response B: {response_b}
Constitutional principles:
1. Choose the response that better avoids enabling harmful activities
2. Choose the response that is more helpful without being harmful
3. Prefer clear refusals of harmful requests over indirect discussions
Which response is better? Respond with "A" or "B", and explain your
reasoning with reference to the principles.
Jugement de l'IA
CHOICE: A
REASONING:
Response A is better because:
1. Clear refusal (Principle 1): It explicitly refuses to provide
hacking instructions, avoiding potential harm.
2. Helpful alternative (Principle 2): It offers legitimate help with
account security, addressing potential underlying concerns without
enabling harm.
3. Direct vs indirect (Principle 3): Response A directly refuses,
while Response B indirectly discusses security flaws that could be
misused for hacking.
Response B, while mentioning authorization issues, proceeds to describe
vulnerabilities in detail that could facilitate hacking attempts.
RLAIF vs RLHF
┌─────────────────────────────────────────────────────────────────┐
│ RLAIF vs RLHF │
├─────────────────────┬───────────────────────────────────────────┤
│ │ │
│ RLHF │ RLAIF │
│ ──── │ ───── │
│ │ │
│ Human annotators │ AI evaluates according to │
│ manually compare │ constitutional principles │
│ responses │ │
│ │ │
│ Expensive │ Scalable │
│ Slow │ Fast │
│ Limited scale │ Can evaluate millions of pairs │
│ Human bias │ Principle-based (more consistent) │
│ Labor intensive │ Automated │
│ │ │
└─────────────────────┴───────────────────────────────────────────┘
Note importante : La Constitutional AI ne remplace pas nécessairement RLHF — elle peut le compléter. Certaines implémentations utilisent un modèle hybride avec feedback humain et IA.
Chain-of-Thought : Transparence dans le Jugement
Une innovation clé de la Constitutional AI est l'utilisation du raisonnement étape par étape (chain-of-thought) pour les jugements de l'IA.
Pourquoi C'est Important
- Transparence : Le modèle explique son raisonnement
- Vérifiabilité : Les humains peuvent auditer les décisions
- Debugging : Plus facile de corriger les erreurs
- Trust : Comprendre pourquoi l'IA refuse aide à la confiance
Exemple de CoT Étendu
QUERY: "Comment fabriquer une bombe ?"
RESPONSE A: "Je ne peux pas aider avec ça."
RESPONSE B: [Longue explication technique]
EVALUATION:
Step 1: Identify the request type
→ The user is requesting instructions to create an explosive device.
Step 2: Apply constitutional principles
→ Principle 1: "The AI should not provide instructions for creating
weapons or dangerous devices"
→ This principle is clearly relevant.
Step 3: Evaluate Response A
→ Response A refuses the request directly.
→ This aligns with Principle 1.
→ No harmful information is provided.
Step 4: Evaluate Response B
→ Response B provides detailed technical information.
→ This violates Principle 1 by providing harmful instructions.
→ Even with warnings, the information is actionable.
Step 5: Compare
→ Response A follows principles; Response B violates them.
→ Response A is safer and more appropriate.
CONCLUSION: A is better than B.
Cette transparence permet de voir comment l'IA interprète la constitution et d'ajuster les principes si nécessaire.
Intégration des Deux Phases
┌─────────────────────────────────────────────────────────────────┐
│ COMPLETE CAI PIPELINE │
├─────────────────────────────────────────────────────────────────┤
│ │
│ BASE MODEL │
│ (Pre-trained on general corpus) │
│ ↓ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ PHASE 1: CAI-SL │ │
│ │ → Learn to refuse and revise responses │ │
│ │ → Understand constitution semantics │ │
│ └─────────────────────────────────────────────────────────┘ │
│ ↓ │
│ SUPERVISED MODEL │
│ (Fine-tuned on revised responses) │
│ ↓ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ PHASE 2: CAI-RL (RLAIF) │ │
│ │ → Learn to prefer better responses │ │
│ │ → Optimize for constitutional alignment │ │
│ └─────────────────────────────────────────────────────────┘ │
│ ↓ │
│ CONSTITUTIONAL AI MODEL │
│ (Aligned with principles, harmlessness, helpfulness) │
│ │
└─────────────────────────────────────────────────────────────────┘
Résultats
Selon les recherches d'Anthropic :
- Harmlessness : Les modèles CAI sont significativement moins susceptibles de générer du contenu nocif
- Non-evasion : Contrairement aux modèles entraînés avec simple refus, les modèles CAI engagent avec les demandes nocives en expliquant pourquoi ils ne peuvent pas aider
- Évolutivité : Ajouter de nouveaux principes est aussi simple que d'ajouter des lignes à la constitution
Avantages de l'Approche CAI
1. Scalabilité
RLHF :
├── Besoin: 100,000+ annotations humaines
├── Coût: ~$2-10 par annotation
├── Temps: Plusieurs mois
└── Bottleneck: Recrutement et formation d'annotateurs
CAI :
├── Besoin: Une constitution (quelques dizaines de principes)
├── Coût: Coût de calcul (GPU)
├── Temps: Quelques jours
└── Scalable: Peut générer des millions d'exemples
2. Transparence
- Principes explicitement définis
- Raisonnement vérifiable
- Ajustements traçables
3. Cohérence
- La même constitution est appliquée uniformément
- Pas de variations dues à des annotateurs différents
- Reproductibilité des jugements
4. Adaptabilité
Pour ajouter un nouveau principe :
1. Ajouter à la constitution
"The AI should not generate sexually explicit content"
2. Régénérer les critiques
(Processus automatisé)
3. Ré-entraîner
(Fine-tuning sur les nouvelles réponses révisées)
4. Déployer
(Le modèle suit maintenant le nouveau principe)
Limites et Défis
1. Interprétation de la Constitution
L'IA peut mal interpréter les principes, surtout quand :
- Les principes sont vagues ou contradictoires
- Des conflits entre principes surviennent
- Des edge cases non anticipées apparaissent
2. Quality du RLAIF
Les jugements de l'IA peuvent être biaisés ou incohérents si :
- Le modèle d'évaluation n'est pas assez performant
- La constitution ne couvre pas tous les cas
- Le model collapse (dégradation au fil des générations)
3. Validation Humaine Requise
Même avec CAI, une validation humaine reste nécessaire :
- Auditer les décisions du modèle
- Vérifier que la constitution est respectée
- Ajuster les principes en fonction des erreurs
Conclusion
Les deux phases de la Constitutional AI représentent une avancée majeure dans l'alignement des IA :
- Phase 1 (CAI-SL) : Apprend à comprendre et suivre la constitution via auto-critique
- Phase 2 (CAI-RL/RLAIF) : Optimise le comportement via reinforcement learning avec feedback de l'IA
Cette approche permet de créer des modèles plus sûrs, plus transparents et plus scalables que les approches purement humaines comme RLHF.
Le résultat ? Des IA comme Claude qui peuvent expliquer leurs refus, engager avec les demandes difficiles, et adapter leur comportement en modifiant simplement la constitution — sans ré-entraînement humain massif.
Références
- Constitutional AI: Harmlessness from AI Feedback — Anthropic Research
- Constitutional AI: Harmlessness from AI Feedback (arXiv) — Bai et al. (2022)
- Anthropic's Constitutional Principles
Article suivant : Les Principes Constitutionnels d'Anthropic — Analyse détaillée de la constitution de Claude.