🏗️Exemple concret
Scoring crédit avec Conformal Prediction : au lieu de 'risque de défaut = 0.73', le modèle dit 'risque entre 0.65 et 0.81 avec 90% de confiance'. Pour les dossiers avec un intervalle large (incertitude élevée), le conseiller examine manuellement. Résultat : réduction de 23% des erreurs de décision sur les cas ambigus.
∑ Concept clé
Score de non-conformité (NC score) : s_i = |y_i - ŷ_i| pour la régression. Quantile empirique : q = (1-α)(1+1/n)-quantile des NC scores sur un calibration set. Intervalle de prédiction : [ŷ - q, ŷ + q].
🎯Quand l'utiliser ?
✓Systèmes critiques nécessitant des garanties d'incertitude (médical, financier)
✓Remplacement des intervalles de confiance heuristiques
✓Détection des données out-of-distribution (entrées inhabituelles)
✅ Avantages
+Garanties théoriques (couverture marginale garantie sans hypothèses distribution)
+Applicable à tout modèle (post-hoc, model-agnostic)
+Applicable à la classification (prediction sets) et régression (intervals)
⚠️ Limites
−Intervalles conservateurs sur certaines distributions
−Nécessite un jeu de calibration (10-20% des données)
−Peu connu dans l'industrie (adoption encore limitée)
🛠️ Outils principaux
MAPIE (Python)
Crepes (Python)
Conformal Prediction Python library
Scikit-learn (split conformal)
MLIncertitudeStatistiquesProductionFiabilité