🏗️Exemple concret
Modèle de scoring crédit : AUC = 0.85 signifie que dans 85% des cas, le modèle attribue un score de risque plus élevé à quelqu'un qui va faire défaut plutôt qu'à quelqu'un qui va rembourser. C'est bien mieux qu'un modèle aléatoire (AUC=0.5) mais en deçà d'un modèle excellent (AUC > 0.95).
∑ Concept clé
AUC = ∫₀¹ TPR(FPR) d(FPR). La courbe ROC trace TPR (sensibilité) vs FPR (1-spécificité) pour tous les seuils de décision possibles.
🎯Quand l'utiliser ?
✓Évaluation de modèles de classification binaire
✓Comparaison de plusieurs modèles
✓Quand les classes sont déséquilibrées (fraude, maladie rare)
✅ Avantages
+Indépendant du seuil de décision
+Robuste aux classes déséquilibrées
+Comparable entre différents modèles
⚠️ Limites
−Ne distingue pas FP et FN (qui peuvent avoir des coûts très différents)
−Peut être trompeur sur des datasets très déséquilibrés (préférer PR-AUC)
−Ne donne pas d'information sur la calibration des probabilités
🛠️ Outils principaux
Scikit-learn (roc_auc_score)
MLflow (tracking automatique)
Dataiku (métriques intégrées)
MLÉvaluationMétriquesClassification