🏗️Exemple concret
Modèle de prédiction de churn télécom entraîné avant le lancement de la 5G. Après le lancement : les clients qui consomment peu de données (feature importante = « churner probable ») ne le sont plus — ils ont upgradé. L'AUC passe de 0.85 à 0.71 en 6 mois. Seul un monitoring des distributions de features et de la performance détecte cette dégradation.
∑ Concept clé
Data drift : mesure PSI (Population Stability Index) ou KS test entre distribution actuelle et distribution de référence. PSI < 0.1 : stable. 0.1-0.25 : alerte. > 0.25 : retraining requis. Concept drift : suivi de la métrique métier (AUC, F1) sur les données récentes labellisées.
🎯Quand l'utiliser ?
✓Monitoring de tout modèle ML en production
✓Système d'alerte pour détecter le moment du retraining
✓Audit de la robustesse des modèles avant déploiement
✅ Avantages
+Détection précoce avant que le modèle cause des erreurs métier
+Automatisation possible du retraining déclenché par drift
+Justifiable pour la conformité réglementaire (modèles bancaires)
⚠️ Limites
−Nécessite des données labellisées récentes pour mesurer le concept drift
−Seuils d'alerte à calibrer (trop sensible = fausses alarmes)
−Coût de monitoring et d'infrastructure
🛠️ Outils principaux
Evidently AI (open source)
WhyLabs
Arize AI
Databricks Lakehouse Monitoring
Azure ML Model Monitor
MLOpsMLProductionMonitoringQualité modèles