Evidently AI est le framework Python de référence pour détecter la dégradation des modèles ML en production : data drift, concept drift, qualité des prédictions, biais. Il génère des rapports visuels HTML et des métriques intégrables dans des tableaux de bord. En 2025, il a étendu sa couverture aux LLMs avec des évaluations de qualité des réponses.
Détection de data drift en production
Evidently compare la distribution des données d'inférence production avec le dataset d'entraînement de référence, détecte les dérives statistiques (PSI, Wasserstein, K-S test) et génère des rapports HTML détaillés.
Monitoring de la performance des modèles ML
Quand les labels terrain sont disponibles avec délai, Evidently calcule les métriques de performance (accuracy, RMSE, AUC) dans le temps et envoie des alertes dès qu'une dégradation est détectée.
Audit de biais et d'équité des modèles
Evidently génère des rapports d'équité segmentés par variables sensibles (genre, âge, région), permettant aux équipes de vérifier l'absence de discrimination dans les prédictions avant déploiement.
Intégration dans des pipelines MLOps automatisés
Evidently s'intègre dans Airflow, Prefect ou MLflow pour exécuter des tests de qualité de données et de dérive à chaque batch d'inférence, avec des seuils configurables déclenchant des retrainings automatiques.
✓ Points forts
✗ Limites
✓ Fait pour vous si…
Équipes ML qui veulent surveiller leurs modèles en production sans infrastructure complexe. Idéal en complément de MLflow ou W&B.
✗ Pas fait pour vous si…
Monitoring temps réel à très haute fréquence, organisations avec SLA strict nécessitant des outils enterprise.
Documentation officielle Evidently AI
DocumentationEvidently AI
ML Model Monitoring with Evidently
MOOCUdemy
MLOps Fundamentals — Model Monitoring
MOOCDataCamp