Implémentation optimisée du gradient boosting développée par Tianqi Chen, devenue l'algorithme de référence pour la prédiction sur données tabulaires. Ses optimisations clés incluent la régularisation L1/L2 intégrée, le traitement natif des valeurs manquantes, la parallélisation de la construction des arbres et un cache-aware block structure pour l'efficacité mémoire. XGBoost a dominé Kaggle pendant des années et reste très compétitif face à LightGBM et CatBoost. Il est applicable à la classification, la régression, le ranking et même la détection d'anomalies. Son principal concurrent LightGBM est plus rapide sur les très grands datasets grâce au leaf-wise tree growth.