Méthode d'ensemble séquentielle qui construit des arbres de décision additifs, chaque nouvel arbre corrigeant les erreurs résiduelles du modèle précédent. À chaque étape, un arbre est entraîné sur les résidus (gradients de la loss function) des prédictions précédentes, d'où le nom. Cette approche séquentielle le rend plus lent à entraîner qu'un Random Forest (parallélisable), mais généralement plus performant sur les données tabulaires structurées. Le gradient boosting est souvent l'algorithme gagnant des compétitions Kaggle sur données tabulaires. Les implémentations modernes (XGBoost, LightGBM, CatBoost) intègrent de nombreuses optimisations.