Hyperparameter Tuning â€” Optuna et Bayesian Optimization

Techniques automatisÃ©es pour trouver les meilleurs hyperparamÃ¨tres d'un modÃ¨le ML, remplaÃ§ant la grid search par des mÃ©thodes intelligentes qui apprennent des essais prÃ©cÃ©dents.

💡Explication simple

Un modÃ¨le XGBoost a des dizaines d'hyperparamÃ¨tres : learning_rate, max_depth, n_estimators, subsample... Tester toutes les combinaisons (grid search) prendrait des semaines. La Bayesian Optimization est intelligente : aprÃ¨s chaque essai, elle construit un modÃ¨le de substitution qui prÃ©dit quelle combinaison essayer ensuite. Comme un chercheur qui apprend de ses expÃ©riences au lieu de tout tester aveuglÃ©ment.

🏗️Exemple concret

Optimisation d'un XGBoost pour la dÃ©tection de fraude : Grid Search classique sur 5 paramÃ¨tres Ã— 10 valeurs = 100 000 combinaisons (impossible). Optuna avec 200 essais en 2 heures : AUC = 0.94 avec learning_rate=0.05, max_depth=6, n_estimators=500. Grid Search sur le mÃªme espace : estimerait 3 semaines pour trouver mieux. Gain : 99%+ du temps Ã©conomisÃ©.

∑ Concept clé

Bayesian Optimization : Surrogate model (Gaussian Process ou Tree Parzen Estimator) + Acquisition function (Expected Improvement : EI(x) = E[max(f(x) - f(x+), 0)]). Optuna utilise TPE (Tree-structured Parzen Estimator).