Data Universe
Newsletter
GlossaireRRégularisation (L1/L2)
Machine Learning

Régularisation (L1/L2)

Définition

Technique qui ajoute une pénalité à la fonction de perte pour réduire l'overfitting en contraignant la magnitude des poids du modèle. L1 (Lasso) : pénalité proportionnelle à la somme des valeurs absolues des poids — induit la sparsité (certains poids deviennent exactement 0), utile pour la sélection de features. L2 (Ridge) : pénalité proportionnelle à la somme des carrés des poids — distribue l'importance entre les features corrélées sans les annuler, préférable quand toutes les features sont pertinentes. Elastic Net combine L1 et L2. En deep learning, la régularisation L2 est souvent appelée 'weight decay'. Le paramètre lambda (ou alpha) contrôle l'intensité de la régularisation : plus il est élevé, plus les poids sont contraints. La régularisation est une forme de prior bayésien sur les poids.

Exemples concrets

Ridge Regression (L2)Lasso Regression (L1)ElasticNetWeight decay Adam optimizer
← Retour au glossaireTermes en “R

Fiche rapide

CatégorieMachine Learning
Exemples4 outils / technologies