Data Universe
Newsletter
GlossaireTTransfer Learning
Deep Learning

Transfer Learning

Définition

Technique qui réutilise un modèle pré-entraîné sur une tâche générale à grande échelle (classification ImageNet pour la vision, prédiction de tokens pour le NLP) comme point de départ pour une tâche cible avec moins de données. Les couches basses du réseau apprennent des représentations génériques (bords pour la vision, syntaxe pour le texte) réutilisables, tandis que les couches hautes capturent des abstractions tâche-spécifiques. Le fine-tuning ajuste tout ou partie du réseau pré-entraîné sur les données cibles. Le transfer learning a démocratisé le deep learning : il n'est plus nécessaire de disposer de millions d'exemples étiquetés ni de puissance de calcul massive pour obtenir des résultats state-of-the-art.

Exemples concrets

Fine-tuning BERT pour la classificationResNet pré-entraîné pour visionHugging Face Transformers
← Retour au glossaireTermes en “T

Fiche rapide

CatégorieDeep Learning
Exemples3 outils / technologies