Data Universe
Newsletter
GlossaireIIn-Context Learning
IA Générative

In-Context Learning

Définition

Capacité émergente des LLMs à apprendre des nouvelles tâches à partir d'exemples fournis directement dans le prompt, sans modification des poids du modèle. Contrairement au fine-tuning qui modifie les paramètres, l'in-context learning est une forme d'apprentissage à l'inférence. Few-shot learning fournit quelques exemples (input → output) dans le prompt ; zero-shot learning ne fournit que l'instruction. Le modèle infère le pattern des exemples et l'applique à la nouvelle entrée. Cette capacité est corrélée à la taille du modèle — elle apparaît significativement au-dessus d'un certain seuil de paramètres (phénomène de 'capacité émergente'). Limites : performance dégradée si les exemples sont contradictoires, sensibilité à l'ordre des exemples dans le prompt, et contrainte du context window. L'ICL est un des piliers de l'utilité pratique des LLMs sans fine-tuning.

Exemples concrets

Few-shot classificationChain-of-Thought examplesTask induction via exemplesGPT-3 ICL paper (Brown 2020)
← Retour au glossaireTermes en “I

Fiche rapide

CatégorieIA Générative
Exemples4 outils / technologies