Capacités d'un LLM à effectuer des tâches sans exemples (zero-shot) ou avec un petit nombre d'exemples dans le contexte (few-shot), sans réentraînement. Zero-shot exploite la compréhension générale acquise pendant le pré-entraînement : « Classe ce texte comme positif ou négatif : [texte] ». Few-shot fournit 2-5 paires exemple/résultat avant la requête pour préciser le format et le style attendus. Contrairement au fine-tuning, aucune modification des poids n'est nécessaire — tout se passe dans le prompt. Les grandes tailles de modèles sont généralement plus efficaces en zero/few-shot. Le few-shot in-context learning est particulièrement puissant pour des tâches avec peu de données étiquetées disponibles.