Limite maximale de tokens (mots et sous-mots) qu'un LLM peut traiter en une seule inférence, englobant le prompt, l'historique de conversation et la réponse générée. Les premiers modèles GPT-3 avaient une fenêtre de 4 096 tokens ; les modèles récents atteignent 128k à 1M tokens. Une fenêtre de contexte étendue permet d'analyser de longs documents, de maintenir des conversations approfondies et de réaliser du few-shot learning avec de nombreux exemples. Cependant, les LLMs souffrent du « lost in the middle » : ils accordent plus d'attention aux informations en début et fin de contexte qu'au milieu. Le coût d'inférence est proportionnel à la taille du contexte.