vLLM

IA Générative

Le serveur d'inférence LLM haute performance — 24x plus rapide que HuggingFace Transformers naïf

Tarif

Gratuit (open source). Coût = GPU cloud (H100 ~3€/heure sur RunPod).

Open sourceFree tierIntermédiaire

Présentation

vLLM est le standard de facto pour servir des LLMs en production. Son innovation PagedAttention gère le KV cache comme la mémoire virtuelle d'un OS, éliminant la fragmentation et permettant le batching continu. Compatible avec l'API OpenAI, vLLM peut servir Llama, Mistral, Qwen et la plupart des modèles Hugging Face. Speculative decoding et prefix caching réduisent encore la latence.

Fonctionnalités clés

✓PagedAttention pour la gestion efficace du KV cache

✓Continuous batching (regroupe les requêtes en cours de génération)

✓Compatible OpenAI API (drop-in replacement)

✓Quantization intégrée (AWQ, GPTQ, FP8)

✓Tensor Parallelism multi-GPU

✓Speculative Decoding

✓Prefix Caching (réutilisation du système prompt)

✓LoRA serving multi-adapters

✓Support flash attention

Cas d'usage

API LLM souverain en enterprise

Mistral-7B servi via vLLM sur 2 GPU A100, compatible OpenAI API, accessible depuis les applications internes. Données sensibles qui ne quittent jamais l'infra.

✓ Points forts

+24x plus de débit que HuggingFace Transformers naïf

+Compatible OpenAI API — zéro changement côté client

+Quantization intégrée pour réduire les besoins GPU

+LoRA multi-adapter : servir plusieurs modèles fine-tunés sur le même GPU

✗ Limites

−GPU NVIDIA requis (AMD expérimental)

−Configuration avancée pour le multi-GPU

−Moins simple que Ollama pour un usage local/dev

⚠️ Pièges connus en production

1.max_model_len trop grand fait exploser la VRAM — ajuster selon le use case réel.

2.Le continuous batching peut introduire de la latence sur des requêtes courtes si le batch est plein — ajuster max_num_seqs.

✓ Fait pour vous si…

Déploiement en production de LLMs open source avec de forts volumes de requêtes et exigences de latence.

✗ Pas fait pour vous si…

Usage local sur laptop, prototypage rapide (Ollama est plus adapté).

llmservingopen-sourceproductioninference