Langfuse

IA Générative

L'observabilité open source pour vos applications LLM — traces, évaluations et coûts

Tarif

Open source gratuit (self-hosted). Langfuse Cloud : free tier (50K traces/mois), Pro 59€/mois.

Open sourceFree tierDébutant

Présentation

Langfuse est la plateforme d'observabilité open source pour les applications LLM. Il trace chaque appel LLM, les étapes RAG, les appels d'outils et les scores d'évaluation. Le dashboard affiche les coûts, la latence, les taux d'erreur et la qualité des réponses. Intégration plug-and-play avec LangChain, LlamaIndex, OpenAI SDK, Anthropic SDK.

Fonctionnalités clés

✓Tracing complet des applications LLM (spans, LLM calls)

✓Coût et usage token par requête et par utilisateur

✓Evaluations LLM-as-judge et scores humains

✓Datasets pour les tests de régression

✓Prompt Management versioning

✓Dashboard métriques (latence, coût, qualité)

✓Intégration LangChain, LlamaIndex, OpenAI, Anthropic

✓SDK Python et JS/TS

Cas d'usage

Optimisation des coûts d'une app LLM

Langfuse révèle que 30% des requêtes utilisent le modèle claude-3-5-sonnet pour des tâches simples. Migration de ces requêtes vers claude-3-haiku : -65% de coût.

✓ Points forts

+Open source et self-hostable (RGPD)

+Démarrage en 5 lignes de code

+Suivi des coûts par feature/utilisateur/prompt

+Évaluation intégrée pour mesurer la qualité des réponses

✗ Limites

−Moins de fonctionnalités enterprise qu'Arize Phoenix ou LangSmith

−Self-hosting nécessite une infrastructure (Docker/Kubernetes)

⚠️ Pièges connus en production

1.L'instrumentation correcte des spans (traces) est essentielle — un mauvais nommage rend le dashboard illisible.

2.Activer le sampling (ne tracer que 10% des requêtes) dès que les volumes dépassent le free tier.

✓ Fait pour vous si…

Équipes développant des applications LLM souhaitant une observabilité complète avec contrôle des données (RGPD).

✗ Pas fait pour vous si…

Cas d'usage sans besoin d'observabilité LLM (modèles ML classiques).

llmobservabilityopen-sourcetracingevaluation