Metaflow

ML Platform

Le framework ML workflow de Netflix — définissez vos pipelines ML comme du Python simple

Tarif

Gratuit (open source). Outerbounds propose une version enterprise managée.

Open sourceFree tierIntermédiaire

Présentation

Metaflow est le framework open source de Netflix pour l'ingénierie ML en production. Il permet de définir des workflows ML comme des classes Python décorées (@step), avec gestion automatique des données, versioning, et déploiement sur AWS Batch/SageMaker ou Kubernetes. Metaflow simplifie drastiquement le passage du notebook Python à un pipeline ML reproductible et scalable.

Fonctionnalités clés

✓Décorateurs Python (@step, @retry, @catch, @timeout)

✓Gestion automatique des artéfacts et du versioning

✓Parallélisation via foreach

✓Déploiement sur AWS Batch/K8s/SageMaker

✓Debugging avancé (resume depuis un step échoué)

✓Notebooks intégrés pour l'exploration des résultats

✓Cartes (visualisations dans les steps)

✓CLI pour le monitoring des runs

Cas d'usage

Pipeline de recommandation Netflix-style

Metaflow orchestre l'entraînement hebdomadaire d'un modèle de recommandation : extraction features S3 → entraînement PyTorch distribué sur GPU → évaluation → push vers SageMaker endpoint.

✓ Points forts

+Transition naturelle notebook → pipeline : reste du Python standard

+Debugging sans refaire tout le pipeline (resume depuis le step échoué)

+Gestion automatique du versionning des artéfacts

+Scalabilité transparente vers le cloud

✗ Limites

−Moins de fonctionnalités d'observabilité qu'Airflow

−Ecosystème plus petit qu'Airflow ou Dagster

−Principalement optimisé pour AWS

⚠️ Pièges connus en production

1.Les artéfacts Metaflow sont stockés dans S3 — configurer les politiques de lifecycle pour éviter l'accumulation de données.

✓ Fait pour vous si…

Data scientists qui veulent industrialiser leurs notebooks Python en pipelines ML reproductibles sans apprendre un DSL complexe.

✗ Pas fait pour vous si…

Orchestration de pipelines data généraux (ingest, transform) — préférer Airflow ou Dagster.

mlworkflowopen-sourcenetflixpython