Dagster introduit le concept d'orchestration orientée assets (tables, fichiers, modèles) plutôt que tâches. Offre une meilleure observabilité du lineage et permet de raisonner sur l'état des données, pas seulement sur l'exécution des tâches.
Orchestration orientée assets data
Dagster modélise les pipelines autour des assets (tables, modèles ML, fichiers) plutôt que des tâches, offrant une vision naturelle du lineage et de la fraîcheur des données.
Intégration native avec dbt et Spark
Dagster s'intègre nativement avec dbt, Spark et Great Expectations pour orchestrer des pipelines data avec qualité et transformation dans un workflow unifié.
Observabilité et gestion des dépendances
L'UI Dagster affiche le graphe de dépendances des assets, leur statut de fraîcheur et l'historique des matérialisations pour faciliter le débogage.
Backfill et matérialisation partielle
Dagster permet de re-matérialiser sélectivement des assets en amont ou en aval d'un problème détecté, sans rejouer l'intégralité du pipeline.
✓ Points forts
✗ Limites
✓ Fait pour vous si…
Équipes data engineering modernes qui pensent en termes d'assets (tables, fichiers, modèles). Projets dbt + Spark.
✗ Pas fait pour vous si…
Orchestration d'événements purement opérationnels. Équipes déjà fortement investies Airflow.
Dagster Documentation & Tutorials
DocumentationDagster
Dagster University (Essentials)
Formation officielleDagster
Modern Data Orchestration with Dagster
MOOCUdemy