🏗️Exemple concret
Architecture moderne avec dbt : données brutes chargées depuis Salesforce dans Snowflake (EL via Fivetran), puis transformées avec dbt (T) — modèles SQL définis dans des fichiers .sql versionnés sur GitHub. Résultat : pipeline traçable, testable et documenté. Vs ETL classique (Informatica) : transformations en boîte noire, difficile à déboguer.
∑ Concept clé
ETL : données source → transformation (en mémoire) → chargement entrepôt. ELT : données source → chargement raw → transformation (SQL in-warehouse).
🎯Quand l'utiliser ?
✓ELT : entrepôts cloud modernes (Snowflake, BigQuery, Redshift)
✓ETL : données sensibles ne pouvant pas être stockées brutes, systèmes legacy
✓ELT préféré aujourd'hui grâce au coût de calcul cloud réduit
✅ Avantages
+ELT : données brutes disponibles pour reprocessing
+ELT : transformations versionables et testables (dbt)
+ETL : réduit le volume stocké en entrepôt
⚠️ Limites
−ELT : coût de stockage des données brutes
−ETL : transformations difficiles à modifier après déploiement
−ELT : requiert un entrepôt cloud puissant
🛠️ Outils principaux
ELT : Fivetran, Airbyte + dbt + Snowflake/BigQuery
ETL : Talend, Informatica, Azure Data Factory
Les deux : Apache Spark
Data EngineeringArchitecturedbtPipelinesFondamentaux