ETL vs ELT — Architecture data

ETL (Extract-Transform-Load) transforme les données avant chargement. ELT (Extract-Load-Transform) les charge d'abord, puis transforme directement dans l'entrepôt de données.

💡Explication simple

ETL, c'est comme préparer un repas en cuisine avant de servir : tu laves, coupes, cuisines avant que les convives voient quoi que ce soit. ELT, c'est apporter tous les ingrédients bruts à table et cuisiner directement là-bas. Dans le monde data : ELT charge les données brutes dans BigQuery ou Snowflake, puis les transforme avec du SQL ou dbt. ELT est devenu dominant grâce à la puissance des entrepôts cloud modernes.

🏗️Exemple concret

Architecture moderne avec dbt : données brutes chargées depuis Salesforce dans Snowflake (EL via Fivetran), puis transformées avec dbt (T) — modèles SQL définis dans des fichiers .sql versionnés sur GitHub. Résultat : pipeline traçable, testable et documenté. Vs ETL classique (Informatica) : transformations en boîte noire, difficile à déboguer.

Pythonexemple

import pandas as pd
from sqlalchemy import create_engine

# 1. Extract
df = pd.read_csv("source_data.csv")

# 2. Transform
df = df.dropna(subset=["customer_id", "amount"])
df["amount"] = df["amount"].astype(float)
df["date"]   = pd.to_datetime(df["date"])
df = df[df["amount"] > 0]
df["month"]  = df["date"].dt.to_period("M").astype(str)

# 3. Load
engine = create_engine("postgresql://user:pass@host:5432/warehouse")
df.to_sql("fct_transactions", engine,
          if_exists="append", index=False, method="multi")
print(f"{len(df)} lignes chargees.")

∑ Concept clé

ETL : données source transformation (en mémoire) chargement entrepôt. ELT : données source chargement raw transformation (SQL in-warehouse).