Data Universe
Newsletter
Accueil/Encyclopédie/Architecture Medallion (Bronze / Silver / Gold)
🥇Data EngineeringIntermédiaireArchitecture data

Architecture Medallion (Bronze / Silver / Gold)

Pattern d'architecture Lakehouse qui organise les données en 3 couches progressives : Bronze (brut), Silver (nettoyé) et Gold (agrégé pour la consommation).

💡Explication simple

Les données arrivent brutes (Bronze) : elles sont dans le format source, avec les erreurs, les doublons, les valeurs manquantes. La couche Silver nettoie et standardise : les colonnes sont renommées, les doublons supprimés, les types validés. La couche Gold agrège pour les besoins métier : le reporting directeur reçoit des KPIs précalculés, les modèles ML reçoivent des features prêtes. Chaque couche est indépendante et reproductible.

🏗️Exemple concret

Data platform d'une banque sur Azure : Bronze = tables sources copiées depuis les systèmes (transactions, contrats, clients) au format brut dans ADLS Gen2. Silver = tables normalisées, jointures résolues, données nettoyées. Gold = modèles agrégés (exposition risque par client, scoring journalier, reporting réglementaire). dbt orchestre les 3 couches.

∑ Concept clé

Bronze (Raw) : COPY AS-IS depuis source, pas de transformation. Silver (Curated) : déduplication, typage, nettoyage, enrichissement. Gold (Serving) : agrégats, métriques métier, modèles optimisés pour la consommation.

🎯Quand l'utiliser ?

Toute architecture Lakehouse (Databricks, Fabric, Iceberg+Spark)
Organisation des tables dans un Data Lake
Séparation claire entre ingestion, transformation et serving

✅ Avantages

+Reproductibilité : le Gold est toujours recalculable depuis le Bronze
+Isolation : une erreur en Silver n'affecte pas le Bronze
+Debugging facilité : on peut rejouer n'importe quelle couche

⚠️ Limites

Multiplication des tables (3x le nombre de tables)
Latence additionnelle (3 couches à traverser)
Définition des frontières Silver/Gold parfois floue selon les équipes

🛠️ Outils principaux

Databricks (Lakehouse natif)
Microsoft Fabric (OneLake + Medallion)
dbt (Silver → Gold)
Apache Spark (Bronze → Silver)
Data EngineeringArchitectureLakehouseDatabricksData Lake

Concepts liés

âš¡

Apache Flink — Stream processing temps réel

Streaming

🧊

Apache Iceberg

Lakehouse Architecture

🏗️

Architecture Lakehouse

Architecture

📡

Change Data Capture (CDC)

Ingestion de données

← Retour à l'encyclopédie