Data Universe
Newsletter
GlossaireSSchema Evolution
Data Engineering

Schema Evolution

Définition

Capacité d'un système de stockage à gérer les changements de structure d'un schéma de données (ajout de colonne, renommage, suppression, changement de type) sans casser les readers ou writers existants. Sans schema evolution, tout changement de schéma oblige à réécrire l'intégralité des données. Apache Iceberg, Delta Lake et Hudi gèrent la schema evolution nativement : ajouter une colonne nullable est une opération metadata-only en millisecondes. Les types de changements autorisés varient : l'ajout de colonne est presque universellement supporté, le renommage et le changement de type sont plus risqués. Avro et Protobuf ont leurs propres règles de compatibilité (backward, forward, full). La gestion du Schema Registry dans un contexte Kafka garantit que producteurs et consommateurs restent compatibles.

Exemples concrets

ALTER TABLE ADD COLUMN (Iceberg)Delta Lake schema evolution autoAvro Schema Registry compatibilitédbt add column migration
← Retour au glossaireTermes en “S

Fiche rapide

CatégorieData Engineering
Exemples4 outils / technologies