Data Universe
Newsletter
GlossaireIIdempotence
Engineering

Idempotence

Définition

Propriété mathématique d'une opération dont l'application répétée produit le même résultat que son application unique. En data engineering, c'est une propriété indispensable pour les pipelines fiables : si une tâche est réexécutée après une panne, elle ne doit pas créer de doublons ni corrompre les données. Un DELETE + INSERT conditionnel ou un MERGE (upsert) sont idempotents ; un INSERT inconditionnel ne l'est pas. Concevoir des pipelines idempotents dès le départ permet de simplifier drastiquement la gestion des erreurs et des retries : on peut rejouer n'importe quelle tâche en toute sécurité.

Exemples concrets

MERGE INTO en SQLUpsertsDelta Lake ACID transactions
← Retour au glossaireTermes en “I

Fiche rapide

CatégorieEngineering
Exemples3 outils / technologies