Data Universe
Newsletter
GlossaireAApache Flink
Processing

Apache Flink

Définition

Moteur de traitement de flux distribué open source conçu pour des pipelines stateful à bas latence et haute disponibilité. Contrairement à Spark Streaming qui repose sur le micro-batching, Flink traite chaque événement individuellement en vrai streaming, avec une latence de l'ordre de la milliseconde. Son modèle d'état distribué (keyed state, operator state) permet de maintenir des agrégations complexes sans base de données externe. Flink garantit l'exactement-une-fois (exactly-once) via des checkpoints asynchrones basés sur l'algorithme de Chandy-Lamport. Il supporte à la fois SQL (Flink SQL), l'API DataStream (Java/Python) et l'API Table. Utilisé massivement pour la détection de fraude temps réel, le scoring ML en ligne, et les pipelines CDC. Confluent, Alibaba et LinkedIn l'ont adopté à très grande échelle.

Exemples concrets

Flink SQLApache Flink sur KubernetesConfluent Cloud for FlinkAWS Managed Service for Apache Flink
← Retour au glossaireTermes en “A

Fiche rapide

CatégorieProcessing
Exemples4 outils / technologies