Data Universe
Newsletter
Accueil/Encyclopédie/Amazon Kinesis Data Streams
🌊CloudAvancéAWS - Streaming

Amazon Kinesis Data Streams

Service de streaming AWS permettant d'ingérer et traiter des flux de données en temps réel à très haute échelle, compatible avec Flink et Spark Streaming.

💡Explication simple

Imagine un tapis roulant en usine : les produits (données) arrivent en continu, sans interruption. Kinesis est ce tapis roulant pour les données : les capteurs IoT, clics web, logs serveur envoient leurs données dans Kinesis qui les distribue à plusieurs applications en temps réel. Contrairement à S3 (stockage batch), Kinesis traite les données dans les secondes suivant leur production.

🏗️Exemple concret

Monitoring temps réel d'un site e-commerce : chaque clic est envoyé dans Kinesis Data Streams. Trois consommateurs lisent en parallèle : la détection de fraude (alerte en < 2s), le système de recommandation (mise à jour en temps réel) et Kinesis Firehose qui archive dans S3 pour l'analyse batch.

∑ Concept clé

Débit = 1 MB/s ou 1 000 enregistrements/s par shard. Coût ≈ $0.015/shard-heure + $0.014/million d'enregistrements.

🎯Quand l'utiliser ?

Streaming d'événements temps réel sur AWS
Monitoring et alerting en temps réel
Ingestion avant traitement Flink ou Lambda

✅ Avantages

+Intégration native avec tous les services AWS
+Serverless avec Kinesis Data Firehose
+Rétention des données jusqu'à 365 jours

⚠️ Limites

Coût par shard (prévoir la capacité à l'avance)
Plus cher que Kafka auto-hébergé à grande échelle
Latence légèrement supérieure à Kafka

🛠️ Outils principaux

Kinesis Data Streams
Kinesis Data Firehose (S3/Redshift)
Kinesis Data Analytics (Flink managé)
AWSStreamingTemps réelIoT

Concepts liés

🏪

Amazon Redshift

AWS - Data Warehouse

🪣

Amazon S3 (Simple Storage Service)

AWS - Stockage

🔬

Amazon SageMaker

AWS - Machine Learning

🏔️

AWS Bedrock — IA Générative sur AWS

IA Générative Cloud

← Retour à l'encyclopédie