Création de pipelines de données en continu avec Kafka et Spark

Dans le monde actuel axé sur les données, traiter les informations dès leur arrivée est crucial pour prendre des décisions rapides. Ce cours vous guide à travers les fondamentaux de la construction de pipelines de streaming de données robustes et en temps réel en utilisant des outils standards de l'industrie. Vous passerez de la compréhension des concepts de base des données à la construction de pipelines de streaming entièrement fonctionnels. En combinant la puissance de courtage de messages de Kafka avec la force analytique de Spark Structured Streaming, vous apprendrez à ingérer, traiter et stocker des flux continus de données de manière efficace et fiable. Ce que vous apprendrez : - Comprendre l'architecture fondamentale des flux de données en temps réel et des systèmes axés sur les événements. - Configurer les sujets Kafka, les producteurs et les consommateurs pour gérer des flux de données à haut débit. - Appliquer Kafka Connect pour ingérer de manière transparente des journaux web et des sources de données externes. - Construire des applications Spark Structured Streaming pour traiter et transformer des données en direct à la volée. - Intégrer Kafka avec Spark pour gérer le traitement incrémentiel des données et les transformations avec état. - Écrire des flux traités dans des couches de stockage modernes comme Delta Lake et des systèmes de fichiers distribués. Le cours commence par les définitions de base et la configuration de l'environnement local à l'aide de flux de travail de conteneurs modernes. Vous progresserez ensuite étape par étape, de la messagerie Kafka de base à l'intégration avancée de Spark, pour aboutir à la construction d'un pipeline de bout en bout grâce à des explications écrites et des extraits de code clairs. Conçu pour les ingénieurs de données et les développeurs en herbe, ce cours ne nécessite aucune expérience préalable en streaming. Nous commençons par les bases absolues et la terminologie clé avant de passer à la configuration pratique et au code structuré. Commencez à lire dès aujourd'hui pour maîtriser les technologies clés qui propulsent l'ingénierie moderne des données en temps réel.