Data Engineering: Kafka, Spark und Airflow-Pipelines

Dieser Kurs bietet einen praktischen Ansatz für Data Engineering, der sich auf die wichtigsten Tools und Techniken konzentriert, die heute verwendet werden. Sie erwerben die Fähigkeiten, zeitgemäße Datenverarbeitungs-Workflows zu erstellen, bereitzustellen und zu verwalten, von der Aufnahme von Rohdaten bis hin zu einem strukturierten Daten-Lakehouse. Was Sie lernen werden: - Verstehen Sie die Grundlagen des Data Engineering und des Pipeline-Baus. - Implementieren Sie Streaming- und Batch-Datenverarbeitungsmuster mit Kafka und Spark. - Verwalten Sie die Workflow-Orchestrierung und -Planung mit Airflow. - Konfigurieren und interagieren Sie mit einem Data Lakehouse für skalierbare Datenspeicherung. - Wenden Sie Konzepte der Schema-Evolution und Datenverträge für zuverlässige Datenflüsse an. - Üben Sie das Erstellen und Bereitstellen von Pipelines mit Docker Compose. Dieser Kurs führt Sie durch die Einrichtung einer vollständigen Datenpipeline, von der Nachrichtenwarteschlange mit Kafka über die verteilte Verarbeitung mit Spark bis hin zur Datenspeicherung in einem Lakehouse, alles orchestriert von Airflow.Sie werden wesentliche Konzepte wie Fenster, Wasserzeichen und Schema-Management erkunden. Dieser Kurs richtet sich an Anfänger mit einem grundlegenden Verständnis von Python, ohne dass vorherige Datentechnikerfahrung erforderlich ist. Beginnen Sie noch heute mit der Erstellung Ihrer modernen Datenpipelines.