Grundlagen der serverlosen Datenverarbeitung mit Dataflow

Modernes Data Engineering erfordert die Verarbeitung riesiger Datensätze ohne den Aufwand für die Verwaltung einer komplexen Serverinfrastruktur.Serverless Data Processing löst diese Herausforderung, indem es die Datenverarbeitung vom Speicher entkoppelt. Dieser Kurs führt Sie in die Grundprinzipien des serverlosen Daten-Engineering mit Apache Beam und Dataflow ein.Sie werden vom Verständnis der grundlegenden Datenverarbeitungsterminologie zum Schreiben, Testen und Ausführen Ihrer eigenen serverloser Pipelines übergehen. Was Sie lernen werden: - Verstehen Sie die grundlegenden Konzepte der serverlosen Datenverarbeitung und wie Dataflow Pipelines ausführt. - Schreiben Sie Apache Beam-Pipelines mit modernen Programmierpraktiken, einschließlich Typhinweisen und strukturierten Schemata. - Wenden Sie Transformationslogik an, um sowohl Batch- als auch Streaming-Daten zu manipulieren, zu filtern und zu aggregieren. - Nutzen Sie das Beam Portability-Framework, um zu verstehen, wie Pipelines über verschiedene Ausführungsbackends laufen. - Üben Sie das Schreiben von Unit-Tests für Ihre Datenpipelines, um die Zuverlässigkeit vor der Bereitstellung sicherzustellen. Sie beginnen mit Kerndefinitionen und der Architektur von serverlosen Pipelines, bevor Sie Schritt für Schritt schriftliche Erklärungen zum Schreiben von Pipeline-Code, zur lokalen Ausführung und zur Bereitstellung in einer vollständig verwalteten Cloud-Umgebung erhalten. Dieser Kurs richtet sich an angehende Dateningenieure, Softwareentwickler und Datenbankadministratoren, die noch nicht mit der serverlosen Datenverarbeitung vertraut sind und eine klare, konzeptionelle Grundlage wünschen.Es sind keine Vorkenntnisse mit Apache Beam oder Dataflow erforderlich. Beginnen Sie noch heute mit dem Lesen, um Ihre Grundlagen für modernes serverloses Data Engineering zu schaffen.