Serverlose Datenverarbeitung mit Dataflow: Leitfaden zur Pipeline-Entwicklung

Die Verwaltung der umfangreichen Datenverarbeitung kann ohne die richtige serverlose Architektur komplex und teuer sein. In diesem textbasierten Kurs lernen Sie, wie Sie effiziente Datenpipelines entwerfen und ausführen, ohne den Aufwand für die Verwaltung der zugrunde liegenden Infrastruktur. Sie lernen die grundlegenden serverlosen Konzepte kennen und schreiben, testen und optimieren Ihre eigenen Datenpipelines für Batch- und Echtzeit-Streaming-Daten. Was Sie lernen werden: - Verstehen Sie die grundlegenden Konzepte der serverlosen Datenverarbeitung und der Apache Beam-Architektur - Erstellen Sie robuste Datenpipelines, um Datensätze beliebiger Größe zu extrahieren, zu transformieren und zu laden - Implementieren Sie moderne Pipeline-Testmethoden, um Datenqualität und Codezuverlässigkeit zu gewährleisten - Konfigurieren Sie Autoskalierung und Ressourcenoptimierung, um die Kosten für die Cloud-Datenverarbeitung zu steuern - Verwalten Sie Pipeline-Status, Fenster und Trigger für Echtzeit-Streaming-Datenquellen - Bereitstellen und Überwachen produktionsreifer Pipelines mit modernen Best Practices für die Bereitstellung Wir beginnen mit der wichtigsten Terminologie und den grundlegenden Mechanismen von Apache Beam und Dataflow. Von dort aus werden Sie Schritt-für-Schritt-Muster für die Pipeline-Erstellung durchlesen, Szenarien für die Transformation in der realen Welt erkunden und lernen, wie Sie Ihre Bereitstellungen mithilfe textbasierter Erklärungen und detaillierter Code-Snippets debuggen und überwachen. Dieser Kurs richtet sich an angehende Dateningenieure, Entwickler und Analysten, die die serverlose Datenverarbeitung von Grund auf erlernen möchten. Es ist keine vorherige Pipeline-Entwicklungserfahrung erforderlich. Erstellen Sie noch heute skalierbare, wartungsfreie Datenpipelines.