Serverlose Datenverarbeitung mit Dataflow

Modernes Data Engineering erfordert die schnelle und zuverlässige Verarbeitung großer Datensätze ohne den Aufwand für die Verwaltung einer komplexen Serverinfrastruktur.Dieser textbasierte Kurs führt Sie in die Leistungsfähigkeit der serverlosen Datenverarbeitung mit Dataflow ein. Sie lernen, wie Sie skalierbare Datenpipelines entwerfen, schreiben und bereitstellen, die sowohl historische Batch-Daten als auch Echtzeit-Streaming-Datenentwurf, Entwicklung und Implementierung von Apache Beam-Datenanwendungen, die auf Apache Spark basieren. Was Sie lernen werden: - Verstehen Sie grundlegende serverlose Datenverarbeitungskonzepte und Pipeline-Architekturen. - Erstellen Sie Batch-Pipelines, um umfangreiche historische Datensätze zu bereinigen, zu transformieren und zu laden. - Entwerfen Sie Streaming-Pipelines, um Echtzeit-Datenfeeds mit Fenstern und Triggern zu verarbeiten. - Schreiben Sie wiederverwendbaren Pipeline-Code mit dem Apache Beam SDK. - Konfigurieren und überwachen Sie die Pipeline-Ausführung, Skalierung und Ressourcenzuordnung. - Wenden Sie Best Practices für die Fehlerbehandlung, das Debuggen und die Optimierung der Pipeline-Leistung an. Der Kurs beginnt mit Kerndefinitionen und den Grundlagen des Pipeline-Designs, bevor Sie in die praktische Pipelinekonstruktion für Batch- und Echtzeit-Streaming-Szenarien einsteigen.Sie werden durch schriftliche Erklärungen, Architekturunterbrüche und strukturierte Code-Übungen vorankommen. Dieser Kurs richtet sich an Dateningenieure, Analysten und Entwickler, die sich mit serverlosen Datenworkflows vertraut machen möchten. Vorkenntnisse mit Dataflow sind nicht erforderlich. Beginnen Sie noch heute mit der Erstellung skalierbarer, serverloser Datenpipelines.