Sviluppare pipeline di dati serverless con Dataflow

L'ingegneria dei dati moderna si basa su pipeline efficienti e scalabili per elaborare enormi set di dati senza gestire complesse infrastrutture server. Questo corso basato su testo ti guida nella costruzione di pipeline di elaborazione dati serverless utilizzando Dataflow e il modello di programmazione Apache Beam. Passerete dalla comprensione dei concetti di base dei dati alla progettazione, scrittura ed esecuzione delle vostre robuste pipeline. Attraverso chiare spiegazioni scritte, esempi di codice pratici e walkthrough logici strutturati, acquisirai le competenze necessarie per elaborare in modo efficiente sia dati batch che streaming. Cosa imparerai: Comprendere i concetti fondamentali dell'elaborazione dati serverless, inclusi runner, pipeline e collection; Scrivere codice pipeline Apache Beam per trasformare, filtrare e aggregare set di dati; Implementare strategie di windowing e triggering per gestire dati streaming in arrivo in ritardo; Configurare le pipeline per leggere e scrivere da varie fonti e sink di dati; Ottimizzare le prestazioni delle pipeline e risolvere i colli di bottiglia comuni nell'esecuzione. Il corso inizia con definizioni fondamentali delle architetture di pipeline e delle primitive di programmazione di base. Successivamente, progredirai attraverso tutorial scritti passo-passo che coprono trasformazioni, windowing e le migliori pratiche per le implementazioni in produzione. Questo corso è progettato per aspiranti ingegneri dei dati e sviluppatori che sono nuovi a Dataflow. Non è richiesta alcuna esperienza precedente nello sviluppo di pipeline, sebbene una familiarità di base con i concetti di programmazione sia utile. Inizia a leggere oggi per costruire pipeline di dati serverless scalabili e pronte per la produzione.