Apache Beam con Kotlin: Esercizi Pratici di Data Pipeline

L'elaborazione efficiente di dati su larga scala richiede sia framework potenti che linguaggi di programmazione espressivi. Questo corso basato su testo ti guida attraverso i fondamenti della costruzione di pipeline di elaborazione dati usando Apache Beam e Kotlin, combinando il modello di programmazione unificato di Beam con la sintassi moderna e concisa di Kotlin. Passerai dalla comprensione dei concetti fondamentali delle pipeline di dati alla scrittura, refactoring e ottimizzazione del tuo codice pipeline attraverso esercizi strutturati e scritti. Cosa imparerai: • Comprendere i concetti fondamentali di Apache Beam, inclusi Pipelines, PCollections e transforms. • Implementare pipeline di dati batch e streaming usando la sintassi espressiva e type-safe di Kotlin. • Applicare strategie di windowing, triggering e accumulation per gestire dati fuori ordine. • Scrivere PTransforms personalizzate per modularizzare e riutilizzare la tua logica di elaborazione dati. • Esercitarsi nel debugging e nel testing delle pipeline Apache Beam usando runner locali. • Integrare funzionalità moderne di Kotlin come null safety e data classes per scrivere codice pipeline più pulito. Partendo dalle definizioni fondamentali e dalla configurazione, progredirai attraverso una serie di sfide di programmazione scritte progettate per costruire la tua fiducia passo dopo passo. Questo corso è progettato per ingegneri del software, ingegneri dei dati e sviluppatori Kotlin che sono nuovi ad Apache Beam e desiderano un percorso pratico e basato su testo per la padronanza. Non è richiesta alcuna esperienza precedente con Apache Beam. Inizia a leggere oggi per sviluppare le tue competenze di data engineering con Kotlin e Apache Beam.