Ingegneria dei dati con Apache Airflow: fondamenti e pratica

Apache Airflow fornisce un framework robusto per creare e monitorare i flussi di lavoro in modo programmatico, garantendo che i dati arrivino in tempo e nel formato corretto. Questo corso ti porta dalla comprensione dei concetti di orchestrazione di base alla gestione delle pipeline di produzione.Impara a scrivere codice pulito e scalabile per i tuoi flussi di lavoro e distribuirli in vari ambienti seguendo le best practice standard del settore per l'ingegneria dei dati. Cosa imparerai: - Comprendere i componenti principali di Airflow tra cui lo scheduler, il server web e il database dei metadati - Creare e gestire grafici aciclici diretti (DAG) utilizzando l'API TaskFlow e la mappatura dinamica delle attività - Configura diversi esecutori come Celery e Kubernetes per scalare i tuoi carichi di lavoro - Implementa la logica avanzata della pipeline con sensori, ganci e dipendenze cross-DAG - Proteggi il tuo ambiente utilizzando il controllo degli accessi basato sui ruoli (RBAC) e la crittografia dei dati - Monitorare lo stato e le prestazioni del sistema utilizzando modelli di registrazione e osservabilità integrati Il materiale inizia con la terminologia e l'architettura di base prima di passare alla costruzione pratica di DAG.Esplora come integrare Airflow con servizi esterni e gestire l'infrastruttura utilizzando ambienti containerizzati come Docker e cluster Kubernetes basati su cloud. Questo corso è progettato per i principianti in ingegneria dei dati o DevOps che vogliono imparare l'orchestrazione del flusso di lavoro da zero. Inizia a creare pipeline di dati affidabili oggi stesso.