Stack di dati locali con DuckDB, dbt e Python

Configurare una pipeline di dati scalabile non richiede una costosa infrastruttura cloud.Con i giusti strumenti locali, puoi creare, testare ed eseguire potenti flussi di lavoro di ingegneria dei dati direttamente sul tuo computer. Questo corso basato su testo ti guida attraverso la configurazione di un moderno stack di dati locali per ingerire, pulire e unire set di dati complessi. Inizierai con i concetti di data engineering di base, comprendendo come DuckDB agisce come un motore analitico ad alte prestazioni e come dbt gestisce le trasformazioni SQL.Da lì, imparerai come integrare Python per risolvere i record duplicati e unire fonti di dati disparate in un'unica fonte di verità. Cosa imparerai: - Comprendere l'architettura di base di un moderno stack di dati locali utilizzando DuckDB e dbt - Configurare un ambiente di sviluppo locale con ambienti virtuali e gestione moderna delle dipendenze - Scrivi trasformazioni e materializzazioni SQL efficienti all'interno di dbt - Applicare tecniche di risoluzione delle entità in Python per identificare e unire i record duplicati - Stabilire controlli robusti della qualità dei dati e test dello schema per garantire l'affidabilità della pipeline - Crea una pipeline di dati locali end-to-end che trasforma i dati grezzi in modelli analitici puliti Attraverso spiegazioni chiare e passaggi di codice strutturati, passerai dalla configurazione di base del database alla trasformazione avanzata dei dati e alla corrispondenza delle entità.Questo corso è progettato per analisti di dati principianti, aspiranti ingegneri di dati e sviluppatori Python che desiderano padroneggiare la modellazione dei dati locali senza overhead cloud. Non è richiesta alcuna esperienza precedente con DuckDB o dbt, inizia a costruire la tua pipeline di dati locali oggi stesso.