Engenharia de Dados Fundamentais: Construindo Pipelines ELT Automatizados

Os dados são a força vital dos negócios modernos, mas os dados brutos são inúteis sem uma infraestrutura adequada para movê-los e processá-los com eficiência.Este curso fornece uma base sólida e prática em Engenharia de Dados, permitindo que você projete, construa e mantenha pipelines de dados automatizados robustos necessários para análise e relatórios de dados modernos. O que você vai aprender: * Entenda os conceitos fundamentais de Data Warehousing (DWH) e Data Lakes, incluindo padrões arquitetônicos comuns. * Configurar e containerizar infraestrutura de dados local usando Docker para ambientes de desenvolvimento reprodutíveis. * Aplique Python e PySpark para processamento em lote eficiente e transformações de dados em grande escala. * Projetar e orquestrar fluxos de trabalho complexos usando o Apache Airflow para agendar e monitorar trabalhos ETL / ELT. * Implementar verificações de qualidade de dados e padrões básicos de observabilidade de dados dentro de seus pipelines. * Prática de construção de fluxos de trabalho ELT modulares e testáveis usando estruturas modernas de transformação de dados como DBT. O curso começa com conceitos de banco de dados fundamentais e princípios de modelagem de dados antes de passar para a construção prática de pipeline usando ambientes em contêineres.Você progredirá através do processamento em lote, noções básicas de ingestão de fluxo e orquestração de fluxos de trabalho. Este curso foi projetado para iniciantes interessados em Engenharia de Dados, bem como analistas de dados ou desenvolvedores que buscam fazer a transição para a construção de infraestrutura de dados.Não é necessária experiência prévia em engenharia.Comece a construir a infraestrutura que impulsiona as decisões orientadas a dados hoje.