Pilha de dados locais com DuckDB, dbt e Python

A configuração de um pipeline de dados escalável não requer uma infraestrutura de nuvem cara. Com as ferramentas locais certas, você pode criar, testar e executar fluxos de trabalho de engenharia de dados poderosos diretamente na sua máquina. Este curso baseado em texto orienta você na configuração de uma pilha de dados locais moderna para ingerir, limpar e mesclar conjuntos de dados complexos. Você começará com conceitos fundamentais de engenharia de dados, entendendo como o DuckDB atua como um mecanismo analítico de alto desempenho e como o dbt gerencia transformações SQL. A partir daí, você aprenderá a integrar o Python para resolver registros duplicados e mesclar fontes de dados diferentes em uma única fonte de verdade. O que você vai aprender: - Entenda a arquitetura central de uma pilha de dados local moderna usando DuckDB e dbt - Configure um ambiente de desenvolvimento local com ambientes virtuais e gerenciamento de dependências moderno - Escreva transformações e materializações SQL eficientes dentro do dbt - Aplique técnicas de resolução de entidades em Python para identificar e mesclar registros duplicados - Estabelecer verificações robustas de qualidade de dados e testes de esquema para garantir a confiabilidade do pipeline - Construa um pipeline de dados locais de ponta a ponta que transforme dados brutos em modelos analíticos limpos Através de explicações claras e passo a passo de código estruturado, você progredirá da configuração básica do banco de dados para a transformação avançada de dados e correspondência de entidades. Este curso foi projetado para analistas de dados iniciantes, aspirantes a engenheiros de dados e desenvolvedores de Python que desejam dominar a modelagem de dados locais sem sobrecarga na nuvem. Nenhuma experiência prévia com DuckDB ou dbt é necessária. Mergulhe para começar a construir seu pipeline de dados local hoje mesmo.