Engenharia de dados: Kafka, Spark e Airflow Pipelines

Você está procurando construir pipelines de dados robustos e eficientes?Este curso fornece uma abordagem prática para a engenharia de dados, com foco nas ferramentas e técnicas essenciais usadas hoje. Você ganhará as habilidades para construir, implantar e gerenciar fluxos de trabalho de processamento de dados contemporâneos, passando da ingestão de dados brutos para um lakehouse de dados estruturado. O que você vai aprender: - Entenda os fundamentos da engenharia de dados e da construção de pipelines. - Implemente padrões de processamento de dados em streaming e em lote com Kafka e Spark. - Gerenciar a orquestração e o agendamento do fluxo de trabalho usando o Airflow. - Configure e interaja com um data lakehouse para armazenamento de dados escalável. - Aplique conceitos de evolução de esquema e contratos de dados para fluxos de dados confiáveis. - Pratique a construção e a implantação de pipelines usando o Docker Compose. Este curso orienta você na configuração de um pipeline de dados completo, desde a formação de filas de mensagens com o Kafka até o processamento distribuído com o Spark e o armazenamento de dados em um lakehouse, tudo orquestrado pelo Airflow.Você explorará conceitos essenciais como janelas, marcas d'água e gerenciamento de esquema. Este curso é projetado para iniciantes com uma compreensão fundamental do Python, sem experiência prévia em engenharia de dados. Comece a criar seus pipelines de dados modernos hoje mesmo.