Ingeniería de datos: Kafka, Spark y Airflow Pipelines

Este curso proporciona un enfoque práctico de la ingeniería de datos, centrándose en las herramientas y técnicas esenciales utilizadas hoy en día, y le ayudará a construir un pipeline de datos robusto y eficiente. Obtendrá las habilidades para construir, implementar y administrar flujos de trabajo de procesamiento de datos contemporáneos, pasando de la ingestión de datos en bruto a un lago de datos estructurados. Lo que aprenderás: - Comprender los fundamentos de la ingeniería de datos y la construcción de tuberías. - Implemente patrones de procesamiento de datos por lotes y por lote con Kafka y Spark. - Gestionar la orquestación y programación del flujo de trabajo utilizando Airflow. - Configurar e interactuar con un lago de datos para el almacenamiento de datos escalable. - Aplicar conceptos de evolución de esquemas y contratos de datos para flujos de información confiables. - Practique la construcción y el despliegue de tuberías usando Docker Compose. Este curso lo guiará a través de la configuración de una canalización de datos completa, desde la puesta en cola de mensajes con Kafka hasta el procesamiento distribuido con Spark y el almacenamiento de datos en un lago, todo orquestado por Airflow.Explorará conceptos esenciales como ventanas, marcas de agua y administración de esquemas. Este curso está diseñado para principiantes con una comprensión fundamental de Python, sin necesidad de experiencia previa en ingeniería de datos. Comience a crear sus canalizaciones de datos modernas hoy mismo.