Ingeniería de datos: configuración de pila local con Spark y Airflow

Dominar la ingeniería de datos requiere comprender cómo combinar herramientas dispares, como almacenes de datos, procesadores y orquestadores, en una canalización cohesiva y lista para la producción.Este curso proporciona el conocimiento práctico y práctico necesario para construir y administrar una plataforma de datos funcional desde cero. Al final de este curso, dominará los pasos prácticos de configuración de un entorno de clúster local e implementará la estrategia fundamental de estratificación de datos (RAW, STG, CORE) utilizada por los equipos de datos profesionales. Lo que aprenderás: * Aprenda la arquitectura y la función de las herramientas de ingeniería de datos principales, incluidas Spark, Airflow, Postgres y Jupyter. * Configurar un entorno de desarrollo local unificado utilizando conceptos de contenedorización para la configuración de pila reproducible. * Aplicar la lógica de transformación de datos utilizando Spark para estructurar los datos en capas intermedias (STG) y finales (CORE). * Practique la orquestación de flujos de trabajo de datos complejos utilizando Airflow para garantizar una ejecución confiable y programada. * Comprender e implementar la calidad de los datos fundamentales y las comprobaciones de gobernanza dentro de la tubería. * Diseñar y poblar tablas analíticas en un almacén de datos relacional (Postgres). Este curso comienza con conceptos y definiciones fundamentales, luego lo guía paso a paso a través de la configuración del clúster y la ejecución de ejercicios de ingestión y transformación de datos cada vez más complejos.El material se centra en la lectura y aplicación de explicaciones escritas y fragmentos de código para desarrollar sus habilidades prácticas. Este curso es perfecto para principiantes o desarrolladores que buscan la transición a un rol de ingeniería de datos.No se requiere experiencia previa con estas herramientas específicas. Comience a desarrollar sus habilidades esenciales de ingeniería de datos hoy.