Инженерные данные: Kafka, Spark и Airflow Pipelines

Вы хотите построить надежные и эффективные конвейеры данных? Этот курс предлагает практический подход к инженерии данных, сосредоточив внимание на основных инструментах и методах, используемых сегодня. Вы приобретете навыки построения, развертывания и управления современными рабочими процессами обработки данных, переходя от ввода необработанных данных к структурированному хранилищу данных. Что вы узнаете: - Понять основы инженерии данных и строительства трубопроводов. - Реализация потоковых и пакетных шаблонов обработки данных с помощью Kafka и Spark. - Управление организацией и планированием рабочих процессов с помощью Airflow. - Настройка и взаимодействие с данных озера для масштабируемого хранения данных. - Применять концепции эволюции схем и контрактов данных для надежных потоков данных. - Практикуем создание и развертывание конвейеров с использованием Docker Compose. Этот курс поможет вам настроить полный конвейер данных, от очереди сообщений с Kafka до распределенной обработки с Spark и хранения данных в озерном доме, все организовано Airflow. Вы изучите основные концепции, такие как окно, водяные знаки и управление схемами. Этот курс предназначен для начинающих с фундаментальным пониманием Python, без предварительного опыта в области инженерии данных. Начните создавать современные конвейеры данных сегодня.