Инженерная обработка данных: локальная настройка стека с использованием Spark и Airflow

Освоение инженерии данных требует понимания того, как объединять разрозненные инструменты, такие как хранилища данных, процессоры и оркестраторы, в один сплоченный, готовый к производству конвейер. Этот курс предоставляет практические практические знания, необходимые для создания и управления функционирующей платформой данных с нуля. К концу этого курса вы овладеете практическими шагами по настройке локальной кластерной среды и реализации основных стратегий слоистости данных (RAW, STG, CORE), используемых профессиональными командами данных. Что вы узнаете: * Изучите архитектуру и функции основных инструментов инженерии данных, включая Spark, Airflow, Postgres и Jupyter. * Настройка унифицированной локальной среды разработки с использованием концепций контейнеризации для воспроизводимой настройки стека. * Применение логики преобразования данных с использованием Spark для структурирования данных в промежуточные (STG) и окончательные (CORE) слои. * Практика оркестровки сложных потоков данных с использованием Airflow для обеспечения надежного, запланированного выполнения. * Понимание и внедрение основных проверок качества данных и управления в рамках процесса. * Разработка и заполнение аналитических таблиц в реляционном хранилище данных (Postgres). Этот курс начинается с основных понятий и определений, а затем пошагово знакомит вас с настройкой кластера и выполнением все более сложных упражнений по вводу и преобразованию данных. Материал сосредоточен на чтении и применении письменных объяснений и фрагментов кода для построения ваших практических навыков. Этот курс идеально подходит для абсолютно начинающих или разработчиков, которые хотят перейти в роль инженера данных. Не требуется предыдущий опыт работы с этими конкретными инструментами. Начните развивать свои навыки по обработке данных уже сегодня.