Инженерное проектирование основных данных: создание автоматизированных трубопроводов ELT

Данными является жизненно важной частью современного бизнеса, но необработанные данные бесполезны без надлежащей инфраструктуры для перемещения и эффективной обработки. Этот курс обеспечивает прочную, практическую основу в Data Engineering, позволяя вам проектировать, создавать и поддерживать надежные автоматизированные конвейеры данных, необходимые для современного анализа данных и отчетности. Что вы узнаете: * Понять основные концепции хранилища данных (DWH) и озер данных, включая общие архитектурные шаблоны. * Настройка и контейнеризация локальной инфраструктуры данных с использованием Docker для воспроизводимых сред разработки. * Применение Python и PySpark для эффективной пакетной обработки и крупномасштабных преобразований данных. * Разрабатывать и организовывать сложные рабочие процессы с использованием Apache Airflow для планирования и мониторинга ETL / ELT заданий. * Внедрение проверок качества данных и базовых моделей наблюдаемости данных в рамках ваших процессов. * Практика создания модульных и проверяемых рабочих процессов ELT с использованием современных платформ преобразования данных, таких как DBT. Курс начинается с основных концепций баз данных и принципов моделирования данных, а затем переходит к практическому созданию конвейеров с использованием контейнерных сред. Вы пройдете через пакетную обработку, основы потокового ввода и оркестровку рабочего процесса. Этот курс предназначен для абсолютно начинающих, заинтересованных в Data Engineering, а также для аналитиков данных или разработчиков, стремящихся перейти к созданию инфраструктуры данных. Не требуется предыдущий опыт в области инженерии данных. Начните создавать инфраструктуру, которая обеспечивает принятие решений на основе данных сегодня.