Создание модульных и проверяемых конвейеров данных с dbt на Databricks

Современным командам по работе с данными необходимы надежные, контролируемые версиями и тщательно протестированные конвейеры для преобразования необработанных данных в полезные выводы. Управление этими рабочими процессами в масштабе требует сочетания мощности обработки данных Databricks со структурированной платформой преобразований dbt. Этот курс научит вас, как разрабатывать и поддерживать чистые архитектуры данных, которые масштабируются бесшовно. В этом курсе вы узнаете, как создавать конвейеры преобразования данных производственного уровня с нуля. Вы перейдете от написания необработанного, неорганизованного SQL к разработке модульных, многоразовых и полностью протестированных моделей данных с использованием dbt Core и dbt Cloud на Databricks. Что вы узнаете: - Понять основные концепции dbt, включая структуру проекта, конфигурацию с YAML и многослойную архитектуру данных Bronze-Silver-Gold. - Настройте dbt для бесперебойного подключения к Databricks с использованием как dbt Cloud, так и dbt Core. - Создание модульных моделей данных с использованием SQL, шаблонов Jinja и пользовательских макросов для написания сухой, многоразовой логики преобразования. - Внедрение надежных проверок качества данных с использованием современных конфигураций тестирования dbt и пакетов утилит третьих сторон. - Применять передовые стратегии материализации, включая приростные нагрузки и снимки, для оптимизации производительности трубопровода и отслеживания исторических изменений. - Интегрируйте передовые методы управления версиями для безопасного сотрудничества и поддерживайте чистую историю изменений в конвейере данных. Вы начнете с основных концепций инженерии данных и настройки dbt, а затем пройдете пошаговое моделирование, тестирование и расширенную настройку производительности. Письменные объяснения и практические фрагменты кода помогут вам пройти путь от инициализации проекта до развертывания устойчивого, готового к производству конвейера. Этот курс предназначен для начинающих инженеров данных, инженеров аналитики и аналитиков данных. Не требуется предыдущий опыт работы с dbt или Databricks, хотя полезно иметь базовое понимание SQL. Начните создавать более чистые и надежные потоки данных сегодня.