Обработка данных без сервера с Dataflow: руководство по разработке конвейеров

Управление крупномасштабной обработкой данных может быть сложным и дорогостоящим без правильной архитектуры без сервера. В этом текстовом курсе вы узнаете, как разрабатывать и запускать эффективные конвейеры данных без накладных расходов на управление базовой инфраструктурой. Вы пройдете путь от понимания основных концепций безсерверного решения до написания, тестирования и оптимизации собственных конвейеров данных для потоковых данных в реальном времени и пакетных данных. Что вы узнаете: - Понять основные концепции обработки данных без сервера и архитектуры Apache Beam - Создание надежных конвейеров данных для извлечения, преобразования и загрузки наборов данных любого размера - Внедрение современных методологий тестирования конвейера для обеспечения качества данных и надежности кода - Настройка автоматического масштабирования и оптимизации ресурсов для контроля затрат на обработку данных в облаке - Управление состоянием конвейера, окнами и триггерами для потоковых источников данных в реальном времени - Развертывание и мониторинг готовых к производству трубопроводов с использованием передовых методов развертывания Мы начнем с ключевой терминологии и основных механик Apache Beam и Dataflow. Далее вы пошагово ознакомитесь с шаблонами построения конвейеров, изучите реальные сценарии преобразований и узнаете, как отлаживать и отслеживать развертывания с помощью текстовых объяснений и подробных фрагментов кода. Этот курс предназначен для начинающих инженеров данных, разработчиков и аналитиков, которые хотят изучить безсерверную обработку данных с нуля. Не требуется предыдущий опыт разработки трубопроводов. Начните создавать масштабируемые, не требующие обслуживания конвейеры данных сегодня.