Управление конвейером Apache Kafka: потоки, соединители и мониторинг

Исходные данные ценны только тогда, когда они надежно и эффективно передаются по всей экосистеме. Чтобы обеспечить бесперебойную работу архитектур, управляемых событиями, необходимо знать, как интегрировать внешние системы и отслеживать состояние конвейера в режиме реального времени. Этот текстовый курс поможет вам освоить основные понятия потоковой передачи событий, настроить готовые к работе соединители и настроиться на надежный мониторинг. Вы узнаете, как обрабатывать потоки данных на лету и обеспечить поддержание пиковой производительности кластера. Что вы узнаете: - Понимание фундаментальной архитектуры Kafka, включая брокеров, темы, разделы и группы потребителей. - Настройте Kafka Connect для бесшовной интеграции внешних баз данных и хранилищ данных без написания пользовательского интегрирующего кода. - Создание приложений для обработки потоков в реальном времени с использованием Kafka Streams API для преобразования и обогащения данных событий. - Мониторинг ключевых показателей производительности, отслеживать отставание потребителя, и выявить узкие места, чтобы держать ваши трубопроводы здоровым. - Примените современные концепции наблюдаемости для отслеживания пропускной способности и задержки по всей вашей потоковой инфраструктуре. Мы начнем с основной терминологии и базовой архитектуры, а затем перейдем к практическим примерам конфигурации для разъемов и потоковых процессоров. С помощью структурированных письменных уроков, фрагментов кода и обзоров конфигурации вы приобретете навыки, необходимые для управления и масштабирования надежных конвейеров данных. Этот курс предназначен для инженеров по программному обеспечению, системных администраторов и специалистов по данным, которые только начинают работать с Kafka и не имеют предыдущего опыта работы с потоковыми потоками. Начните читать сегодня, чтобы овладеть основными компонентами конвейеров данных Apache Kafka.