Budowanie potoków danych strumieniowych za pomocą Kafki i Sparka

W dzisiejszym świecie opartym na danych przetwarzanie danych w miarę ich napływu ma kluczowe znaczenie dla podejmowania terminowych decyzji.Ten kurs przeprowadzi Cię przez podstawy budowania solidnych potoków strumieniowych danych w czasie rzeczywistym przy użyciu standardowych narzędzi branżowych. Przejdziesz od zrozumienia podstawowych pojęć danych do budowania w pełni funkcjonalnych potoków strumieniowych.Łącząc moc pośrednictwa w komunikacji Kafki z analityczną siłą Structured Streaming Spark, dowiesz się, jak wydajnie i niezawodnie pobierać, przetwarzać i przechowywać ciągłe strumienie danych. Czego się nauczysz: - Zrozum podstawową architekturę strumieni danych w czasie rzeczywistym i systemów sterowanych zdarzeniami. - Skonfiguruj tematy, producentów i konsumentów Kafki, aby zarządzać przepływami danych o wysokiej przepustowości. - Zastosuj Kafka Connect, aby bezproblemowo pobierać dzienniki internetowe i zewnętrzne źródła danych. - Twórz aplikacje Structured Streaming Spark, aby przetwarzać i przekształcać dane na żywo w locie. - Zintegruj Kafkę z Sparkiem, aby obsługiwać przyrostowe przetwarzanie danych i transformacje stanowe. - Zapisuj przetworzone strumienie do nowoczesnych warstw pamięci masowej, takich jak Delta Lake i rozproszone systemy plików. Następnie będziesz postępować krok po kroku od podstawowego przesyłania wiadomości Kafka do zaawansowanej integracji Spark, a kulminacją będzie kompleksowa konstrukcja potoku poprzez pisemne wyjaśnienia i jasne fragmenty kodu. Zaprojektowany dla początkujących inżynierów danych i programistów, ten kurs nie wymaga wcześniejszego doświadczenia w przesyłaniu strumieniowym.Zaczynamy od absolutnych podstaw i kluczowej terminologii, zanim przejdziemy do praktycznej konfiguracji i uporządkowanego kodu. Zacznij czytać już dziś, aby opanować podstawowe technologie zasilania nowoczesnej inżynierii danych w czasie rzeczywistym.