Przetwarzanie strumieni w czasie rzeczywistym w Spark 3 z Scalą

Współczesne firmy polegają na natychmiastowych wglądach w dane, aby pozostać konkurencyjnymi.Nauka przetwarzania danych w miarę ich napływania jest kluczową umiejętnością dla każdego nowoczesnego specjalisty ds. Danych. Ten kurs zabierze Cię od podstawowych koncepcji do budowania solidnych rozwiązań strumieniowych w czasie rzeczywistym. Dowiesz się, jak obsługiwać ciągłe przepływy danych, zarządzać stanem i integrować się z zewnętrznymi systemami za pomocą języka programowania Scala. Czego się nauczysz: - Zapoznaj się z podstawową architekturą strumieniowania strukturalnego Spark i modelem przetwarzania mikro-wsadowego - Zastosuj zasady programowania funkcjonalnego Scala do przekształcania i agregowania strumieni danych w czasie rzeczywistym - Zintegruj Spark z zewnętrznymi systemami wiadomości, takimi jak Kafka, aby pobierać dane o szybkich zdarzeniach - Zarządzaj operacjami stanowymi i oknami, aby analizować dane w określonych odstępach czasu - Wdrażaj nowoczesne wzorce jezior danych za pomocą Delta Lake dla niezawodnych i zgodnych z ACID zlewów strumieniowych - Ćwicz pisanie testów jednostkowych dla logiki strumieniowej, aby zapewnić niezawodność rurociągu i jakość danych Program nauczania zaczyna się od podstawowej terminologii i modelu wykonania Spark, zanim przejdzie do pisemnych ćwiczeń dotyczących budowania kompleksowych potoków strumieniowych.Będziesz przechodzić od prostych transformacji danych do złożonych integracji wielu źródeł. Zaprojektowany dla początkujących do przesyłania strumieniowego, ten kurs jest idealny dla inżynierów oprogramowania i specjalistów od danych z podstawową znajomością programowania.Rozpocznij swoją podróż do inżynierii danych w czasie rzeczywistym już dziś.