Spark SQL i PySpark do analizy dużych danych

Wraz ze wzrostem ilości danych standardowe bazy danych SQL często osiągają swoje granice, dzięki czemu obliczenia rozproszone są niezbędną umiejętnością dla nowoczesnych specjalistów od danych.Ten kurs uczy, jak wykorzystać Spark SQL do zapytań i analizy danych na dużą skalę przy użyciu znanej logiki SQL zintegrowanej z Pythonem. Przejdziesz od podstawowego tworzenia tabel do zaawansowanych technik analitycznych, w tym analizy szeregów czasowych i przetwarzania języka naturalnego.Zrozumiesz również, jak zoptymalizować obciążenia za pomocą narzędzi do buforowania i monitorowania wydajności w ekosystemie Spark, aby zapewnić wydajność i skalowalność potoków danych. Czego się nauczysz: - Zrozum podstawową architekturę Sparka i sposób wykonywania zapytań SQL w rozproszonym klastrze - Twórz i zarządzaj tabelami Spark i DataFrames, aby skutecznie organizować duże zbiory danych - Zastosuj zaawansowane funkcje okna, aby wykonać bieżące sumy, analizę lead / lag i złożone operacje szeregów czasowych - Przetwarzaj tekst w języku naturalnym, aby wyodrębnić funkcje i przygotować dane do przepływów pracy uczenia maszynowego - Wdrażaj modele regresji logistycznej, aby klasyfikować tekst i przewidywać wyniki bezpośrednio w środowisku Spark - Ćwicz techniki optymalizacji, w tym buforowanie, rejestrowanie i korzystanie z interfejsu użytkownika Spark do monitorowania wydajności zapytań Kurs rozpoczyna się od podstawowych pojęć danych rozproszonych i kluczowej terminologii, zanim przejdziemy do praktycznych operacji SQL, zaawansowanych funkcji analitycznych i praktycznych aplikacji uczenia maszynowego.Będziesz czytać szczegółowe wyjaśnienia i stosować swoją wiedzę poprzez ćwiczenia pisemne zaprojektowane w celu symulowania rzeczywistych wyzwań związanych z danymi. Ten kurs jest przeznaczony dla początkujących z podstawową znajomością SQL i Pythona, którzy chcą wejść w świat inżynierii i analityki dużych danych.Nie jest wymagane wcześniejsze doświadczenie z systemami rozproszonymi. Zacznij tworzyć skalowalne rozwiązania danych za pomocą Spark SQL już dziś.