Podstawy Big Data z Pythonem i PySpark

Big Data wymaga specjalistycznych narzędzi do obsługi ogromnych ilości informacji, którymi standardowe oprogramowanie nie może sobie poradzić. PySpark zapewnia kluczowe połączenie między znanymi narzędziami Pythona do analizy danych a mocą rozproszonych obliczeń. Pod koniec tego kursu będziesz biegły w konfigurowaniu środowiska przetwarzania danych, manipulowaniu dużymi zbiorami danych za pomocą bibliotek analizy danych Pythona i stosowaniu PySpark do wykonywania skalowalnych transformacji, analiz i podstawowych zadań uczenia maszynowego na rozproszonych klastrach. Czego się nauczysz: * Zrozum podstawowe pojęcia obliczeń rozproszonych i architektury Apache Spark. * Opanuj podstawowe struktury danych Pythona i wykorzystaj bibliotekę pandas do wydajnej lokalnej manipulacji danymi. * Zastosuj PySpark DataFrames i Spark SQL, aby odczytywać, czyścić i przekształcać ogromne ustrukturyzowane zestawy danych. * Konfiguruj podstawowe środowiska wirtualne i zarządzaj zależnościami dla skalowalnych projektów danych. * Ćwicz wspólne transformacje danych, agregacje, łączenia i techniki optymalizacji zapytań w PySpark. * Dowiedz się, jak wykonać podstawowe pobieranie danych strumieniowych i zastosować modele uczenia maszynowego za pomocą MLlib. Kurs rozpoczyna się od solidnych podstaw w obsłudze danych Pythona i konfiguracji środowiska przed wprowadzeniem podstawowych pojęć przetwarzania rozproszonego. Następnie przechodzimy do praktycznego zastosowania za pomocą PySpark DataFrames, koncentrując się na skalowalnej manipulacji i analizie danych, kończąc na wprowadzeniu do narzędzi do przesyłania strumieniowego i uczenia maszynowego. Ten kurs jest przeznaczony dla absolutnych początkujących zainteresowanych inżynierią danych, nauką o danych lub analizą danych potrzebujących pracy z dużymi zbiorami danych. Nie jest wymagane wcześniejsze doświadczenie z Sparkiem lub systemami rozproszonymi. Zacznij budować swoją wiedzę w zakresie skalowalnego przetwarzania danych już dziś.