Grundlagen von Big Data mit Python und PySpark

Big Data erfordert spezielle Tools, um mit den riesigen Datenmengen umzugehen, die Standardsoftware nicht verwalten kann. PySpark bietet die entscheidende Verbindung zwischen vertrauten Python-Data-Science-Tools und der Leistung des verteilten Computings. Am Ende dieses Kurses werden Sie in der Lage sein, eine Datenverarbeitungsumgebung einzurichten, große Datensätze mit den Datenanalysebibliotheken von Python zu manipulieren und PySpark anzuwenden, um skalierbare Transformationen, Analysen und grundlegende maschinelle Lernaufgaben auf verteilten Clustern durchzuführen. Was Sie lernen werden: * Verstehen Sie die grundlegenden Konzepte des verteilten Computings und der Apache Spark-Architektur. * Master-Core-Python-Datenstrukturen und nutzen die Pandas-Bibliothek für effiziente lokale Datenmanipulation. * Anwenden von PySpark DataFrames und Spark SQL zum Lesen, Bereinigen und Transformieren massiver strukturierter Datensätze. * Konfigurieren Sie grundlegende virtuelle Umgebungen und verwalten Sie Abhängigkeiten für skalierbare Data Science-Projekte. * Üben Sie gängige Datentransformationen, Aggregate, Verknüpfungen und Abfrageoptimierungstechniken in PySpark. * Erfahren Sie, wie Sie grundlegende Streaming-Datenaufnahme durchführen und maschinelle Lernmodelle mit MLlib anwenden. Der Kurs beginnt mit einer soliden Grundlage in Python Datenhandhabung und Umgebungseinrichtung, bevor die Kernkonzepte der verteilten Verarbeitung eingeführt werden. Anschließend gehen wir mit PySpark DataFrames in die praktische Anwendung über, wobei der Schwerpunkt auf skalierbarer Datenmanipulation und -analyse liegt. Dieser Kurs richtet sich an absolute Anfänger, die sich für Data Engineering, Data Science oder Datenanalyse interessieren und mit großen Datensätzen arbeiten müssen. Vorkenntnisse mit Spark oder verteilten Systemen sind nicht erforderlich. Bauen Sie noch heute Ihr Know-how in der skalierbaren Datenverarbeitung auf.