Lokaler Datenstapel mit DuckDB, dbt und Python

Für die Einrichtung einer skalierbaren Datenpipeline ist keine teure Cloud-Infrastruktur erforderlich. Mit den richtigen lokalen Tools können Sie leistungsstarke Data Engineering-Workflows direkt auf Ihrem Computer erstellen, testen und ausführen. Dieser textbasierte Kurs führt Sie durch die Einrichtung eines modernen lokalen Datenstapels, um komplexe Datensätze zu erfassen, zu bereinigen und zusammenzuführen. Sie beginnen mit grundlegenden Data Engineering-Konzepten und verstehen, wie DuckDB als leistungsstarke analytische Engine fungiert und wie dbt SQL-Transformationen verwaltet. Von dort aus lernen Sie, wie Sie Python integrieren, um doppelte Datensätze aufzulösen und unterschiedliche Datenquellen zu einer einzigen, sauberen Quelle der Wahrheit zusammenzuführen. Was Sie lernen werden: - Verstehen Sie die Kernarchitektur eines modernen lokalen Datenstapels mit DuckDB und dbt - Konfigurieren Sie eine lokale Entwicklungsumgebung mit virtuellen Umgebungen und modernem Abhängigkeitsmanagement - Schreiben Sie effiziente SQL-Transformationen und Materialisierungen innerhalb von dbt - Wenden Sie Entity-Resolution-Techniken in Python an, um doppelte Datensätze zu identifizieren und zusammenzuführen - Einrichtung robuster Datenqualitätsprüfungen und Schematests zur Gewährleistung der Pipeline-Zuverlässigkeit - Erstellen Sie eine durchgängige lokale Datenpipeline, die Rohdaten in saubere, analytische Modelle umwandelt Durch klare Erklärungen und strukturierte Code-Walk-Throughs lernen Sie von der grundlegenden Datenbankeinrichtung bis hin zu erweiterten Datentransformationen und Entity-Matching. Dieser Kurs richtet sich an Anfänger, die Datenanalyse, Datentechnik und Python-Entwicklung lernen möchten, um die lokale Datenmodellierung ohne Cloud-Overhead zu beherrschen. Keine Vorkenntnisse mit DuckDB oder dbt sind erforderlich. Tauchen Sie ein und beginnen Sie noch heute mit dem Aufbau Ihrer lokalen Datenpipeline.