Teknik Data: Pengaturan Stack Lokal dengan Spark dan Airflow

Menguasai rekayasa data memerlukan pemahaman bagaimana menggabungkan berbagai alat – seperti gudang data, prosesor, dan orkestrator – menjadi satu saluran yang koheren dan siap untuk produksi. Pada akhir kursus ini, Anda akan menguasai langkah-langkah praktis untuk mendirikan lingkungan cluster lokal dan menerapkan strategi stratifikasi data dasar (RAW, STG, CORE) yang digunakan oleh tim data profesional. Apa yang akan kau pelajari: * Belajar arsitektur dan fungsi dari alat rekayasa data inti termasuk Spark, Airflow, Postgres, dan Jupyter. * Konfigurasi lingkungan pengembangan lokal terpadu menggunakan konsep containerization untuk reproduksi stack setup. * Terapkan logika transformasi data menggunakan Spark untuk struktur data menjadi lapisan pertengahan (STG) dan akhir (CORE). * Praktik mengorganisir data workflow kompleks menggunakan Airflow untuk memastikan eksekusi yang dapat diandalkan, dijadwalkan. * Mengerti dan menerapkan kualitas data dasar dan pemeriksaan tata kelola dalam proses. * Desain dan mengisi tabel analitis dalam gudang data relasional (Postgres). Kursus ini dimulai dengan konsep dan definisi dasar, lalu memandu Anda langkah demi langkah melalui pengaturan cluster dan eksekusi latihan pengambilan dan transformasi data yang semakin kompleks. materi berfokus pada membaca dan menerapkan penjelasan tertulis dan potongan kode untuk membangun keterampilan praktis Anda. Kursus ini sangat cocok untuk pemula atau pengembang yang ingin berpindah ke peran rekayasa data. Tidak diperlukan pengalaman sebelumnya dengan alat-alat spesifik ini. Mulai membangun keterampilan rekayasa data penting Anda hari ini.