Membuat Saluran Data Batch dengan BigQuery dan Dataproc

Organisasi modern bergantung pada aliran data yang stabil dan dapat diandalkan untuk membuat keputusan bisnis yang penting. Mengerti cara mengekstrak, mengubah, dan memuat data batch secara efisien adalah keterampilan dasar bagi para profesional data yang bercita-cita tinggi. Kursus berbasis teks ini memandu Anda melalui paradigma inti pemrosesan data, membantu Anda memilih dan mengimplementasikan arsitektur pipa yang tepat untuk proyek Anda. Anda akan berpindah dari memahami konsep data dasar ke merancang pipa batch yang siap produksi menggunakan teknologi awan standar industri. Apa yang akan kau pelajari: * Mengerti perbedaan mendasar antara ETL, ELT, dan paradigma EL untuk memilih pendekatan terbaik untuk data Anda. * Bangun gudang data yang dapat disesuaikan dan menjalankan query analitik menggunakan BigQuery. * Proses dataset skala besar dengan menjalankan pekerjaan Spark pada cluster Dataproc yang dikelola dan lingkungan serverless. * Desain visual, kode-free aliran kerja pipa menggunakan Cloud Data Fusion. * Terapkan tata kelola data modern dan praktik manajemen skema untuk memastikan keandalan pipa. Anda akan mulai dengan konsep dan terminologi rekayasa data inti sebelum maju ke desain pipa. Melalui penjelasan tertulis yang terstruktur dan skenario kode SQL dan Spark yang praktis, Anda akan menjelajahi cara mengorganisir berbagai alat data untuk membangun sistem pemrosesan batch yang koheren. Kursus ini dirancang untuk pemula, insinyur data bercita-cita, dan administrator database yang ingin berpindah ke aliran kerja data berbasis awan. Tidak diperlukan pengalaman insinyor awan sebelumnya. Mulai membangun pipa data otomatis yang dapat diandalkan sekarang.