Basis Data Sistem Informasi Manajemen Data

Rekayasa data modern memerlukan pemrosesan dataset yang besar tanpa beban tambahan dari pengelolaan infrastruktur server yang rumit. Pemrosesan tanpa server dapat mengatasi tantangan ini dengan memisahkan komputasi dari penyimpanan, sehingga memungkinkan Anda untuk fokus pada logika pipeline. Kursus ini memperkenalkan Anda pada prinsip inti rekayasa data serverless menggunakan Apache Beam dan Dataflow. Anda akan berpindah dari memahami terminologi pemrosesan data dasar ke menulis, menguji, dan menjalankan pipa serverless Anda sendiri. Apa yang akan kau pelajari: - Mengerti konsep dasar pemrosesan data tanpa server dan bagaimana Dataflow mengeksekusi pipa. - Tulis pipa Apache Beam menggunakan praktik pemrograman modern, termasuk tip tip dan skema terstruktur. - Terapkan logika transformasi untuk memanipulasi, menyaring, dan menggabungkan data batch dan streaming. - Memanfaatkan kerangka kerja Beam Portability untuk memahami bagaimana pipa berjalan di seluruh backend eksekusi yang berbeda. - Praktik menulis unit tes untuk pipa data Anda untuk memastikan keandalan sebelum peluncuran. Anda akan mulai dengan definisi inti dan arsitektur pipa serverless sebelum pindah ke langkah-demi-langkah penjelasan tertulis tentang menulis kode pipa, mengeksekusi secara lokal, dan menerapkannya ke lingkungan awan yang sepenuhnya dikelola. Kursus ini dirancang untuk insinyur data bercita-cita, pengembang perangkat lunak, dan administrator database yang baru dalam pemrosesan data tanpa server dan ingin dasar konseptual yang jelas. Tidak diperlukan pengalaman sebelumnya dengan Apache Beam atau Dataflow. Mulai membaca hari ini untuk membangun dasar Anda dalam rekayasa data serverless modern.