Apache Spark 3 dan Rekayasa Data Besar dengan Scala

Permintaan data modern membutuhkan alat yang dapat menangani dataset besar di seluruh cluster terdistribusi dengan kecepatan dan keandalan. Kursus ini memberikan jalan yang jelas bagi programmer untuk bertransisi ke rekayasa big data dengan menguasai komponen inti ekosistem Spark. Anda akan beralih dari memahami struktur data dasar untuk membangun kompleks, pipa pemrosesan terdistribusi yang dapat menangani terabyte informasi. Pada akhir kursus ini, Anda akan memiliki model mental yang kuat tentang bagaimana sistem terdistribusi bekerja dan keterampilan praktis untuk menulis kode Scala yang siap produksi untuk tugas-tugas yang intensif data. Anda akan dapat menjelajahi keseimbangan antara API Spark yang berbeda dan menerapkan optimalisasi yang memastikan aplikasi Anda berjalan secara efisien pada skala. Apa yang akan kau pelajari: - Mengerti arsitektur Spark dan bagaimana ia mengelola komputasi terdistribusi di seluruh cluster. - Proses data terstruktur secara efisien menggunakan ekspresif Spark SQL dan DataFrame API. - Terapkan transformasi data tipe-aman dengan Datasets untuk pengembangan aplikasi yang kuat dan dapat dipertahankan. - Mengurus abstraksi data tingkat rendah dan logika khusus menggunakan Resilient Distributed Datasets (RDDs). - Optimalisasi kinerja aplikasi menggunakan teknik modern seperti Adaptive Query Execution dan shuffling efisien. - Menerapkan filtering data yang kompleks, agregasi, dan strategi bergabung untuk dataset skala besar. - Praktik debugging dan monitoring aplikasi terdistribusi untuk memastikan integritas data dan kinerja. Kursus ini dimulai dengan definisi dasar komputasi terdistribusi dan internal Spark sebelum berkembang melalui pemrosesan data terstruktur dan optimalisasi tingkat rendah. Setiap modul berfokus pada membaca dan menganalisis implementasi kode untuk memastikan Anda dapat menerapkan konsep-konsep ini ke skenario dunia nyata. Kursus ini dirancang untuk pengembang yang memiliki pemahaman dasar Scala dan ingin memasuki dunia big data. Tidak ada pengalaman sebelumnya dengan Spark atau sistem terdistribusi yang diperlukan. Mulai membangun solusi data berperforma tinggi dengan Spark dan Scala hari ini.