Machine Learning dengan PySpark: Ilmu Data Terdistribusi dalam Skala

Ketika kumpulan data menjadi terlalu besar untuk sebuah mesin, alat-alat ilmu data tradisional mencapai batas kemampuannya. Menguasai machine learning yang terdistribusi memungkinkan Anda untuk melatih model pada dataset yang besar dengan efisien. Kursus berbasis teks ini memandu Anda dari konsep dasar big data hingga membangun dan menerapkan pipa machine learning yang dapat disesuaikan. Anda akan belajar bagaimana memproses data skala besar dan menjalankan algoritma pembelajaran mesin di seluruh cluster menggunakan PySpark. Apa yang akan kau pelajari: - Mengerti konsep inti komputasi terdistribusi, arsitektur Spark, dan PySpark DataFrames. - Siapkan dan bersihkan dataset skala besar menggunakan alat rekayasa fitur PySpark. - Membuat dan melatih model pembelajaran mesin yang diawasi untuk klasifikasi dan regresi. - Menerapkan teknik pembelajaran tanpa pengawasan, termasuk algoritma clustering dan rekomendasi. - Konstruksi pipa pembelajaran mesin end-to-end untuk mengotomatisasi persiapan data dan pelatihan model. - Integrasikan workflow MLflow modern untuk melacak eksperimen dan mengelola versi model dalam pipa Spark Anda. Anda akan mulai dengan terminologi kunci, konsep dasar arsitektur terdistribusi, dan definisi dasar sebelum beralih ke walkthrough kode praktis. Material berkembang secara logis dari data ingestion dan cleaning ke model evaluasi dan lifecycle management. Dirancang untuk ilmuwan data pemula, analis, dan pengembang yang ingin berpindah ke big data, kursus ini tidak memerlukan pengalaman sebelumnya dengan sistem terdistribusi. Mulai membaca hari ini untuk membuka kekuatan distributed machine learning dengan PySpark.