Paralelisme Terdistribusi untuk Penskalaan Generatif AI

Melatih model generatif AI yang besar menghadirkan tantangan komputasi yang signifikan, yang seringkali memerlukan sistem terdistribusi untuk penskalaan yang efektif. Kursus ini memperkenalkan Anda pada teknik paralelisme fundamental yang diperlukan untuk menskalakan model-model ini secara efisien. Pada akhir kursus ini, Anda akan memahami konsep inti pelatihan terdistribusi dan dibekali untuk merancang serta menerapkan strategi penskalaan yang efisien untuk model generatif AI. Apa yang akan Anda pelajari: * Memahami konsep dasar komputasi terdistribusi untuk aplikasi AI * Mempelajari prinsip dan aplikasi paralelisme data untuk pelatihan model * Mengeksplorasi teknik paralelisme model, termasuk paralelisme pipeline dan tensor * Menerapkan strategi paralelisme hibrida untuk mengoptimalkan beban kerja generatif AI berskala besar * Memahami peran primitif komunikasi terdistribusi dan dampaknya terhadap efisiensi pelatihan * Menemukan cara mengevaluasi dan memilih teknik paralelisme yang tepat untuk berbagai arsitektur model dan keterbatasan perangkat keras Kursus ini dimulai dengan menetapkan dasar-dasar sistem terdistribusi dan generatif AI, kemudian secara sistematis mengeksplorasi paralelisme data, model, dan hibrida, diakhiri dengan pertimbangan praktis untuk implementasi. Kursus ini dirancang untuk pemula di bidang AI dan machine learning yang ingin memahami cara menskalakan model besar, dan tidak diperlukan pengalaman sebelumnya dengan sistem terdistribusi. Mulailah perjalanan Anda dalam pelatihan generatif AI berskala besar yang efisien hari ini.