Distributed Parallelism para sa Pag-scale ng Generative AI

Ang pagsasanay sa mga malalaking generative AI model ay nagpapakita ng mga makabuluhang hamon sa komputasyon, na kadalasang nangangailangan ng mga distributed system para sa epektibong pag-scale. Ipinapakilala sa iyo ng kursong ito ang mga pangunahing pamamaraan ng parallelism na kinakailangan upang mahusay na i-scale ang mga modelong ito. Sa pagtatapos ng kursong ito, maiintindihan mo ang mga pangunahing konsepto ng distributed training at masasangkapan ka upang magdisenyo at magpatupad ng mga mahusay na estratehiya sa pag-scale para sa mga generative AI model. Ang iyong matututuhan: * Unawain ang mga pangunahing konsepto ng distributed computing para sa mga aplikasyon ng AI * Matutunan ang mga prinsipyo at aplikasyon ng data parallelism para sa pagsasanay ng mga model * Galugarin ang mga pamamaraan ng model parallelism, kabilang ang pipeline at tensor parallelism * Mag-apply ng mga estratehiya ng hybrid parallelism upang ma-optimize ang mga malakihang workload ng generative AI * Unawain ang papel ng mga distributed communication primitive at ang epekto nito sa kahusayan ng pagsasanay * Tuklasin kung paano suriin at pumili ng naaangkop na mga pamamaraan ng parallelism para sa iba't ibang arkitektura ng model at mga hadlang sa hardware Nagsisimula ang kurso sa pagtataguyod ng mga batayan ng mga distributed system at generative AI, pagkatapos ay sistematikong tinutuklas ang data, model, at hybrid parallelism, na nagtatapos sa mga praktikal na konsiderasyon para sa pagpapatupad. Ang kursong ito ay idinisenyo para sa mga baguhan sa AI at machine learning na gustong maunawaan kung paano i-scale ang mga malalaking model, at walang kinakailangang paunang karanasan sa mga distributed system. Simulan ang iyong paglalakbay sa mahusay na malakihang pagsasanay ng generative AI ngayon.