Mekanisme dan Transformator Perhatian untuk Pemula

Pembelajaran dalam telah berkembang melewati urutan sederhana, dan kini memerlukan model yang dapat mengidentifikasi dan memprioritaskan informasi penting dalam kumpulan data yang besar. Anda akan mendapatkan pemahaman yang jelas tentang bagaimana model berfokus pada bagian- bagian spesifik dari sebuah input, beralih dari teori dasar rata- rata berat ke struktur kompleks yang digunakan dalam model bahasa modern. Pada akhir kursus ini, Anda akan dapat menjelaskan dan menerapkan logika yang digunakan pada tugas pemrosesan bahasa alami dan penglihatan komputer yang canggih. Apa yang akan kau pelajari: - Mengerti konsep inti dari modeling urutan dan keterbatasan arsitektur tradisional. - Belajar dasar-dasar matematika dot-produk dan perhatian multi-kepala. - Menguasai peran Query, Key, dan Value dalam pencarian informasi saraf. - Mengeksplorasi arsitektur Transformer dan peranannya dalam AI generatif modern. - Terapkan logika perhatian pada tugas praktis seperti terjemahan mesin dan ringkasan teks. - Mengerti teknik efisiensi modern termasuk perhatian yang jarang dan skala linear. Kursus ini dimulai dengan terminologi dasar dan sejarah modeling urutan sebelum memandu Anda melalui implementasi konseptual dari perhatian diri dan blok Transformer. program ini dirancang untuk pemula yang memiliki pemahaman dasar dari dasar-dasar jaringan saraf dan ingin memahami teknologi yang mendefinisikan era AI saat ini. Mulai perjalanan Anda ke jantung arsitektur AI modern hari ini.