Seni Bina Transformer: Menghubungkan Encoder dan Decoder

Seni bina Transformer menguasai model bahasa paling maju hari ini, namun memahami bagaimana dua enjin utamanya—encoder dan decoder—saling berinteraksi boleh terasa seperti sebuah kotak hitam. Membongkar interaksi ini adalah kunci untuk memahami bagaimana AI moden menterjemah bahasa, merumuskan teks, dan menghasilkan respons yang koheren. Dalam kursus berasaskan teks ini, anda akan mengembara dari asas mutlak perhatian rangkaian neural (neural network attention) hingga ke pemahaman konseptual yang lengkap tentang rangka kerja gabungan encoder-decoder. Anda akan mempelajari bagaimana data mengalir melalui kedua-dua bahagian sistem, bagaimana ia berkomunikasi melalui cross-attention, dan langkah tepat yang diperlukan untuk melatih model ini dengan jayanya. Apa yang akan anda pelajari: - Memahami peranan teras encoder dan decoder dalam rangkaian Transformer - Menguasai mekanik self-attention, cross-attention, dan causal masking - Menjejaki aliran token langkah demi langkah melalui keseluruhan seni bina model - Mengaplikasikan teknik latihan moden, termasuk fungsi kerugian (loss functions), pengoptimuman, dan penjadualan kadar pembelajaran - Meneroka amalan kontemporari seperti tokenisasi subkata dan lapisan penormalan moden - Menganalisis bagaimana seni bina gabungan diguna pakai untuk tugas jujukan-ke-jujukan (sequence-to-sequence) dunia sebenar Kursus ini bermula dengan definisi asas perhatian dan tokenisasi sebelum membimbing anda melalui pengintegrasian struktur encoder dan decoder. Anda kemudian akan mempelajari saluran paip latihan (training pipeline), meneroka bagaimana model belajar daripada data dan mengoptimumkan pemberatnya. Kursus ini direka untuk peminat AI yang berwawasan, pembangun perisian, dan pelajar yang mahukan pemahaman konseptual yang jelas tentang mekanik Transformer. Tiada pengalaman terdahulu dengan rangka kerja deep learning lanjutan diperlukan, walaupun kebiasaan asas dengan konsep pengaturcaraan adalah membantu. Mula membaca hari ini untuk menguasai seni bina teras yang memacu kecerdasan buatan moden.