معماريات Transformer: الربط بين Encoders و Decoders

تشغل معمارية Transformer أكثر نماذج اللغات المتقدمة اليوم، ومع ذلك، فإن فهم كيفية تفاعل محركيها الرئيسيين—الـ encoder والـ decoder—قد يبدو وكأنه صندوق أسود. إن إزالة الغموض عن هذا التفاعل هو المفتاح لفهم كيفية ترجمة اللغات، وتلخيص النصوص، وإنشاء استجابات متناسقة بواسطة الذكاء الاصطناعي الحديث. في هذه الدورة النصية، ستنتقل من الأساسيات المطلوبة لآلية الانتباه (attention) في الشبكات العصبية إلى فهم مفاهيمي كامل لإطار العمل المشترك للـ encoder-decoder. ستتعلم كيفية تدفق البيانات عبر كلا نصفي النظام، وكيف يتواصلان عبر الانتباه المتقاطع (cross-attention)، والخطوات الدقيقة المطلوبة لتدريب هذه النماذج بنجاح. ما ستتعلمه: - فهم الأدوار الأساسية للـ encoder والـ decoder داخل شبكة Transformer - إتقان آليات الانتباه الذاتي (self-attention)، والانتباه المتقاطع (cross-attention)، والقناع السببي (causal masking) - تتبع تدفق الرموز (tokens) خطوة بخطوة عبر معمارية النموذج بالكامل - تطبيق تقنيات التدريب الحديثة، بما في ذلك دالّات الخسارة (loss functions)، والتحسين (optimization)، وجدولة معدل التعلم (learning rate scheduling) - استكشاف الممارسات المعاصرة مثل التجزئة إلى كلمات فرعية (subword tokenization) وطبقات التطبيع (normalization) الحديثة - تحليل كيفية نشر المعمارية المركبة للمهام الفعلية من تسلسل إلى تسلسل (sequence-to-sequence) تبدأ الدورة بالتعريفات الأساسية لـ attention و tokenization قبل إرشادك خلال الهيكلة المتكاملة للـ encoder والـ decoder. ستدرس بعد ذلك خط تدريب النموذج، واستكشاف كيفية تعلم النموذج من البيانات وتحسين أوزانه. تم تصميم هذه الدورة للمهتمين بالذكاء الاصطناعي، ومطوري البرمجيات، والطلاب الذين يرغبون في فهم مفاهيمي واضح لآليات Transformer. لا تتطلب الدورة أي خبرة سابقة مع أطر التعلم العميق المتقدمة، على الرغم من أن المعرفة الأساسية بمفاهيم البرمجة ستكون مفيدة. ابدأ القراءة اليوم لإتقان المعمارية الأساسية التي تقود الذكاء الاصطناعي الحديث.