บทนำเกี่ยวกับกลไก Attention และ Transformer

ปัญญาประดิษฐ์สมัยใหม่อาศัยความสามารถของโครงข่ายประสาทเทียมในการโฟกัสกับสิ่งที่สำคัญที่สุดในลำดับข้อมูลอย่างมาก การทำความเข้าใจกลไก attention คือกุญแจสำคัญในการไขความลับว่าเหตุใดโมเดลภาษาและระบบแปลภาษาระดับล้ำสมัยจึงประมวลผลข้อมูลได้ ในหลักสูตรที่เน้นข้อความนี้ คุณจะได้เปลี่ยนผ่านจากหลักการพื้นฐานของการประมวลผลลำดับไปสู่สถาปัตยกรรมหลักของโมเดลที่ใช้ attention คุณจะได้รับความเข้าใจที่มั่นคงทั้งในด้านสัญชาตญาณและแนวคิดเกี่ยวกับวิธีที่เครื่องจักรเรียนรู้ที่จะให้น้ำหนักกับส่วนต่างๆ ของลำดับอินพุตแบบไดนามิก สิ่งที่คุณจะได้เรียนรู้: ทำความเข้าใจแนวคิดพื้นฐานของโมเดล sequence-to-sequence และข้อจำกัดในอดีต; เรียนรู้กลไกของ self-attention รวมถึงบทบาทของ queries, keys และ values; สำรวจสถาปัตยกรรมของโมเดล Transformer และวิธีที่ช่วยให้สามารถประมวลผลแบบขนานได้; วิเคราะห์ว่า multi-head attention จับความสัมพันธ์ที่หลากหลายภายในข้อความได้อย่างไร; ฝึกฝนการติดตามการไหลของข้อมูลผ่านเลเยอร์ attention ด้วยคำอธิบายที่เป็นลายลักษณ์อักษรที่ชัดเจนและการแยกแยะทีละขั้นตอน; ค้นพบวิธีที่กลไก attention ทำหน้าที่เป็นกระดูกสันหลังสำหรับโมเดลภาษาขนาดใหญ่สมัยใหม่ หลักสูตรนี้เริ่มต้นด้วยคำศัพท์สำคัญและคำจำกัดความพื้นฐาน ก่อนที่จะนำทางคุณผ่านสัญชาตญาณทางคณิตศาสตร์เบื้องหลัง dot-product attention คุณจะได้ก้าวหน้าผ่านคำอธิบายที่เป็นลายลักษณ์อักษรที่มีโครงสร้างซึ่งย่อยสถาปัตยกรรมการเรียนรู้เชิงลึกที่ซับซ้อนให้กลายเป็นแนวคิดที่เข้าถึงได้ หลักสูตรนี้ออกแบบมาสำหรับนักวิทยาศาสตร์ข้อมูลมือใหม่ นักพัฒนาซอฟต์แวร์ และผู้ที่ชื่นชอบ AI ที่กระตือรือร้นที่จะทำความเข้าใจกลไกของการเรียนรู้ของเครื่องสมัยใหม่ ไม่จำเป็นต้องมีพื้นฐานการเรียนรู้เชิงลึกขั้นสูง เริ่มต้นอ่านวันนี้เพื่อฝึกฝนสถาปัตยกรรมหลักที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่