Foundations of Large Language Models: Building from Scratch with PyTorch (bằng tiếng Anh).

Mô hình ngôn ngữ lớn là động cơ thúc đẩy cuộc cách mạng AI ngày nay, tuy nhiên, hoạt động bên trong của chúng thường dường như là một hộp đen. Bạn sẽ chuyển từ một người học tò mò sang một người hiểu kiến trúc, logic huấn luyện, và chi tiết thực hiện của các mô hình như GPT- 2. Bằng cách đọc qua các giải thích kỹ thuật chi tiết và các ví dụ dựa trên mã, bạn sẽ có một cái nhìn rõ ràng về cách dữ liệu thô được chuyển đổi thành việc tạo ra văn bản thông minh. Bạn sẽ học được: - Hiểu được các khái niệm cơ bản của kiến trúc dựa trên biến đổi và cơ chế tự chú ý - Thực hiện các thành phần mô hình cốt lõi bằng PyTorch, tập trung vào các thao tác tensor và các lớp mạng nơron - Luyện tập xây dựng một mô hình kiến trúc kiểu GPT từ đầu bằng cách giải thích mã - Ứng dụng các kỹ thuật xử lý dữ liệu hiện đại, bao gồm tokenization và chiến lược nhúng - Học về các mô hình tối ưu hóa hiện tại và các khái niệm cơ bản về chỉnh sửa cho AI sinh sản - Tìm hiểu sự chuyển đổi từ dữ liệu văn bản thô sang các đường ống nhập sẵn sàng cho mô hình Chương trình bắt đầu với thuật ngữ cơ bản và định nghĩa cơ bản trước khi chuyển sang logic từng bước của xây dựng mô hình và các chu kỳ huấn luyện. Bạn sẽ theo một con đường có cấu trúc từ các khái niệm toán học cơ bản đến việc thực hiện kiến trúc mô hình ngôn ngữ chức năng. Chương trình này được thiết kế cho người mới bắt đầu với kiến thức cơ bản về Python, muốn hiểu thực tế kỹ thuật của các mô hình AI mà không cần phải dựa vào các trừu tượng cấp cao. Không cần kinh nghiệm trước đó với học sâu. Bắt đầu hành trình của bạn vào kiến trúc của mô hình ngôn ngữ hiện đại hôm nay.