Xem thêm: LLMs và kiến trúc biến đổi với PyTorch

AI hiện đại chủ yếu là các mô hình ngôn ngữ lớn, nhưng kiến trúc nền tảng có thể dường như phức tạp. Bắt đầu hành trình của bạn bằng cách làm chủ các khái niệm cơ bản cho phép các hệ thống sinh sản mạnh mẽ này. Vào cuối khóa học này, bạn sẽ có một hiểu biết lý thuyết vững chắc về kiến trúc Transformer và kỹ năng thực tế để triển khai các thành phần cốt lõi bằng PyTorch. Bạn sẽ có thể đọc và sửa đổi mã LLM cơ bản, thiết lập sân khấu cho công việc tiên tiến trong NLP và AI sinh sản. Bạn sẽ học được: * Học lịch sử và các khái niệm cơ bản của mô hình trình tự-đến-trình tự và cơ chế chú ý. * Hiểu được cấu trúc hoàn chỉnh của kiến trúc Transformer, bao gồm encoder, decoder và mã hóa vị trí. * Thực hiện các thành phần chính của một mô hình Transformer từ đầu bằng cách sử dụng thư viện PyTorch. * Thực hành tokenization, chuẩn bị dữ liệu, và cấu hình vòng lặp huấn luyện cho các nhiệm vụ mô hình ngôn ngữ. * Apply basic prompt engineering techniques to interact effectively with generative models. * Tìm hiểu các khái niệm cơ bản của Retrieval-Augmented Generation (RAG) để tăng cường lấy mẫu kiến thức. Chương trình bắt đầu với thuật ngữ cơ bản và nền tảng toán học trước khi chuyển sang mô tả chi tiết và thực hiện các thành phần Transformer. Chúng tôi tiến bộ thông qua các bài tập mã hóa dựa trên văn bản tập trung vào việc xây dựng một mô hình ngôn ngữ làm việc. Lớp học này được thiết kế cho người mới bắt đầu trong AI và học máy muốn hiểu công nghệ cốt lõi đằng sau Large Language Models. Không cần kinh nghiệm trước với PyTorch hoặc NLP tiên tiến. Bắt đầu xây dựng chuyên môn nền tảng của bạn trong AI sinh học hôm nay.