LLMs und die Transformer-Architektur mit PyTorch verstehen

Moderne KI wird von großen Sprachmodellen dominiert, aber die zugrunde liegende Architektur kann komplex erscheinen. Beginnen Sie Ihre Reise, indem Sie die grundlegenden Konzepte meistern, die diese leistungsstarken generativen Systeme ermöglichen. Am Ende dieses Kurses haben Sie ein solides theoretisches Verständnis der Transformer-Architektur und praktische Fähigkeiten, um Kernkomponenten mit PyTorch zu implementieren. Sie werden in der Lage sein, grundlegenden LLM-Code zu lesen und zu ändern, um die Voraussetzungen für fortgeschrittene Arbeiten in NLP und generativer KI zu schaffen. Was Sie lernen werden: * Lernen Sie die Geschichte und grundlegenden Konzepte der Sequenz-zu-Sequenz Modellierung und Aufmerksamkeitsmechanismen. * Verstehen Sie die vollständige Struktur der Transformer-Architektur, einschließlich Encoder, Decoder und Positionscodierung. * Implementieren Sie Schlüsselkomponenten eines Transformer-Modells von Grund auf mit der PyTorch-Bibliothek. * Üben Sie Tokenisierung, Datenvorbereitung und Trainingsschleifenkonfiguration für Sprachmodellierungsaufgaben. * Anwenden grundlegender prompter Engineering-Techniken, um effektiv mit generativen Modellen zu interagieren. * Erkunden Sie grundlegende Konzepte der Retrieval-Augmented Generation (RAG), um den Modellwissensabruf zu verbessern. Der Kurs beginnt mit der wesentlichen Terminologie und mathematischen Grundlagen, bevor die detaillierte Beschreibung und Implementierung der Transformer-Komponenten folgt. Wir gehen durch praktische, textbasierte Coding-Übungen, die sich auf den Aufbau eines Prototyps eines Arbeitssprachenmodells konzentrieren. Dieser Kurs richtet sich an absolute Anfänger in KI und maschinellem Lernen, die die Kerntechnologie hinter Large Language Models verstehen möchten. Vorkenntnisse mit PyTorch oder fortgeschrittenem NLP sind nicht erforderlich. Bauen Sie noch heute Ihre grundlegende Expertise in generativer KI auf.