Zrozumienie LLM i architektury transformatora z PyTorch

Nowoczesna sztuczna inteligencja jest zdominowana przez duże modele językowe, ale architektura może wydawać się złożona. Rozpocznij swoją podróż, opanowując podstawowe koncepcje, które umożliwiają te potężne systemy generatywne. Pod koniec tego kursu będziesz miał solidne teoretyczne zrozumienie architektury Transformera i praktycznych umiejętności wdrażania podstawowych komponentów za pomocą PyTorch. Będziesz w stanie czytać i modyfikować podstawowy kod LLM, przygotowując się do zaawansowanych prac w NLP i generatywnej AI. Czego się nauczysz: * Poznaj historię i podstawowe pojęcia modelowania sekwencji i mechanizmów uwagi. * Zrozumieć pełną strukturę architektury transformatora, w tym enkodera, dekodera i kodowania pozycjonalnego. * Wdrożyć kluczowe elementy modelu Transformer od podstaw za pomocą biblioteki PyTorch. * Ćwicz tokenizację, przygotowanie danych i konfigurację pętli szkoleniowej dla zadań modelowania języka. * Zastosuj podstawowe techniki inżynierii promptowej, aby skutecznie współdziałać z modelami generatywnymi. * Poznaj podstawowe koncepcje Retrieval-Augmented Generation (RAG), aby zwiększyć pobieranie wiedzy modelowej. Kurs rozpoczyna się od podstawowej terminologii i podstaw matematycznych, a następnie przechodzi do szczegółowego opisu i implementacji komponentów Transformera. Przechodzimy przez praktyczne, tekstowe ćwiczenia kodowania skupione na budowaniu prototypu modelu języka roboczego. Ten kurs jest przeznaczony dla absolutnych początkujących w AI i uczeniu maszynowym, którzy chcą zrozumieć podstawową technologię stojącą za dużymi modelami językowymi. Nie jest wymagane wcześniejsze doświadczenie z PyTorch lub zaawansowanym NLP. Zacznij budować swoją podstawową wiedzę w zakresie generatywnej sztucznej inteligencji już dziś.