Entendendo LLMs e a Arquitetura do Transformador com PyTorch

A IA moderna é dominada por modelos de linguagem grandes, mas a arquitetura subjacente pode parecer complexa. Comece sua jornada dominando os conceitos fundamentais que permitem esses poderosos sistemas generativos. No final deste curso, você terá uma sólida compreensão teórica da arquitetura do Transformer e habilidades práticas para implementar componentes principais usando o PyTorch. Você será capaz de ler e modificar o código básico do LLM, preparando o cenário para o trabalho avançado em PNL e IA generativa. O que você vai aprender: * Aprenda a história e os conceitos fundamentais de modelagem de sequência a sequências e mecanismos de atenção. * Entenda a estrutura completa da arquitetura do transformador, incluindo codificador, decodificador e codificação posicional. * Implementar componentes-chave de um modelo Transformer a partir do zero usando a biblioteca PyTorch. * Pratique a tokenização, a preparação de dados e a configuração do loop de treinamento para tarefas de modelagem de linguagem. * Aplicar técnicas básicas de engenharia rápida para interagir efetivamente com modelos generativos. * Explore os conceitos fundamentais de Recuperação-Geração Aumentada (RAG) para melhorar a recuperação de conhecimento do modelo. O curso começa com terminologia essencial e fundamentos matemáticos antes de passar para a descrição detalhada e implementação dos componentes do transformador. Nós progredimos através de exercícios práticos de codificação baseados em texto focados na construção de um protótipo de modelo de linguagem de trabalho. Este curso é projetado para iniciantes absolutos em IA e aprendizado de máquina que querem entender a tecnologia central por trás de modelos de linguagem grandes. Não é necessária experiência prévia com PyTorch ou NLP avançado. Comece a construir sua experiência fundamental em IA generativa hoje mesmo.