Comprender los LLM y la arquitectura de transformadores con PyTorch

La IA moderna está dominada por modelos de lenguajes grandes, pero la arquitectura subyacente puede parecer compleja.Comience su viaje dominando los conceptos fundamentales que permiten estos poderosos sistemas generativos. Al final de este curso, tendrá una sólida comprensión teórica de la arquitectura de Transformer y habilidades prácticas para implementar componentes básicos usando PyTorch.Podrá leer y modificar el código básico de LLM, preparando el escenario para el trabajo avanzado en PLN e IA generativa. Lo que aprenderás: * Aprender la historia y los conceptos fundamentales de la secuencia a la secuencia de modelado y mecanismos de atención. * Comprender la estructura completa de la arquitectura del transformador, incluyendo codificador, decodificador y codificación posicional. * Implementar componentes clave de un modelo de transformador desde cero utilizando la biblioteca PyTorch. * Practicar la tokenización, la preparación de datos y la configuración de bucles de entrenamiento para tareas de modelado de lenguaje. * Aplicar técnicas básicas de ingeniería rápida para interactuar de manera efectiva con modelos generativos. * Explorar los conceptos fundamentales de la generación de recuperación aumentada (RAG) para mejorar la recuperación de conocimientos de modelos. El curso comienza con la terminología esencial y los fundamentos matemáticos antes de pasar a la descripción detallada y la implementación de los componentes de Transformer.Progresamos a través de ejercicios prácticos de codificación basados en texto enfocados en la construcción de un prototipo de modelo de lenguaje de trabajo. Este curso está diseñado para principiantes absolutos en IA y aprendizaje automático que desean comprender la tecnología central detrás de los modelos de lenguaje grande.No se requiere experiencia previa con PyTorch o PLN avanzado. Comience a desarrollar su experiencia fundamental en IA generativa hoy mismo.