Evaluación de Modelos de Lenguaje con Azure Databricks

Desplegar modelos de lenguaje es solo la mitad de la batalla; asegurar que produzcan respuestas precisas, seguras y relevantes es crítico para aplicaciones del mundo real. Este curso basado en texto lo guiará a través del proceso de evaluación y benchmarking de las salidas de los modelos. Aprenderá a diseñar y ejecutar pipelines de evaluación robustos en Azure Databricks, pasando de verificaciones manuales subjetivas a estrategias de evaluación escalables y automatizadas. Lo que aprenderá: * Comprender las métricas centrales de evaluación de modelos de lenguaje, incluyendo precisión, relevancia, toxicidad y groundedness; * Configurar entornos de Azure Databricks para rastrear y gestionar ejecuciones de evaluación; * Aplicar las APIs de evaluación de MLflow para registrar y comparar sistemáticamente diferentes versiones de modelos; * Implementar el patrón LLM-as-a-judge para automatizar evaluaciones cualitativas; * Analizar resultados de evaluación para identificar sesgos del modelo y cuellos de botella en el rendimiento. El curso comienza con conceptos fundamentales del rendimiento del modelo y terminología clave de evaluación. Luego progresará a la escritura de scripts de evaluación, la configuración de MLflow y el análisis de datos comparativos a través de tutoriales escritos claros y paso a paso. Este curso está diseñado para científicos de datos, desarrolladores y entusiastas de la IA que desean aprender los conceptos básicos de evaluación de modelos; no se requiere experiencia previa con Databricks o machine learning avanzado. Comience a construir aplicaciones de IA confiables aprendiendo a medir lo que importa.