Spark y procesamiento por lotes de Big Data para principiantes

Las organizaciones modernas generan volúmenes masivos de datos que las bases de datos tradicionales simplemente no pueden manejar, y para darle sentido a esta información, es necesario entender cómo funciona la computación distribuida y cómo procesar conjuntos de datos a escala. Este curso basado en texto lo guía a través de los conceptos fundamentales de big data, explicando cómo particionar, procesar y analizar grandes conjuntos de datos de manera eficiente. Este curso hace hincapié en las mejores prácticas modernas, incluidas las API estructuradas, las operaciones seguras de tipo y las estrategias de ajuste de rendimiento que mantienen sus canalizaciones de datos funcionando sin problemas. Lo que aprenderás: - Comprender los principios básicos de los sistemas distribuidos, los recursos de clúster y las estrategias de partición - Configurar sesiones de Spark y trabajar con la API DataFrame estructurada para la manipulación de datos - Construya tuberías de procesamiento por lotes robustas para limpiar, transformar y agregar grandes conjuntos de datos - Aplique técnicas de optimización como almacenamiento en caché, transmisión y minimización de la mezcla de datos - Leer y escribir datos en formatos comunes de almacenamiento de big data, incluidos Parquet y JSON - Implemente prácticas de datos modernas estructurando su código de lote con sugerencias de tipo claras y diseño modular Comenzamos con la terminología esencial, explorando las diferencias arquitectónicas entre la computación de un solo nodo y la computacion distribuida, y avanzaremos a través de lecciones basadas en texto estructurado que cubren transformaciones de datos, técnicas de agregación y estrategias de optimización prácticas. Este curso está diseñado para aspirantes a ingenieros de datos, analistas de datos y desarrolladores de software que son nuevos en big data.No se requiere experiencia previa con sistemas distribuidos, aunque una comprensión básica de los conceptos de programación lo ayudará a aprovechar al máximo el material. Comience a leer hoy mismo para desbloquear el poder de la computación distribuida y crear canalizaciones de datos escalables.