Spark with Scala สำหรับวิศวกรรมข้อมูลขนาดใหญ่ (Big Data Engineering)

ในโลกของข้อมูลขนาดใหญ่ (big data) การประมวลผลชุดข้อมูลขนาดใหญ่ได้อย่างรวดเร็วและเชื่อถือได้เป็นข้อกำหนดที่สำคัญสำหรับไปป์ไลน์ข้อมูลสมัยใหม่ หลักสูตรนี้นำเสนอคู่มือที่ครอบคลุมในรูปแบบข้อความเพื่อเชี่ยวชาญ Spark ด้วย Scala โดยจะนำคุณตั้งแต่แนวคิดพื้นฐานไปจนถึงเทคนิคการเพิ่มประสิทธิภาพขั้นสูง คุณจะเปลี่ยนจากการเขียนสคริปต์ข้อมูลแบบง่ายๆ ไปสู่การออกแบบแอปพลิเคชันการประมวลผลข้อมูลที่มีประสิทธิภาพสูงและยืดหยุ่น ผ่านคำอธิบายที่เป็นลายลักษณ์อักษรที่ชัดเจนและตัวอย่างโค้ดที่ใช้งานได้จริง คุณจะได้เรียนรู้วิธีใช้ประโยชน์จากพลังทั้งหมดของระบบนิเวศของ Spark เพื่อแก้ไขปัญหาข้อมูลที่ซับซ้อน สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจสถาปัตยกรรมหลักของ Spark รวมถึง driver, executors และ DAG execution engine - เชี่ยวชาญ Structured APIs โดยใช้ Spark DataFrames และ Datasets ใน Scala สำหรับการจัดการข้อมูลอย่างมีประสิทธิภาพ - สร้างไปป์ไลน์การนำเข้าข้อมูลแบบเรียลไทม์โดยใช้ Spark Structured Streaming - ใช้เทคนิคการปรับปรุงประสิทธิภาพ รวมถึง partitioning, caching และ query optimization - ผสานรวม Spark เข้ากับรูปแบบการจัดเก็บข้อมูล lakehouse สมัยใหม่ เช่น Delta Lake สำหรับธุรกรรมที่เชื่อถือได้ - ดีบัก แก้ไขปัญหา และปรับใช้แอปพลิเคชัน Spark ในสภาพแวดล้อมภายในเครื่องและคลาวด์ หลักสูตรเริ่มต้นด้วยแนวคิดข้อมูลขนาดใหญ่ที่จำเป็นและพื้นฐานไวยากรณ์ Scala ก่อนที่จะก้าวไปสู่การปฏิบัติงาน DataFrame, การประมวลผลสตรีม และกลยุทธ์การดีบักขั้นสูง หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูล นักพัฒนา และนักวิเคราะห์ที่ต้องการ โดยไม่จำเป็นต้องมีประสบการณ์ Spark มาก่อน แม้ว่าความคุ้นเคยกับการเขียนโปรแกรมพื้นฐานจะเป็นประโยชน์ เริ่มสร้างไปป์ไลน์ข้อมูลที่รวดเร็วและปรับขนาดได้มากขึ้นตั้งแต่วันนี้