การประมวลผลข้อมูลที่ปรับขนาดได้ด้วย Scala และ Spark

ข้อมูลสมัยใหม่ต้องการโซลูชันที่ปรับขนาดได้ซึ่งเครื่องมือแบบดั้งเดิมเครื่องเดียวไม่สามารถจัดการได้ หลักสูตรที่เน้นข้อความนี้จะแนะนำคุณให้รู้จักกับการผสมผสานที่ทรงพลังของ Scala และ Spark ซึ่งเป็นเทคโนโลยีมาตรฐานอุตสาหกรรมสำหรับการประมวลผลและวิเคราะห์ข้อมูลแบบกระจาย ด้วยการอ่านคำอธิบายที่มีโครงสร้างของเราและฝึกฝนตัวอย่างโค้ดจริง คุณจะเปลี่ยนจากผู้เริ่มต้นด้านข้อมูลไปสู่ผู้ปฏิบัติงานที่มั่นใจซึ่งสามารถเขียนแอปพลิเคชันแบบกระจายที่มีประสิทธิภาพได้ คุณจะเข้าใจว่าหลักการเขียนโปรแกรมเชิงฟังก์ชันทำให้การจัดการข้อมูลปลอดภัยและใช้งานง่ายขึ้นได้อย่างไร และ Spark จะประสานงานการประมวลผลแบบคลัสเตอร์เพื่อวิเคราะห์ชุดข้อมูลขนาดใหญ่ได้อย่างราบรื่น สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดพื้นฐานของการเขียนโปรแกรมเชิงฟังก์ชันใน Scala รวมถึงคลาส คุณลักษณะ (traits) และการจับคู่รูปแบบ (pattern matching) - จัดการชุดข้อมูลขนาดใหญ่โดยใช้ Spark DataFrames, Spark SQL และ Resilient Distributed Datasets (RDDs) - สร้างไปป์ไลน์ข้อมูลที่ปรับขนาดได้ซึ่งแปลง กรอง และรวบรวมข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง - ใช้อัลกอริทึมการเรียนรู้ของเครื่องแบบกระจายสำหรับการแนะนำและการวิเคราะห์กราฟโดยใช้ไลบรารีเนทีฟของ Spark - ใช้รูปแบบ Structured Streaming สมัยใหม่เพื่อประมวลผลฟีดข้อมูลแบบเรียลไทม์ทันทีที่มาถึง - ฝึกฝนการเขียนโค้ด Scala ที่สะอาดและทันสมัยซึ่งปรับแต่งมาสำหรับสภาพแวดล้อมการประมวลผลแบบกระจาย หลักสูตรเริ่มต้นด้วยแนวคิดการเขียนโปรแกรมที่จำเป็นใน Scala ก่อนที่จะแนะนำคุณเกี่ยวกับสถาปัตยกรรมของ Spark การแปลงข้อมูล และแอปพลิเคชันการเรียนรู้ของเครื่อง คุณจะก้าวหน้าผ่านคำอธิบายที่เป็นลายลักษณ์อักษร การแยกแนวคิด และแบบฝึกหัดที่ใช้โค้ดซึ่งออกแบบมาเพื่อเสริมสร้างความเข้าใจของคุณเกี่ยวกับระบบแบบกระจาย หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูล นักวิเคราะห์ และนักพัฒนาซอฟต์แวร์ที่ต้องการเริ่มต้นใช้งาน Scala และ Spark ไม่จำเป็นต้องมีประสบการณ์มาก่อนเกี่ยวกับการเขียนโปรแกรมเชิงฟังก์ชันหรือเครื่องมือ Big Data เริ่มอ่านวันนี้เพื่อปลดล็อกศักยภาพของการประมวลผลข้อมูลแบบกระจายขนาดใหญ่