วิศวกรรมข้อมูลด้วย PySpark และ Dataproc บน Cloud Platform

ในขณะที่องค์กรต่างๆ สร้างข้อมูลจำนวนมหาศาล ความสามารถในการประมวลผลและวิเคราะห์ข้อมูลนี้อย่างมีประสิทธิภาพเป็นทักษะที่เป็นที่ต้องการอย่างมาก หลักสูตรที่เป็นลายลักษณ์อักษรนี้จะนำคุณไปสู่พื้นฐานของการประมวลผลแบบกระจายโดยใช้ PySpark และโครงสร้างพื้นฐานคลาวด์ที่มีการจัดการ คุณจะเปลี่ยนจากการทำความเข้าใจแนวคิดพื้นฐานของข้อมูลขนาดใหญ่ไปสู่การออกแบบ การเพิ่มประสิทธิภาพ และการปรับใช้ไปป์ไลน์ข้อมูลที่แข็งแกร่ง ด้วยคำอธิบายที่เป็นลายลักษณ์อักษรที่ชัดเจน ตัวอย่างโค้ดที่ใช้งานได้จริง และสถานการณ์ในโลกแห่งความเป็นจริง คุณจะเชี่ยวชาญวิธีการรันงานสตรีมมิ่งแบบแบตช์และเรียลไทม์ที่ปรับขนาดได้บน Cloud Platform สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดหลักของการประมวลผลแบบกระจาย สถาปัตยกรรม Spark และ PySpark DataFrame API พื้นฐาน - กำหนดค่าและจัดการคลัสเตอร์ Spark โดยใช้ Dataproc บน Cloud Platform - สร้างไปป์ไลน์การประมวลผลแบบแบตช์ที่ปรับขนาดได้โดยใช้ SparkSQL และการแปลง DataFrame ที่ทันสมัย - ใช้การประมวลผลข้อมูลแบบเรียลไทม์โดยใช้ Spark Structured Streaming และการรวมระบบส่งข้อความบนคลาวด์ - ประยุกต์ใช้แนวปฏิบัติวิศวกรรมข้อมูลสมัยใหม่ รวมถึงการระบุชนิดข้อมูลของ PySpark และเทคนิคการเพิ่มประสิทธิภาพ - ออกแบบไปป์ไลน์ระบบแนะนำ Machine Learning โดยใช้ Spark MLlib หลักสูตรนี้เริ่มต้นด้วยคำศัพท์ข้อมูลขนาดใหญ่ที่จำเป็นและสถาปัตยกรรม Spark ก่อนที่จะก้าวไปสู่การดำเนินการ DataFrame แบบลงมือปฏิบัติจริง จากนั้นคุณจะก้าวไปสู่การปรับใช้ไปป์ไลน์ในโลกแห่งความเป็นจริงบน Dataproc โดยสรุปด้วยรูปแบบการสตรีมและกลยุทธ์การสัมภาษณ์วิศวกรรมข้อมูลมืออาชีพ หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูล นักวิเคราะห์ และนักพัฒนาที่ต้องการเรียนรู้การประมวลผลข้อมูลขนาดใหญ่ตั้งแต่เริ่มต้น ไม่จำเป็นต้องมีประสบการณ์กับ Spark หรือแพลตฟอร์มคลาวด์มาก่อน แม้ว่าความเข้าใจพื้นฐานเกี่ยวกับ Python จะเป็นประโยชน์ เริ่มอ่านวันนี้เพื่อสร้างรากฐานของคุณในวิศวกรรมข้อมูลคลาวด์สมัยใหม่