วิศวกรรมข้อมูลด้วย Apache Beam และ Python Pipelines

ในภูมิทัศน์ข้อมูลยุคใหม่ ความสามารถในการประมวลผลสตรีมข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพเป็นทักษะที่สำคัญสำหรับผู้เชี่ยวชาญด้านข้อมูลทุกคน หลักสูตรนี้นำเสนอการแนะนำที่ครอบคลุมเกี่ยวกับการสร้างไปป์ไลน์การประมวลผลข้อมูลแบบรวมศูนย์ที่ยังคงพกพาได้ในเครื่องมือดำเนินการต่างๆ คุณจะได้พัฒนาจากการทำความเข้าใจแนวคิดหลักของการประมวลผลแบบกระจาย ไปสู่การสร้างไปป์ไลน์ที่ใช้งานได้จริงซึ่งจัดการกับการแปลงข้อมูลที่ซับซ้อน เมื่อสิ้นสุดหลักสูตรนี้ คุณจะสามารถออกแบบเวิร์กโฟลว์ที่แข็งแกร่งซึ่งจัดการได้ทั้งข้อมูลแบตช์ในอดีตและข้อมูลสตรีมมิ่งแบบเรียลไทม์ได้อย่างมั่นใจ What you'll learn: - ทำความเข้าใจสถาปัตยกรรมหลักของ Apache Beam และโมเดลแบบรวมศูนย์สำหรับข้อมูลแบตช์และสตรีมมิ่ง - ประยุกต์ใช้การแปลงข้อมูลที่จำเป็นเพื่อทำความสะอาด กรอง และรวมชุดข้อมูลที่ซับซ้อนโดยใช้ Python - ใช้คุณสมบัติไปป์ไลน์ขั้นสูง รวมถึง side inputs, side outputs และ composite transforms - กำหนดค่ากลยุทธ์ windowing และ triggers เพื่อจัดการกับข้อมูลที่มาถึงล่าช้าในสตรีมเรียลไทม์ได้อย่างมีประสิทธิภาพ - ปรับใช้และจัดการไปป์ไลน์ที่ปรับขนาดได้โดยใช้ Cloud Dataflow สำหรับการประมวลผลระดับองค์กร - ผสานรวม Beam SQL เพื่อดำเนินการคิวรีเชิงสัมพันธ์บนสตรีมข้อมูลแบบกระจาย - ฝึกฝนพื้นฐานการสังเกตการณ์ข้อมูล (data observability) สมัยใหม่เพื่อตรวจสอบสถานะของไปป์ไลน์และรับรองคุณภาพข้อมูล หลักสูตรเริ่มต้นด้วยคำศัพท์พื้นฐานและวิสัยทัศน์ของ Beam ก่อนที่จะเข้าสู่การสร้างไปป์ไลน์เชิงปฏิบัติ ครอบคลุมทุกอย่างตั้งแต่การดำเนินการ I/O พื้นฐานไปจนถึงตรรกะการสตรีมมิ่งที่ซับซ้อน แต่ละส่วนเน้นที่คำอธิบายที่เป็นลายลักษณ์อักษรและตัวอย่างที่อิงตามโค้ดเพื่อเสริมสร้างความเข้าใจในการประมวลผลแบบกระจายของคุณ หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูล นักพัฒนาซอฟต์แวร์ และนักวิเคราะห์ที่ต้องการเริ่มต้นใหม่กับ Apache Beam และต้องการสร้างรากฐานที่มั่นคงในการจัดการ Big Data ไม่จำเป็นต้องมีประสบการณ์ล่วงหน้าเกี่ยวกับระบบแบบกระจาย เริ่มสร้างโซลูชันข้อมูลที่ปรับขนาดได้ตั้งแต่วันนี้ โดยการเรียนรู้พื้นฐานของ Apache Beam