คู่มือโปรเจกต์ Azure Data Engineering: ออกแบบและสร้างไปป์ไลน์

การเปลี่ยนจากการเรียนรู้บทเรียนแยกส่วนไปสู่การสร้างไปป์ไลน์ข้อมูลที่เชื่อมโยงกันและพร้อมใช้งานจริงอาจเป็นความท้าทายที่สำคัญ หลักสูตรนี้จะช่วยเชื่อมช่องว่างนั้นโดยนำคุณผ่านวงจรชีวิตทั้งหมดของโปรเจกต์วิศวกรรมข้อมูลบนคลาวด์ คุณจะได้เปลี่ยนจากการทำความเข้าใจส่วนประกอบพื้นฐานของคลาวด์ไปสู่การออกแบบและนำไปใช้ไปป์ไลน์ข้อมูลที่ทำงานได้อย่างสมบูรณ์ ด้วยคำอธิบายที่เป็นลายลักษณ์อักษรที่ชัดเจน คุณจะได้เรียนรู้วิธีการนำเข้า, แปลง, และจัดเก็บข้อมูลอย่างปลอดภัยโดยใช้บริการคลาวด์มาตรฐานอุตสาหกรรมและแนวปฏิบัติที่ดีที่สุดที่ทันสมัย สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดพื้นฐานของสถาปัตยกรรมข้อมูลบนคลาวด์, ระดับการจัดเก็บข้อมูล, และการเคลื่อนย้ายข้อมูลที่ปลอดภัย - กำหนดค่าโซลูชันการจัดเก็บข้อมูลที่ปลอดภัยโดยใช้ Azure Data Lake Storage Gen 2 และ AWS S3 - สร้างไปป์ไลน์การนำเข้าข้อมูลแบบมีระบบโดยใช้ Azure Data Factory และทริกเกอร์ที่ขับเคลื่อนด้วยเหตุการณ์ - เขียนตรรกะการแปลงข้อมูลใน Databricks notebooks โดยใช้ PySpark และเทคนิคการเพิ่มประสิทธิภาพที่ทันสมัย - นำแนวปฏิบัติการรักษาความปลอดภัยระดับองค์กรมาใช้โดยใช้ Key Vault เพื่อจัดการข้อมูลประจำตัวและการควบคุมการเข้าถึง - ออกแบบและโหลดเป้าหมายเชิงสัมพันธ์โดยใช้ Azure SQL Database เพื่อจัดเก็บข้อมูลวิเคราะห์ที่ประมวลผลแล้ว หลักสูตรเริ่มต้นด้วยแนวคิดพื้นฐานของการจัดเก็บข้อมูลบนคลาวด์และความปลอดภัย ก่อนที่จะย้ายไปสู่การออกแบบและสถาปัตยกรรมไปป์ไลน์ จากนั้นคุณจะก้าวหน้าผ่านขั้นตอนการนำไปใช้ทีละขั้นตอน โดยเชื่อมโยงส่วนประกอบการนำเข้า, การแปลง, และการจัดเก็บเข้าด้วยกันเป็นโซลูชันที่เชื่อมโยงกันและผ่านการทดสอบแล้ว หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูลที่ต้องการและผู้เริ่มต้นที่ต้องการดูว่าบริการคลาวด์แต่ละรายการทำงานร่วมกันอย่างไรในสถานการณ์จริง ไม่จำเป็นต้องมีประสบการณ์ด้านวิศวกรรมคลาวด์มาก่อน เนื่องจากเราเริ่มต้นด้วยคำศัพท์พื้นฐานและแนวคิดหลัก เริ่มอ่านวันนี้เพื่อสร้างไปป์ไลน์วิศวกรรมข้อมูลระดับโปรดักชันแรกของคุณตั้งแต่เริ่มต้น