การสร้าง Data Pipeline แบบแยกส่วนและทดสอบได้ด้วย dbt บน Databricks

ทีมข้อมูลสมัยใหม่จำเป็นต้องมีไปป์ไลน์ที่เชื่อถือได้ ควบคุมเวอร์ชันได้ และผ่านการทดสอบอย่างละเอียด เพื่อแปลงข้อมูลดิบให้กลายเป็นข้อมูลเชิงลึกที่นำไปใช้งานได้จริง การจัดการเวิร์กโฟลว์เหล่านี้ในสเกลใหญ่ต้องอาศัยการผสมผสานพลังการประมวลผลของ Databricks เข้ากับโครงสร้างเฟรมเวิร์กการแปลงข้อมูลของ dbt คอร์สนี้นสอนวิธีออกแบบและดูแลรักษา architecture ข้อมูลที่สะอาดและสามารถขยายขนาดได้อย่างราบรื่น ในคอร์สนี้ คุณจะได้เรียนรู้วิธีสร้างไปป์ไลน์การแปลงข้อมูลระดับโปรดักชันตั้งแต่เริ่มต้น โดยจะเปลี่ยนผ่านจากการเขียน SQL ดิบที่ไม่มีการจัดระเบียบ ไปสู่การพัฒนาโมเดลข้อมูลแบบแยกส่วน ใช้ซ้ำได้ และผ่านการทดสอบอย่างเต็มรูปแบบ โดยใช้ทั้ง dbt Core และ dbt Cloud บน Databricks สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดพื้นฐานของ dbt รวมถึงโครงสร้างโปรเจกต์ การกำหนดค่าด้วย YAML และ data architecture หลายเลเยอร์แบบ Bronze-Silver-Gold - กำหนดค่า dbt ให้เชื่อมต่อกับ Databricks ได้อย่างราบรื่นโดยใช้ทั้งสภาพแวดล้อม dbt Cloud และ dbt Core - สร้างโมเดลข้อมูลแบบแยกส่วนโดยใช้ SQL, Jinja templating และ custom macros เพื่อเขียน logic การแปลงข้อมูลที่ไม่ซ้ำซ้อนและใช้ซ้ำได้ -ใช้งานการตรวจสอบคุณภาพข้อมูลที่มีประสิทธิภาพ โดยใช้ configuration การทดสอบสมัยใหม่ของ dbt และแพ็กเกจยูทิลิตี้ของบุคคลที่สาม - ประยุกต์ใช้กลยุทธ์การจัดเก็บวัสดุขั้นสูง รวมถึง incremental loads และ snapshots เพื่อเพิ่มประสิทธิภาพของไปป์ไลน์และติดตามการเปลี่ยนแปลงในอดีต - ผสานรวมแนวปฏิบัติที่ดีที่สุดในการควบคุมเวอร์ชันเพื่อทำงานร่วมกันได้อย่างปลอดภัยและรักษาประวัติที่สะอาดของการเปลี่ยนแปลง data pipeline ของคุณ คุณจะได้เริ่มต้นด้วยแนวคิดวิศวกรรมข้อมูลหลักและการตั้งค่า dbt ก่อนที่จะก้าวไปทีละขั้นตอนผ่านการสร้างโมเดล การทดสอบ และการปรับแต่งประสิทธิภาพขั้นสูง คำอธิบายที่เป็นลายลักษณ์อักษรและโค้ดตัวSnippet ทางปฏิบัติจะแนะนำคุณตั้งแต่การเริ่มต้นโปรเจกต์ครั้งแรกไปจนถึงการปรับใช้ไปป์ไลน์ที่ยืดหยุ่นและพร้อมใช้งานจริง คอร์สนี้ออกแบบมาสำหรับวิศวกรข้อมูล Analytics Engineer และนักวิเคราะห์ข้อมูลที่ต้องการสร้าง data pipeline ที่มีโครงสร้าง ไม่จำเป็นต้องมีประสบการณ์เกี่ยวกับ dbt หรือ Databricks มาก่อน แม้ว่าความเข้าใจพื้นฐานเกี่ยวกับ SQL จะเป็นประโยชน์ก็ตาม เริ่มต้นสร้าง data pipeline ที่สะอาดและน่าเชื่อถือยิ่งขึ้นตั้งแต่วันนี้