Xây dựng các đường ống dữ liệu mô đun và có thể kiểm tra với dbt trên Databricks

Các nhóm dữ liệu hiện đại cần các đường ống đáng tin cậy, kiểm soát phiên bản và được kiểm tra kỹ lưỡng để chuyển đổi dữ kiện thô thành những hiểu biết có thể hành động. Chương trình này dạy bạn cách thiết kế và duy trì kiến trúc dữ liệu sạch mà có thể được nâng cấp một cách dễ dàng. Trong khóa học này, bạn sẽ học cách xây dựng các đường ống chuyển đổi dữ liệu cấp sản xuất từ đầu. Bạn sẽ chuyển từ việc viết SQL thô, không có tổ chức sang phát triển các mô hình dữ kiện mô đun, có thể sử dụng lại, và được kiểm tra đầy đủ bằng cách sử dụng cả dbt Core và dbt Cloud trên Databricks. Bạn sẽ học được: - Hiểu các khái niệm cơ bản của dbt, bao gồm cấu trúc dự án, cấu hình với YAML, và kiến trúc dữ liệu Bronze-Silver-Gold đa lớp. - Cấu hình dbt để kết nối một cách liền mạch với Databricks bằng cách sử dụng cả môi trường dbt Cloud và dbt Core. - Tạo mô hình dữ liệu mô đun sử dụng SQL, mẫu Jinja, và macro tùy chỉnh để viết logic biến đổi khô, có thể tái sử dụng. - Thực hiện kiểm tra chất lượng dữ liệu mạnh mẽ bằng cách sử dụng cấu hình kiểm thử dbt hiện đại và gói tiện ích bên thứ ba. - Ứng dụng các chiến lược vật lý hóa tiên tiến, bao gồm tải tăng dần và chụp ảnh, để tối ưu hóa hiệu suất đường ống và theo dõi các thay đổi lịch sử. - Hợp nhất các phương pháp kiểm soát phiên bản tốt nhất để hợp tác an toàn và duy trì lịch sử sạch của các thay đổi đường ống dữ liệu của bạn. Bạn sẽ bắt đầu với các khái niệm kỹ thuật dữ liệu cốt lõi và cài đặt dbt trước khi tiến hành từng bước qua mô hình hóa, kiểm tra, và điều chỉnh hiệu suất cao cấp. Các lời giải thích bằng văn bản và các đoạn mã thực tế sẽ hướng dẫn bạn từ khởi động dự án ban đầu đến triển khai một đường ống dẻo dai, sẵn sàng sản xuất. Chương trình này được thiết kế cho những kỹ sư dữ liệu, kỹ thuật viên phân tích, và nhà phân tích dữ kiện có tham vọng muốn xây dựng các đường ống dữ liêu có cấu trúc. Không cần kinh nghiệm trước đó với dbt hay Databricks, mặc dù một hiểu biết cơ bản về SQL sẽ hữu ích. Bắt đầu xây dựng các đường ống dữ liệu sạch hơn, đáng tin cậy hơn.