Kỹ thuật dữ liệu cơ bản: Xây dựng đường ống ELT tự động

Dữ liệu là nguồn sống của kinh doanh hiện đại, nhưng dữ liệu thô là vô dụng nếu không có cơ sở hạ tầng thích hợp để di chuyển và xử lý nó một cách hiệu quả. Chương trình này cung cấp một nền tảng vững chắc, thực tế trong Kỹ thuật dữ kiện, cho phép bạn thiết kế, xây dựng, và duy trì các đường ống dữ lượng tự động mạnh mẽ cần thiết cho phân tích và báo cáo dữ liêu hiện đại. Bạn sẽ học được: * Hiểu các khái niệm cơ bản của kho dữ liệu (DWH) và hồ dữ kiện, bao gồm các mô hình kiến trúc phổ biến. * Cấu hình và containerize cơ sở dữ liệu địa phương sử dụng Docker cho môi trường phát triển tái tạo. * Apply Python và PySpark cho hiệu quả xử lý hàng loạt và biến đổi dữ liệu quy mô lớn. * Thiết kế và phối hợp các luồng công việc phức tạp sử dụng Apache Airflow để lên lịch và giám sát công việc ETL / ELT. * Thực hiện kiểm tra chất lượng dữ liệu và các mô hình quan sát dữ kiện cơ bản trong đường ống của bạn. * Thực hành xây dựng các luồng công việc ELT mô-đun và kiểm tra bằng cách sử dụng các khung chuyển đổi dữ liệu hiện đại như DBT. Chương trình bắt đầu với các khái niệm cơ sở dữ liệu cơ bản và nguyên tắc mô hình dữ kiện trước khi chuyển sang xây dựng đường ống thực tế sử dụng môi trường chứa. Bạn sẽ tiến hành qua xử lý hàng loạt, cơ bản hấp thụ dòng, và dàn dựng luồng công việc. Chương trình này được thiết kế cho những người mới bắt đầu quan tâm đến kỹ thuật dữ liệu, cũng như các nhà phân tích dữ kiện hoặc nhà phát triển tìm kiếm sự chuyển đổi vào việc xây dựng cơ sở dữ liêu dữ. Không cần kinh nghiệm kỹ sư dữ dữ trước đó. Bắt đầu xây dựng các cơ sở hạ tầng cho các quyết định dựa trên dữ Liệu ngày nay.