Chất lượng và kiểm tra dữ liệu cho đường ống dữ kiện

Chất lượng dữ liệu kém là một điểm thất bại quan trọng trong bất kỳ dự án dữ kiện nào, dẫn đến những nhận thức sai lầm và làm lại tốn kém. Học cách thực hiện các bước xác minh tích cực để đảm bảo độ tin cậy của dữ lượng của bạn từ việc hấp thụ đến phân tích. Vào cuối khóa học này, bạn sẽ hiểu các nguyên tắc đảm bảo chất lượng dữ liệu và có thể thiết kế, triển khai và tích hợp kiểm tra xác thực tự động trực tiếp vào các luồng dữ kiện của bạn bằng cách sử dụng các công cụ và kỹ thuật tiêu chuẩn của ngành. Bạn sẽ học được: * Hiểu các khái niệm cốt lõi của chất lượng dữ liệu, các loại dữ kiện bẩn, và các nguyên tắc của Data Observability. * Apply SQL checks for foundational constraint enforcement, bao gồm uniqueness, completeness, và referential integrity. * Luyện tập định nghĩa và thực thi xác minh sơ đồ phức tạp bằng cách sử dụng thư viện Python hiện đại như Pydantic và Pandera. * Cấu hình và triển khai khung Great Expectations để tạo tài liệu dữ liệu và chạy bộ xác minh toàn diện. * Hợp nhất các bước xác minh vào các trình biên soạn workflow để ngừng các đường ống dữ liệu ngay lập tức khi có lỗi chất lượng. * Phân tích và áp dụng các mô hình cơ bản để giám sát độ tươi mới, khối lượng và trôi chảy theo thời gian. Chương trình bắt đầu bằng việc thiết lập các khái niệm chất lượng dữ liệu cơ bản và tiến hành thực hiện các bước thực tế bằng cách sử dụng SQL và các công cụ kiểm tra hiện đại của Python. Sau đó bạn sẽ học cách tích hợp các kiểm thử này vào một luồng công việc tự động hoàn chỉnh bằng cách dùng ngữ cảnh dự án thực tế. Chương trình này được thiết kế cho những người mới bắt đầu với kỹ thuật dữ liệu, phân tích dữ kiện, hoặc phân tích cần đảm bảo tính toàn vẹn của nguồn dữ liêu. Không cần kinh nghiệm trước đó với các khung xác thực cụ thể, chỉ cần quen thuộc cơ bản với Python và SQL. Bắt đầu xây dựng các đường ống dữ liệu mạnh mẽ và đáng tin cậy hôm nay.