Kỹ thuật Dữ liệu: Các Luồng Kafka, Spark và Airflow

Bạn đang muốn xây dựng các luồng dữ liệu mạnh mẽ và hiệu quả? Khóa học này cung cấp một cách tiếp cận thực tế về kỹ thuật dữ liệu, tập trung vào các công cụ và kỹ thuật thiết yếu được sử dụng ngày nay. Bạn sẽ có được các kỹ năng để xây dựng, triển khai và quản lý các quy trình xử lý dữ liệu hiện đại, từ thu thập dữ liệu thô đến hồ dữ liệu có cấu trúc. Bạn sẽ học được gì: - Hiểu các nguyên tắc cơ bản của kỹ thuật dữ liệu và xây dựng luồng. - Triển khai các mẫu xử lý dữ liệu luồng và theo lô với Kafka và Spark. - Quản lý điều phối và lập lịch quy trình làm việc bằng Airflow. - Cấu hình và tương tác với hồ dữ liệu để lưu trữ dữ liệu có thể mở rộng. - Áp dụng các khái niệm về tiến hóa lược đồ và hợp đồng dữ liệu cho luồng dữ liệu đáng tin cậy. - Thực hành xây dựng và triển khai các luồng bằng Docker Compose. Khóa học này hướng dẫn bạn thiết lập một luồng dữ liệu hoàn chỉnh, từ hàng đợi tin nhắn với Kafka đến xử lý phân tán với Spark và lưu trữ dữ liệu trong hồ dữ liệu, tất cả được điều phối bởi Airflow. Bạn sẽ khám phá các khái niệm thiết yếu như windowing, watermarking và quản lý lược đồ. Khóa học này được thiết kế cho người mới bắt đầu với kiến thức nền tảng về Python, không yêu cầu kinh nghiệm kỹ thuật dữ liệu trước đó. Bắt đầu xây dựng các luồng dữ liệu hiện đại của bạn ngay hôm nay.