Các đường dẫn dữ liệu thực tế với Apache Airflow

Mệt mỏi vì phải chạy thủ công các tập lệnh dữ liệu và chật vật theo dõi các phụ thuộc của chúng? Hãy tìm hiểu cách tự động hóa và quản lý các quy trình dữ liệu phức tạp với Apache Airflow, công cụ tiêu chuẩn ngành để điều phối quy trình làm việc. Khóa học này cung cấp phần giới thiệu toàn diện, dựa trên văn bản về việc xây dựng các đường dẫn dữ liệu đáng tin cậy. Bạn sẽ chuyển từ các khái niệm cốt lõi sang ứng dụng thực tế, học cách định nghĩa, lên lịch và giám sát quy trình làm việc của mình hoàn toàn bằng mã. Sau khi hoàn thành, bạn sẽ có các kỹ năng nền tảng để xây dựng các đường dẫn dữ liệu mạnh mẽ, có thể lặp lại và có thể quan sát được cho các dự án của riêng bạn. Những gì bạn sẽ học: - Hiểu các khái niệm cốt lõi của Airflow, bao gồm DAG, Operator, Task và kiến ​​trúc cơ bản của nó. - Xây dựng đường dẫn dữ liệu đầu tiên của bạn từ đầu, định nghĩa các phụ thuộc của tác vụ và lên lịch chạy thường xuyên. - Sử dụng API TaskFlow hiện đại để viết các đường dẫn dữ liệu sạch sẽ, trực quan và gốc Python. - Học cách sử dụng Hook và Connections để tương tác an toàn với các hệ thống bên ngoài như cơ sở dữ liệu và dịch vụ đám mây. - Thực hành truyền dữ liệu giữa các tác vụ một cách hiệu quả bằng cơ chế XComs của Airflow. - Xác định các phụ thuộc dữ liệu và nguồn gốc dữ liệu bằng cách sử dụng các tính năng hiện đại như Lập lịch dựa trên dữ liệu và Tài sản. - Khám phá các trình thực thi Airflow khác nhau và hiểu các nguyên tắc mở rộng quy mô điều phối dữ liệu của bạn. Khóa học bắt đầu với các nguyên tắc nền tảng về điều phối dữ liệu và các thành phần chính của Airflow. Sau đó, bạn sẽ tiến bộ thông qua các bài tập thực hành bằng văn bản để xây dựng và quản lý các đường dẫn dữ liệu hoàn chỉnh, củng cố kiến ​​thức của bạn ở mỗi bước. Khóa học này được thiết kế cho người mới bắt đầu hoàn toàn. Không yêu cầu kinh nghiệm trước đó với Apache Airflow hoặc điều phối dữ liệu, mặc dù hiểu biết cơ bản về Python sẽ có lợi. Hãy bắt đầu xây dựng các đường dẫn dữ liệu tự động ngay hôm nay.