Xây dựng đường ống dữ liệu không máy chủ với Dataflow và Apache Beam

Các tổ chức hiện đại tạo ra lượng lớn dữ liệu phải được xử lý nhanh chóng và đáng tin cậy mà không cần quản lý cơ sở hạ tầng máy chủ. Lớp học dựa trên văn bản này hướng dẫn bạn xây dựng và chạy các đường ống dữ liệu không có máy chủ bằng Apache Beam và Dataflow. Bạn sẽ tiến triển từ việc hiểu các khái niệm đường ống cốt lõi đến triển khai các luồng xử lý dữ liệu sẵn sàng sản xuất. Bằng cách học cách viết mã đường ống, xử lý các biến đổi dữ liệu, và thực hiện công việc trong một môi trường không máy chủ được quản lý đầy đủ, bạn sẽ có được các kỹ năng cần thiết để xây dựng các đường ống tích hợp dữ kiện và phân tích mạnh mẽ. Bạn sẽ học được gì: Hiểu các khái niệm cơ bản của xử lý dữ liệu không có máy chủ, PCollections và các máy chạy đường ống; Viết mã đường ống bằng cách sử dụng Beam SDK để thực hiện các biến đổi và tổng hợp dữ kiện phức tạp; Cấu hình đường ống cho cả nguồn dữ lượng truyền loạt và thời gian thực với các kỹ thuật cửa sổ; Ứng dụng kiểm tra hiện đại Chiến lược để xác minh logic đường ống của bạn tại địa phương trước khi triển khai; Thiết lập và giám sát thực hiện đường ống không có máy chủ trên Dataflow để xử lý tự động các khối lượng dữ liệu dao động; Thực hiện các thực tiễn tốt nhất cho quản lý sơ đồ và tối ưu đường ống để đảm bảo xử lí hiệu quả chi phí. Chương trình bắt đầu với các khái niệm cơ bản của các đường ống dữ liệu và kiến trúc Apache Beam trước khi chuyển sang các ví dụ mã thực tế, các mô hình chuyển đổi và chiến lược triển khai đám mây. Bạn sẽ đọc qua các giải thích rõ ràng và các bài tập viết có cấu trúc được thiết kế để xây dựng kỹ năng kỹ thuật thực tế của bạn. Chương trình này được thiết kế cho kỹ sư dữ liệu mới bắt đầu, nhà phát triển phần mềm và các nhà phân tích muốn học xử lý dữ kiện không có máy chủ. Không cần kinh nghiệm trước với Apache Beam hoặc Dataflow, mặc dù một sự hiểu biết cơ bản về các khái niệm lập trình là hữu ích. Bắt đầu đọc hôm nay để nắm vững những điều cơ bản của việc phát triển đường ống dữ liệu không server.