Nền tảng xử lý dữ liệu không máy chủ với Dataflow

Kỹ thuật dữ liệu hiện đại đòi hỏi phải xử lý các tập dữ liệu khổng lồ mà không cần quản lý cơ sở hạ tầng máy chủ phức tạp. Xử lý dữ liệu không máy chủ giải quyết thách thức này bằng cách tách biệt tính toán khỏi lưu trữ, cho phép bạn tập trung hoàn toàn vào logic đường ống. Khóa học này giới thiệu các nguyên tắc cốt lõi của kỹ thuật dữ liệu không máy chủ bằng Apache Beam và Dataflow. Bạn sẽ chuyển từ việc hiểu các thuật ngữ xử lý dữ liệu cơ bản đến việc viết, kiểm tra và chạy các đường ống không máy chủ của riêng mình. Bạn sẽ học được: - Hiểu các khái niệm nền tảng của xử lý dữ liệu không máy chủ và cách Dataflow thực thi các đường ống. - Viết các đường ống Apache Beam bằng các phương pháp lập trình hiện đại, bao gồm gợi ý kiểu và lược đồ có cấu trúc. - Áp dụng logic biến đổi để thao tác, lọc và tổng hợp cả dữ liệu theo lô và luồng. - Tận dụng khung Portability của Beam để hiểu cách các đường ống chạy trên các backend thực thi khác nhau. - Thực hành viết các bài kiểm tra đơn vị cho các đường ống dữ liệu của bạn để đảm bảo độ tin cậy trước khi triển khai. Bạn sẽ bắt đầu với các định nghĩa cốt lõi và kiến trúc của các đường ống không máy chủ trước khi chuyển sang các giải thích từng bước bằng văn bản về cách viết mã đường ống, thực thi cục bộ và triển khai nó lên một môi trường đám mây được quản lý hoàn toàn. Khóa học này được thiết kế cho các kỹ sư dữ liệu, nhà phát triển phần mềm và quản trị viên cơ sở dữ liệu đầy tham vọng, những người mới làm quen với xử lý dữ liệu không máy chủ và muốn có một nền tảng khái niệm rõ ràng. Không yêu cầu kinh nghiệm trước đó với Apache Beam hoặc Dataflow. Bắt đầu đọc ngay hôm nay để xây dựng nền tảng của bạn trong kỹ thuật dữ liệu không máy chủ hiện đại.