Xử lý dữ liệu có thể mở rộng với PySpark

Quản lý các tập dữ liệu lớn đòi hỏi sự chuyển đổi từ tính toán cục bộ sang xử lý phân tán. Chương trình này cung cấp một con đường rõ ràng cho các nhà phát triển Python để tận dụng sức mạnh của Spark cho kỹ thuật dữ kiện hiệu suất cao. Bạn sẽ học cách chuyển đổi dữ lượng thô thành những cái nhìn sâu sắc có thể hành động trong khi đảm bảo các ứng dụng của bạn có thể được nâng cấp qua các cụm. Bạn sẽ học được: - Hiểu kiến trúc cốt lõi của tính toán phân tán và mô hình thực hiện Spark. - Thao tác các tập dữ liệu quy mô lớn bằng cách sử dụng Spark DataFrames và Spark SQL API. - Tối ưu hiệu suất ứng dụng thông qua các kỹ thuật phân vùng và lưu trữ tạm hiệu quả. - Thực hiện xử lý dữ liệu thời gian thực sử dụng Structured Streaming để phân tích ngay lập tức. - Thực hành dữ liệu làm sạch và chuyển đổi các luồng công việc cho phân tích quy mô lớn. - Làm việc với các định dạng lưu trữ hiện đại như Parquet và Delta Lake để đảm bảo tính toàn vẹn dữ liệu. Chương trình này bắt đầu với thuật ngữ cơ bản và các khái niệm thiết lập, tiến tới các kỹ thuật xử lý dữ liệu và kết thúc với các chiến lược tối ưu hóa cho môi trường sản xuất. Chương này được xây dựng cho người mới bắt đầu và chỉ cần kiến thức cơ bản về Python. Bắt đầu hành trình của bạn vào thế giới kỹ sư dữ kiện lớn.