Phân tích Dữ liệu Lớn với PySpark và Python

Khi các tập dữ liệu trở nên quá lớn đối với một máy duy nhất, các công cụ phân tích dữ liệu truyền thống sẽ đạt đến giới hạn của chúng. Học cách xử lý và phân tích hiệu quả các tập dữ liệu khổng lồ là một trong những kỹ năng có giá trị nhất trong kỹ thuật dữ liệu và khoa học dữ liệu hiện đại. Khóa học dựa trên văn bản này sẽ hướng dẫn bạn từ các khái niệm cơ bản về tính toán phân tán đến việc xây dựng các quy trình dữ liệu mạnh mẽ, có thể mở rộng. Bạn sẽ tự tin thao tác dữ liệu quy mô lớn, tối ưu hóa hiệu suất truy vấn và chuẩn bị các tập dữ liệu khổng lồ cho phân tích nâng cao và học máy. Bạn sẽ học được: - Hiểu kiến trúc cốt lõi của tính toán phân tán và công cụ thực thi của Spark. - Thành thạo PySpark DataFrame API để làm sạch, lọc và tổng hợp các tập dữ liệu khổng lồ. - Xây dựng các quy trình kỹ thuật dữ liệu có thể mở rộng tích hợp với các định dạng data lakehouse hiện đại. - Áp dụng các thuật toán học máy ở quy mô lớn bằng thư viện PySpark MLlib. - Cấu hình structured streaming để xử lý và phân tích các luồng dữ liệu thời gian thực. - Viết mã PySpark được tối ưu hóa bằng các phương pháp hay nhất hiện đại cho phân vùng, bộ nhớ đệm và tuần tự hóa. Bạn sẽ bắt đầu bằng cách học các khái niệm cơ bản về hệ thống phân tán và thuật ngữ cơ bản trước khi chuyển sang thao tác dữ liệu thực tế, structured streaming và các quy trình học máy có thể mở rộng. Khóa học này được thiết kế cho người mới bắt đầu làm quen với các công nghệ dữ liệu lớn. Nên có kiến thức cơ bản về lập trình Python và SQL để tận dụng tối đa tài liệu.