Cơ sở của Big Data với Python và PySpark

Big Data đòi hỏi các công cụ chuyên biệt để xử lý lượng thông tin khổng lồ mà phần mềm tiêu chuẩn không thể quản lý. PySpark cung cấp liên kết quan trọng giữa các công cụ khoa học dữ liệu Python quen thuộc và sức mạnh của tính toán phân tán. Vào cuối khóa học này, bạn sẽ thành thạo trong việc thiết lập một môi trường xử lý dữ liệu, thao tác các tập dữ kiện lớn bằng cách sử dụng thư viện phân tích dữ lượng của Python, và áp dụng PySpark để thực hiện các chuyển đổi, phân tích và các nhiệm vụ học máy cơ bản trên các cụm phân tán. Bạn sẽ học được: * Hiểu các khái niệm cơ bản của tính toán phân tán và kiến trúc Apache Spark. * Học cấu trúc dữ liệu Python cốt lõi và sử dụng thư viện pandas để thao tác dữ kiện hiệu quả. * Apply PySpark DataFrames và Spark SQL để đọc, dọn dẹp, và chuyển đổi các tập dữ liệu cấu trúc lớn. * Cấu hình môi trường ảo cơ bản và quản lý phụ thuộc cho các dự án khoa học dữ liệu có thể mở rộng. * Thực hành các biến đổi dữ liệu phổ biến, tổng hợp, tham gia và các kỹ thuật tối ưu truy vấn trong PySpark. * Học cách thực hiện việc hấp thụ dữ liệu truyền tải cơ bản và áp dụng các mô hình học máy sử dụng MLlib. Chương trình bắt đầu với một nền tảng vững chắc trong việc xử lý dữ liệu Python và thiết lập môi trường trước khi giới thiệu các khái niệm cốt lõi của xử lí phân tán. Sau đó chúng tôi chuyển sang ứng dụng thực tế sử dụng PySpark DataFrames, tập trung vào thao tác và phân tích dữ liệu có thể mở rộng, lên đến đỉnh điểm trong việc giới thiệu các công cụ truyền và học máy. Lớp học này được thiết kế cho người mới bắt đầu quan tâm đến kỹ thuật dữ liệu, khoa học dữ kiện, hoặc phân tích dữ lượng cần làm việc với các tập dữ khoản lớn. Không cần kinh nghiệm trước với Spark hoặc các hệ thống phân phối. Bắt đầu xây dựng chuyên môn của bạn trong xử lý dữ liệu có thể mở rộng hôm nay.