Data Engineering Foundations với Spark, Databricks, và Delta Lake

Các doanh nghiệp hiện đại dựa vào các đường ống dữ liệu mạnh mẽ để biến dữ kiện thô thành những hiểu biết có thể hành động, khiến cho kỹ thuật dữ liêu trở thành một trong những kỹ năng quan trọng nhất ngày nay. Bạn sẽ học cách xử lý các tập dữ liệu lớn, quản lý các bảng dữ kiện đáng tin cậy, và thực hiện các luồng dữ liêu tiêu chuẩn. Bạn sẽ học được: - Hiểu các nguyên tắc cơ bản của kiến trúc Databricks Lakehouse và tính toán phân tán với Apache Spark. - Tạo các đường ống dữ liệu đáng tin cậy bằng cách sử dụng Spark SQL, DataFrames và API trong cả Python và Scala. - Quản lý Delta Tables bằng các tính năng tiên tiến như du hành thời gian, lịch sử phiên bản, và tiến hóa sơ đồ. - Tối ưu hiệu suất truy vấn bằng cách sử dụng Delta caching, quản lý tập tin, và bố trí lưu trữ hiện đại. - Cấu hình quản lý dữ liệu và cơ bản lưu trữ tập tin bằng các tập tin Unity Catalog. - Ứng dụng các quy trình kiểm tra và giám sát đường ống dữ liệu để đảm bảo chất lượng dữ kiện và độ tin cậy đường ống. Chuyến đi bắt đầu với thuật ngữ kỹ thuật dữ liệu cơ bản và cài đặt Spark trước khi chuyển hệ thống qua các biến đổi DataFrame, tải dữ kiện, các hoạt động Delta Lake, và điều chỉnh hiệu suất. Bạn sẽ đọc qua các mã đi bộ toàn diện và thực hành với các bài tập khái niệm được thiết kế để tăng cường việc học của bạn. Chương trình này được thiết kế cho những kỹ sư dữ liệu, quản trị viên cơ sở dữ kiện, và nhà phát triển phần mềm mới vào công nghệ dữ lượng lớn. Không cần kinh nghiệm trước với Spark hay Databricks, mặc dù một sự quen thuộc cơ bản với SQL và các khái niệm lập trình chung sẽ hữu ích. Bắt đầu xây dựng nền tảng kỹ thuật dữ liệu của bạn hôm nay.