Azure Data Engineering Project Guide: Thiết kế và xây dựng đường ống

Chuyển đổi từ các bài học cô lập để xây dựng một đường ống dữ liệu gắn kết, sẵn sàng sản xuất có thể là một thách thức lớn. Bạn sẽ chuyển từ việc hiểu các thành phần cơ bản của đám mây đến kiến trúc và triển khai một đường ống dữ liệu đầy đủ chức năng. Qua các giải thích rõ ràng, bạn sẽ học cách hấp thụ, chuyển đổi và lưu trữ dữ kiện an toàn bằng cách sử dụng các dịch vụ đám mờ tiêu chuẩn của ngành và các thực tiễn tốt nhất hiện đại. Bạn sẽ học được: - Hiểu các khái niệm cơ bản của kiến trúc dữ liệu đám mây, các tầng lưu trữ và di chuyển dữ kiện an toàn. - Cấu hình các giải pháp lưu trữ an toàn bằng cách sử dụng Azure Data Lake Storage Gen 2 và AWS S3. - Tạo các đường ống hấp thụ dữ liệu được dàn dựng bằng cách sử dụng Azure Data Factory và trigger điều khiển sự kiện. - Viết logic chuyển đổi trong các cuốn sổ tay Databricks sử dụng PySpark và các kỹ thuật tối ưu hóa hiện đại. - Thực hiện các quy trình bảo mật cấp doanh nghiệp sử dụng Key Vault để quản lý chứng chỉ và kiểm soát truy cập. - Thiết kế và tải các mục tiêu quan hệ sử dụng Azure SQL Database để lưu trữ dữ liệu phân tích được xử lý. Chương trình bắt đầu với các khái niệm cơ bản về lưu trữ và bảo mật đám mây trước khi chuyển sang thiết kế và kiến trúc đường ống. Sau đó bạn sẽ tiến hành các giai đoạn triển khai từng bước, liên kết các thành phần hấp thụ, chuyển đổi và lưu trện thành một giải pháp thống nhất, được kiểm tra. Chương trình này được thiết kế cho các kỹ sư dữ liệu và người mới bắt đầu muốn xem cách các dịch vụ đám mây cá nhân tích hợp trong một kịch bản thế giới thực. Không cần kinh nghiệm kỹ thuật đám mờ trước đó, vì chúng tôi bắt đầu với thuật ngữ cơ bản và các khái niệm cốt lõi. Bắt đầu đọc hôm nay để xây dựng đường ống kỹ thuật dữ liệu sản xuất đầu tiên của bạn từ đầu.