Phát hiện gian lận thời gian thực với Spark, Kafka và Cassandra

Các tổ chức tài chính mất hàng tỷ đô la mỗi năm cho các giao dịch gian lận, khiến việc phát hiện thời gian thực là một khả năng quan trọng cho các kỹ sư dữ liệu hiện đại. Trong khóa học này, bạn sẽ học cách thiết kế và triển khai một hệ thống phát hiện gian lận thẻ tín dụng thời gian thực. Bạn sẽ chuyển từ việc hiểu các khái niệm luân phiên cốt lõi sang cấu hình và kết nối các hệ thống phân tán để xử lý dữ liệu tốc độ cao. Bạn sẽ học được: - Hiểu kiến trúc cơ bản của hệ thống phát hiện gian lận thời gian thực và luồng dữ liệu trực tuyến. - Nhập và xử lý các luồng giao dịch tốc độ cao bằng cách sử dụng Spark Structured Streaming và Kafka. - Xây dựng và huấn luyện các mô hình học máy cho phân loại sử dụng các đường ống Spark ML và thuật toán Random Forest. - Lưu trữ và truy vấn dữ liệu giao dịch được xử lý hiệu quả bằng cách sử dụng Cassandra database integration. - Đoàn kết và tự động hóa các luồng dữ liệu của bạn bằng cách sử dụng Airflow để đảm bảo thực hiện đáng tin cậy, theo lịch trình. - Apply hiện đại offset quản lý kỹ thuật để đạt được chính xác-một lần xử lý ngữ nghĩa. Cuộc hành trình bắt đầu với các khái niệm cơ bản về kiến trúc truyền, chủ đề Kafka, và môi trường Spark. Sau đó bạn sẽ tiến hành các giải thích viết từng bước để thực hiện xử lý trước dữ liệu, huấn luyện mô hình, lưu trữ cơ sở dữ kiện, và phối hợp luồng công việc. Chương trình này được thiết kế cho những kỹ sư dữ liệu, nhà phát triển phần mềm, và chuyên gia cơ sở dữ kiện muốn học cách xử lý dữ liêu thời gian thực. Không cần kinh nghiệm trước đó với Spark hay Kafka, vì chúng ta bắt đầu với những điều cơ bản nhất. Bắt đầu đọc hôm nay để xây dựng đường ống truyền hình sẵn sàng sản xuất đầu tiên của bạn.