Wykrywanie oszustw w czasie rzeczywistym za pomocą Spark, Kafka i Cassandra

Instytucje finansowe tracą miliardy rocznie na oszukańczych transakcjach. Dlatego wykrywanie w czasie rzeczywistym jest kluczową funkcją dla nowoczesnych inżynierów danych. Tworzenie takich systemów wymaga bezproblemowego połączenia pobierania danych strumieniowych, uczenia maszynowego i solidnej pamięci masowej bazy danych. W tym kursie dowiesz się, jak zaprojektować i wdrożyć w pełni funkcjonalny rurociąg do wykrywania oszustw związanych z kartami kredytowymi w czasie rzeczywistym.Będziesz przechodzić od zrozumienia podstawowych koncepcji przesyłania strumieniowego do konfigurowania i łączenia systemów rozproszonych w celu obsługi danych o dużej prędkości. Czego się nauczysz: - Zrozum podstawową architekturę systemów wykrywania oszustw w czasie rzeczywistym i przepływów danych strumieniowych. - Pobieraj i przetwarzaj strumienie transakcji o wysokiej przepustowości za pomocą Spark Structured Streaming i Kafka. - Twórz i trenuj modele uczenia maszynowego do klasyfikacji za pomocą potoków Spark ML i algorytmów Random Forest. - Przechowuj i zapytaj przetwarzane dane transakcyjne wydajnie, korzystając z integracji bazy danych Cassandra. - Orkiestruj i automatyzuj przepływy danych za pomocą Airflow, aby zapewnić niezawodne, zaplanowane wykonanie. - Zastosuj nowoczesne techniki zarządzania przesunięciami, aby osiągnąć dokładnie jedną semantykę przetwarzania. Podróż zaczyna się od podstawowych pojęć architektur strumieniowych, tematów Kafka i środowisk Spark.Następnie przejdziesz krok po kroku pisemne wyjaśnienia, aby wdrożyć wstępne przetwarzanie danych, szkolenie modelu, przechowywanie bazy danych i orkiestrację przepływu pracy. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i specjalistów od baz danych, którzy chcą nauczyć się przetwarzania danych w czasie rzeczywistym.Nie jest wymagane wcześniejsze doświadczenie ze Sparkiem lub Kafką, ponieważ zaczynamy od absolutnych podstaw. Zacznij czytać już dziś, aby zbudować swój pierwszy gotowy do produkcji rurociąg strumieniowy.