الكشف عن الاحتيال في الوقت الفعلي باستخدام Spark و Kafka و Cassandra

تخسر المؤسسات المالية مليارات الدولارات سنويًا بسبب المعاملات الاحتيالية، مما يجعل الكشف في الوقت الفعلي قدرة بالغة الأهمية لمهندسي البيانات الحديثين. يتطلب بناء هذه الأنظمة مزيجًا سلسًا من استيعاب البيانات المتدفقة والتعلم الآلي وتخزين قواعد البيانات القوي. في هذه الدورة، ستتعلم كيفية تصميم وتنفيذ مسار عملي بالكامل للكشف عن احتيال بطاقات الائتمان في الوقت الفعلي. ستنتقل من فهم مفاهيم التدفق الأساسية إلى تكوين وربط الأنظمة الموزعة للتعامل مع البيانات عالية السرعة. ما ستتعلمه: - فهم البنية التأسيسية لأنظمة الكشف عن الاحتيال في الوقت الفعلي وتدفقات البيانات المتدفقة. - استيعاب ومعالجة تدفقات المعاملات عالية الإنتاجية باستخدام Spark Structured Streaming و Kafka. - بناء وتدريب نماذج التعلم الآلي للتصنيف باستخدام مسارات Spark ML وخوارزميات Random Forest. - تخزين واستعلام البيانات المتعلقة بالمعاملات المعالجة بكفاءة باستخدام تكامل قاعدة بيانات Cassandra. - تنسيق وأتمتة سير عمل البيانات الخاص بك باستخدام Airflow لضمان التنفيذ الموثوق والمجدول. - تطبيق تقنيات إدارة الإزاحة الحديثة لتحقيق دلالات المعالجة "مرة واحدة بالضبط" (exactly-once processing semantics). تبدأ الرحلة بالمفاهيم الأساسية لهندسة التدفق، ومواضيع Kafka، وبيئات Spark. ستنتقل بعد ذلك عبر شروحات مكتوبة خطوة بخطوة لتنفيذ المعالجة المسبقة للبيانات، وتدريب النماذج، وتخزين قواعد البيانات، وتنسيق سير العمل. تم تصميم هذه الدورة لمهندسي البيانات الطموحين ومطوري البرمجيات والمتخصصين في قواعد البيانات الذين يرغبون في تعلم معالجة البيانات في الوقت الفعلي. لا تتطلب خبرة سابقة في Spark أو Kafka، حيث نبدأ بالأساسيات المطلقة. ابدأ القراءة اليوم لبناء أول مسار تدفق جاهز للإنتاج.