هندسة البيانات: خطوط أنابيب Kafka و Spark و Airflow

هل تبحث عن بناء خطوط أنابيب بيانات قوية وفعالة؟ تقدم هذه الدورة نهجاً عملياً لهندسة البيانات، مع التركيز على الأدوات والتقنيات الأساسية المستخدمة اليوم. ستكتسب المهارات اللازمة لإنشاء ونشر وإدارة تدفقات عمل معالجة البيانات المعاصرة، بدءاً من استيعاب البيانات الخام وحتى data lakehouse منظم. ما ستتعلمه: - فهم أساسيات هندسة البيانات وبناء خطوط الأنابيب. - تنفيذ أنماط معالجة البيانات بالبث المباشر والدفعية باستخدام Kafka و Spark. - إدارة تنسيق سير العمل والجدولة باستخدام Airflow. - تكوين والتفاعل مع data lakehouse لتخزين البيانات القابل للتوسع. - تطبيق مفاهيم تطور المخطط (schema evolution) وعقود البيانات لتدفقات بيانات موثوقة. - ممارسة بناء ونشر خطوط الأنابيب باستخدام Docker Compose. تعتبرك هذه الدورة عبر إعداد خطوط أنابيب بيانات كاملة، من طابور الرسائل باستخدام Kafka إلى المعالجة الموزعة باستخدام Spark وتخزين البيانات في lakehouse، وكلها منظمة بواسطة Airflow. ستستكشف مفاهيم أساسية مثل النوافذ الزمنية (windowing)، والعلامات المائية (watermarking)، وإدارة المخططات. تم تصميم هذه الدورة للمبتدئين الذين لديهم فهم أساسي لـ Python، دون الحاجة إلى خبرة سابقة في هندسة البيانات. ابدأ في بناء خطوط أنابيب البيانات الحديثة الخاصة بك اليوم.