بناء خطوط أنابيب بيانات معيارية وقابلة للاختبار باستخدام dbt على Databricks

تحتاج فرق البيانات الحديثة إلى خطوط أنابيب موثوقة، ومتحكم فيها بالإصدارات، ومختبرة بدقة لتحويل البيانات الأولية إلى رؤى قابلة للتنفيذ. تتطلب إدارة سير العمل هذه على نطاق واسع الجمع بين قوة معالجة Databricks وإطار التحويل المنظم لـ dbt. تعلمك هذه الدورة كيفية تصميم وصيانة معماريات بيانات نظيفة تتوسع بسلاسة. في هذه الدورة، ستتعلم كيفية بناء خطوط أنابيب تحويل بيانات جاهزة للإنتاج من الصفر. ستنتقل من كتابة SQL خام وغير منظم إلى تطوير نماذج بيانات معيارية، قابلة لإعادة الاستخدام، ومختبرة بالكامل باستخدام كل من dbt Core و dbt Cloud على Databricks. ما ستتعلمه: - فهم المفاهيم الأساسية لـ dbt، بما في ذلك بنية المشروع، والتكوين باستخدام YAML، وهندسة بيانات Bronze-Silver-Gold متعددة الطبقات. - تكوين dbt للاتصال بسلاسة مع Databricks باستخدام كل من بيئات dbt Cloud و dbt Core. - بناء نماذج بيانات معيارية باستخدام SQL، وقوالب Jinja، ووحدات الماكرو المخصصة لكتابة منطق تحويل جاف، وقابل لإعادة الاستخدام. - تنفيذ فحوصات جودة بيانات قوية باستخدام تكوينات اختبار dbt الحديثة وحزم الأدوات المساعدة الخارجية. - تطبيق استراتيجيات تجسيد متقدمة، بما في ذلك التحميلات التزايدية واللقطات، لتحسين أداء خط الأنابيب وتتبع التغييرات التاريخية. - دمج أفضل ممارسات التحكم في الإصدارات للتعاون بأمان والحفاظ على سجل نظيف لتغييرات خط أنابيب البيانات الخاص بك. ستبدأ بمفاهيم هندسة البيانات الأساسية وإعداد dbt قبل الانتقال خطوة بخطوة عبر النمذجة والاختبار وضبط الأداء المتقدم. ترشدك الشروحات المكتوبة ومقتطفات التعليمات البرمجية العملية من تهيئة المشروع الأولية إلى نشر خط أنابيب مرن وجاهز للإنتاج. تم تصميم هذه الدورة للمهندسين الطموحين للبيانات، ومهندسي التحليلات، ومحللي البيانات الذين يرغبون في بناء خطوط أنابيب بيانات منظمة. لا يلزم وجود خبرة سابقة مع dbt أو Databricks، على الرغم من أن الفهم الأساسي لـ SQL مفيد. ابدأ في بناء خطوط أنابيب بيانات أنظف وأكثر موثوقية اليوم.