Dataflow ile Sunucusuz Veri Boru Hattı Geliştirme

Modern veri mühendisliği, karmaşık sunucu altyapısını yönetmeden büyük veri kümelerini işlemek için verimli, ölçeklenebilir boru hatlarına dayanır. Bu metin tabanlı kurs, Dataflow ve Apache Beam programlama modelini kullanarak sunucusuz veri işleme boru hatlarını inşa etmede size rehberlik eder. Temel veri kavramlarını anlamaktan, kendi sağlam boru hatlarınızı tasarlamaya, yazmaya ve yürütmeye geçiş yapacaksınız. Açık yazılı açıklamalar, pratik kod örnekleri ve yapılmış mantık yürüyüşleri yoluyla hem parti hem de akış verilerini verimli bir şekilde işlemek için gereken becerileri kazanacaksınız. Ne öğreneceksiniz: Yürüyücüler, boru hatları ve koleksiyonlar da dahil olmak üzere sunucusuz veri işlemesinin temel kavramlarını anlayın; Apache Beam boru hattı kodunu dönüştürmek, filtrelemek ve veri kümelerini toplamak için yazın; Geç gelen akış verilerini işlemek için pencere ve tetikleme stratejilerini uygulayın; Boru hatlarını çeşitli kaynaklardan okumak ve yazmak için ayarlayın Veri kaynakları ve havzaları; Boru hattı performansını optimize edin ve ortak yürütme boğazlarını sorunsuz hale getirin. Kurs boru hattı mimarileri ve çekirdek programlama ilkelerinin temel tanımlarıyla başlar. Daha sonra dönüşümleri, pencereleri ve üretim dağıtımları için en iyi uygulamaları kapsayan adım adım yazılı dersleri ilerleteceksiniz. Bu kurs, Dataflow'a yeni başlayan umut verici veri mühendisleri ve geliştiriciler için tasarlanmıştır. Önceden boru hattı geliştirme deneyimi gerekmez, ancak programlama kavramlarına temel bir aşinalık yararlıdır. Ölçeklenebilir, üretim hazır sunucusuz veri boru hatları inşa etmek için bugün okumaya başlayın.