Serverless Data Processing with Dataflow'un Temelleri

Modern veri mühendisliği, karmaşık sunucu altyapısını yönetme masrafları olmadan dev veri kümelerinin işlenmesini gerektirir.Sunucusuz veri işleme, bu sorunu hesaplamayı depodan ayırarak çözer ve size sadece boru hattı mantığına odaklanmanızı sağlar. Bu ders, Apache Beam ve Dataflow kullanarak sunucusuz veri mühendisliğinin temel ilkelerini size tanıtıyor. Temel veri işleme terminolojisini anlamaktan kendi sunucusız boru hatlarınızı yazmaya, test etmeye ve çalıştırmaya geçiş yapacaksınız. Ne öğreneceksin: - Sunucusuz veri işlemesinin temel kavramlarını ve Dataflow'un boru hatlarını nasıl çalıştırdığını anlayın. - Apache Beam boru hatlarını, tip ipuçları ve yapılmış şemalar da dahil olmak üzere modern programlama uygulamaları kullanarak yazın. - Hem parti hem de akış verilerini manipüle etmek, filtrelemek ve toplamak için dönüşüm mantığını uygulayın. - Boru hatlarının farklı yürütme arka uçlarında nasıl çalıştıklarını anlamak için Beam Portability çerçevesini kullanın. - Uygulamadan önce güvenilirliği sağlamak için veri boru hatlarınız için birim testleri yazmayı pratik edin. Çekirdek tanımlamalar ve sunucusuz boru hatlarının mimarisi ile başlayacaksınız, daha sonra boru hattı kodunu yazma, yerel olarak yürütme ve tamamen yönetilen bir bulut ortamına dağıtma hakkında adım adım yazılı açıklamalara geçeceksiniz. Bu kurs, sunucusuz veri işleme konusunda yeni olan ve net, kavramsal bir temel isteyen umut vadeden veri mühendisi, yazılım geliştiricileri ve veritabanı yöneticileri için tasarlanmıştır. Apache Beam veya Dataflow ile önceden tecrübe gerekmez. Modern sunucusuz veri mühendisliği temellerinizi inşa etmek için bugün okumaya başlayın.