Veri Mühendisliği: Kafka, Spark ve Hava Akımı Boru Hattı

Güçlü ve verimli veri boru hatları inşa etmek istiyorsunuz?Bu kurs, bugün kullanılan temel araçlar ve teknikler üzerinde odaklanan veri mühendisliğine pratik bir yaklaşım sağlar. Çağdaş veri işleme çalışma akışlarını inşa etmek, dağıtmak ve yönetmek için beceriler kazanacak, ham veri tüketiminden yapısal veri gölüne geçeceksiniz. Ne öğreneceksin: - Veri mühendisliği ve boru hattı inşaatının temellerini anlamak. - Kafka ve Spark ile akış ve parti veri işleme paternlerini uygulayın. - Airflow kullanarak iş akışının orkestrasyonunu ve zamanlamasını yönetin. - Ölçeklenebilir veri depolama için bir veri gölevi ile yapılandır ve etkileşime geç. - Güvenilir veri akışları için schema evrimi ve veri sözleşmeleri kavramlarını uygulayın. - Docker Compose kullanarak boru hatları inşa etme ve dağıtma. Bu ders, Kafka ile mesaj kuyruklarından Spark ile dağıtılmış işleme ve Airflow tarafından yönetilen bir gölde veri depolamasına kadar, tam bir veri boru hattı oluşturmanıza rehberlik eder. Pencereleme, su işareti ve şema yönetimi gibi temel kavramları keşfedeceksiniz. Bu ders, Python'un temel anlayışına sahip yeni başlayanlar için tasarlanmıştır ve önceden veri mühendisliği deneyimi gerekmez. Modern veri boru hatlarını bugün inşa etmeye başlayın.