Python ve PySpark ile Büyük Verilerin Temelleri

Big Data, standart yazılımın yönetemeyeceği devasa bilgi hacmini yönetmek için özel araçlar gerektirir. PySpark, bilinen Python veri bilimi araçları ve dağıtılmış hesaplamanın gücü arasındaki önemli bağlantıyı sağlar. Bu dersin sonunda, bir veri işleme ortamını kurmak, Python'un veri analizi kütüphanelerini kullanarak büyük veri kümelerini manipüle etmek ve PySpark'ı dağıtılmış kümeler üzerinde ölçeklenebilir dönüşümler, analizler ve temel makine öğrenme görevleri yapmak için uygulamakta uzmanlaşacaksınız. Ne öğreneceksin: * Dağıtılmış hesaplama ve Apache Spark mimarisinin temel kavramlarını anlamak. * Python veri yapılarını öğrenin ve yerel verilerin verimli bir şekilde manipüle edilmesi için pandas kütüphanesini kullanın. * PySpark DataFrames ve Spark SQL'yi dev yapısal veri kümelerini okumak, temizlemek ve dönüştürmek için uygulayın. * Ölçeklenebilir veri bilimi projeleri için temel sanal ortamları ayarlayın ve bağımlılıkları yönetin. * PySpark'ta ortak veri dönüşümleri, toplama, katılımlar ve sorgu optimizasyon tekniklerini uygulayın. * MLlib kullanarak temel akış verisinin nasıl alınacağını ve makine öğrenme modellerini nasıl uygulanacağını öğrenin. Kurs, dağıtılmış işlemenin temel kavramlarını tanıtmadan önce Python veri işleme ve çevre kurulumunda sağlam bir temelle başlar. Ardından PySpark DataFrames kullanarak pratik uygulamaya geçiş yaparak, ölçeklenebilir veri manipülasyonu ve analizine odaklanır ve akış ve makine öğrenme araçlarına girişle sonuçlanır. Bu kurs, veri mühendisliği, veri bilimi veya büyük veri setleriyle çalışmak zorunda olan veri analizi ile ilgilenen mutlak yeni başlayanlar için tasarlanmıştır. Spark veya dağıtılmış sistemlerle önceden bir deneyim gerekmez. Ölçeklenebilir veri işleme konusunda uzmanlığınızı bugünden inşa etmeye başlayın.