Esecuzione di MapReduce Jobs su cluster Hadoop

L'elaborazione distribuita dei dati può sembrare travolgente quando si è confrontati con architetture di cluster complesse e file di configurazione.Questo corso di solo testo ti guida attraverso i meccanismi di base del calcolo distribuito, aiutandoti a capire come i dati vengono archiviati, gestiti ed elaborati su scala. Passerai dalle conoscenze teoriche all'esecuzione e alla gestione sicura dei tuoi lavori di dati distribuiti. Cosa imparerai: - Comprendere l'architettura fondamentale di HDFS e come i file vengono distribuiti in un cluster - Configurare e gestire le risorse del cluster in modo efficiente utilizzando YARN - Scrivi, compila e pacchettizza i lavori MapReduce per l'esecuzione - Invia e monitora i lavori distribuiti su un ambiente Hadoop pseudo-distribuito - Risolvere i comuni errori di esecuzione e ottimizzare le prestazioni del lavoro utilizzando l'analisi dei log - Applicare pratiche di pipeline di dati moderne per garantire il completamento affidabile del lavoro Questo corso inizia con la terminologia essenziale, delineando la relazione tra storage, gestione delle risorse e elaborazione.Poi procederai attraverso guide scritte passo-passo che ti mostreranno come configurare il tuo ambiente, caricare i dati in HDFS ed eseguire i processi MapReduce dall'inizio alla fine. Questo corso è progettato per i principianti ingegneri di dati, amministratori di sistema e sviluppatori di software che desiderano una solida e pratica comprensione del calcolo distribuito senza bisogno di una precedente esperienza di gestione dei cluster.