Pagbuo ng Batch Data Pipelines Gamit ang BigQuery at Dataproc

Ang mga modernong organisasyon ay umaasa sa maayos at maaasahang daloy ng data upang makagawa ng mga kritikal na desisyon sa negosyo. Ang pag-unawa sa kung paano mahusay na mag-extract, mag-transform, at mag-load ng batch data ay isang pangunahing kasanayan para sa sinumang naghahangad na maging data professional. Ang text-based na kursong ito ay gagabay sa iyo sa mga pangunahing paradigma ng data processing, na tutulong sa iyong pumili at magpatupad ng tamang pipeline architecture para sa iyong mga proyekto. Lilipat ka mula sa pag-unawa sa mga pangunahing konsepto ng data patungo sa pagdidisenyo ng production-ready na batch pipelines gamit ang mga pamantayang teknolohiya sa cloud sa industriya. Ang iyong matututunan: * Maunawaan ang mga pangunahing pagkakaiba sa pagitan ng mga paradigmang ETL, ELT, at EL upang mapili ang pinakamahusay na diskarte para sa iyong data. * Bumuo ng mga scalable na data warehouse at magpatakbo ng mga analytical query gamit ang BigQuery. * Magproseso ng malalaking dataset sa pamamagitan ng pagpapatakbo ng mga Spark job sa mga pinamamahalaang Dataproc cluster at serverless na kapaligiran. * Magdisenyo ng mga visual at code-free na pipeline workflow gamit ang Cloud Data Fusion. * Maglapat ng mga modernong kasanayan sa data governance at schema management upang matiyak ang pagiging maaasahan ng pipeline. Magsisimula ka sa mga pangunahing konsepto at terminolohiya sa data engineering bago magpatuloy sa pagdidisenyo ng pipeline. Sa pamamagitan ng mga nakabalangkas na nakasulat na paliwanag at mga praktikal na senaryo ng SQL at Spark code, tutuklasin mo kung paano i-orchestrate ang iba't ibang data tool upang bumuo ng mga cohesive na batch processing system. Ang kursong ito ay idinisenyo para sa mga baguhan, mga naghahangad na data engineer, at mga database administrator na gustong lumipat sa mga cloud-based data workflow. Walang kinakailangang nakaraang karanasan sa cloud engineering. Simulan ang pagbuo ng maaasahan at awtomatikong mga data pipeline ngayon.