Основы больших данных с Hadoop и Spark

По мере роста объемов данных традиционные инструменты обработки данных часто не удовлетворяют потребностям современного бизнеса. Понимание того, как управлять данными и анализировать их в масштабе, является важным навыком для любого, кто сегодня работает в области технологий, науки о данных или бизнес-аналитики. Этот курс обеспечивает прочную основу в технологиях, которые питают большие данные, переход от основных концепций к практическому применению отраслевых стандартов. С помощью письменных объяснений и примеров на основе кода вы преобразуете свое понимание распределенных вычислений и научитесь ориентироваться в сложном ландшафте инженерии данных. Вы приобретете уверенность в обсуждении и применении механизмов, которые позволяют компьютерам работать вместе для решения проблем с массивными данными. Что вы узнаете: - Понимание основных компонентов архитектуры Hadoop, включая HDFS и YARN - Примените Spark для высокоскоростной обработки данных и сложных преобразований - Исследуйте современные форматы хранения данных, такие как паркет и Avro для повышения эффективности - Анализировать данные с использованием парадигм Hive и MapReduce с помощью письменных упражнений - Различать пакетную и потоковую обработку в современных средах данных - Понять, как большие данные интегрируются с текущими моделями данных на основе облачных данных Курс начинается с основной терминологии и истории распределенных систем, а затем переходит к конкретным инструментам, используемым для хранения, управления и обработки информации. Вы изучите весь стек программного обеспечения, узнавая, как различные компоненты взаимодействуют для создания целостной среды данных. Этот курс предназначен для начинающих и не требует предыдущего опыта работы с большими данными или распределенными вычислениями. Начните накапливать знания о технологиях, определяющих современный ландшафт данных.