Introduction à l'ingénierie des données dans le cloud

Prêt à aller au-delà du traitement des données sur une seule machine ? Ce cours fournit les connaissances fondamentales pour concevoir, construire et gérer des systèmes de données robustes dans le cloud, en traitant les données à grande échelle. Vous passerez de la compréhension des concepts de données de base à l'application des principes d'ingénierie pour créer des flux de travail de données automatisés et fiables. Vous apprendrez à sélectionner les services cloud appropriés et à les assembler en pipelines de données efficaces qui alimentent l'analyse et les applications. Ce que vous apprendrez : - Comprendre les principes fondamentaux de l'ingénierie des données dans le cloud, des data lakes aux entrepôts de données modernes (data warehouses). - Concevoir et mettre en œuvre des pipelines ETL/ELT automatisés pour ingérer, transformer et servir les données. - Définir et gérer votre infrastructure de données cloud en utilisant l'Infrastructure as Code (IaC) pour la cohérence et la répétabilité. - Appliquer les meilleures pratiques d'ingénierie logicielle comme le contrôle de version, les tests et le CI/CD à vos pipelines de données. - Travailler avec les services fondamentaux de stockage et de traitement cloud pour les données structurées et non structurées. - S'exercer à structurer un système complet de traitement de données de bout en bout sur une plateforme cloud majeure. Le cours commence par la terminologie clé de l'ingénierie cloud et des données, puis progresse à travers la construction de pipelines de données et se termine par les meilleures pratiques opérationnelles. Chaque section s'appuie sur la précédente, offrant un chemin clair pour comprendre le cycle de vie complet des données dans le cloud. Ce cours est conçu pour les débutants en ingénierie des données dans le cloud. Une compréhension de base d'un langage de programmation comme Python et une familiarité avec les concepts de données sont utiles, mais aucune expérience cloud préalable n'est requise. Commencez à développer les compétences nécessaires pour concevoir des solutions de données pour l'ère moderne.