Projet d'ingénierie de données : Construire une plateforme de données moderne

Prêt à passer de l'apprentissage d'outils de données isolés à la construction d'un système de données entièrement intégré ? Ce cours pratique, basé sur du texte, vous guide dans la conception et la mise en œuvre d'une plateforme d'analyse de données complète, à partir de zéro. Vous endosserez le rôle d'un ingénieur de données associé chargé d'architecturer un pipeline de données robuste. En lisant des explications structurées, en analysant des extraits de code et en écrivant des fichiers de configuration, vous apprendrez à ingérer, transformer, stocker et orchestrer des données en utilisant des outils standard de l'industrie et les meilleures pratiques modernes. Ce que vous apprendrez : - Concevoir des schémas de bases de données relationnelles et non relationnelles pour prendre en charge les données commerciales structurées et semi-structurées - Construire des pipelines ETL efficaces en utilisant des bibliothèques Python dataframe modernes et des scripts structurés - Conteneuriser vos services de données en utilisant Docker pour assurer des environnements cohérents entre le développement et la production - Configurer des flux de travail de pipeline de données automatisés de base et des tests pour garantir une qualité de données élevée - Mettre en œuvre un entrepôt de données centralisé (data warehouse) et écrire des requêtes SQL optimisées pour générer des informations commerciales exploitables Le cours commence par la conception de l'architecture fondamentale et la configuration de la base de données, puis progresse à travers l'écriture de scripts ETL, la conteneurisation de l'application et l'orchestration de l'ensemble du flux de travail. Ce cours est conçu pour les aspirants ingénieurs de données (data engineers), les administrateurs de bases de données et les développeurs de logiciels qui ont une compréhension de base de Python et SQL et souhaitent construire un projet prêt pour leur portfolio. Aucun prérequis avancé n'est requis. Commencez à lire aujourd'hui pour assembler votre première plateforme de données prête pour la production.