Fondements du traitement de données serverless avec Dataflow

L'ingénierie des données moderne nécessite le traitement de jeux de données massifs sans la surcharge de la gestion d'une infrastructure serveur complexe. Le traitement de données serverless résout ce défi en dissociant le calcul du stockage, vous permettant de vous concentrer uniquement sur la logique du pipeline. Ce cours vous présente les principes fondamentaux de l'ingénierie des données serverless à l'aide d'Apache Beam et de Dataflow. Vous passerez de la compréhension de la terminologie de base du traitement des données à l'écriture, au test et à l'exécution de vos propres pipelines serverless. Ce que vous apprendrez : - Comprendre les concepts fondamentaux du traitement de données serverless et comment Dataflow exécute les pipelines. - Écrire des pipelines Apache Beam en utilisant des pratiques de programmation modernes, y compris les indices de type et les schémas structurés. - Appliquer une logique de transformation pour manipuler, filtrer et agréger des données par lots et en continu. - Tirer parti du framework Beam Portability pour comprendre comment les pipelines s'exécutent sur différents backends d'exécution. - Pratiquer l'écriture de tests unitaires pour vos pipelines de données afin d'assurer la fiabilité avant le déploiement. Vous commencerez par les définitions de base et l'architecture des pipelines serverless avant de passer à des explications écrites étape par étape sur l'écriture du code du pipeline, son exécution localement et son déploiement dans un environnement cloud entièrement géré. Ce cours est conçu pour les futurs ingénieurs de données, développeurs de logiciels et administrateurs de bases de données qui débutent dans le traitement de données serverless et souhaitent une base conceptuelle claire. Aucune expérience préalable avec Apache Beam ou Dataflow n'est requise. Commencez à lire dès aujourd'hui pour bâtir votre base en ingénierie des données serverless moderne.