ストリーミングデータパイプラインとリアルタイム分析

現代の組織は毎秒データを生成しており、時間的制約のある意思決定においてバッチ処理を待つことはもはや選択肢ではありません。このコースでは、継続的で非限定的なデータフローを効率的に処理するように設計されたストリーミングシステムのアーキテクチャと実装を紹介します。 リアルタイムでデータを取り込み、処理し、保存するパイプラインを設計する方法について、確固たる基礎を習得します。このコースを修了すると、データが到着するにつれて、生のストリームを実行可能なビジネスインテリジェンスに変換するシステムを設計できるようになります。 学習内容: - バッチデータアーキテクチャとストリーミングデータアーキテクチャの根本的な違いを理解する - 高スループットのメッセージ取り込みと配信のためにPub/Subを構成する - Dataflowを使用して処理ロジックを構築し、データをオンザフライで変換およびクリーンアップする - ウィンドウイング戦略を適用して、特定の時間間隔でデータを集計および分析する - ウォーターマークとトリガーを使用して、遅延到着データを管理し、システムの信頼性を確保する - 処理された結果をBigQueryに保存し、即座に分析とレポート作成に利用する このコースは、機能的なデータパイプラインを構成およびデプロイする実践的な手順に進む前に、必須の用語とコアとなるストリーミング理論から始まります。これらのコンポーネントがどのように相互作用して高可用性と低遅延を維持するかについて、詳細な説明を読み進めます。 このコースは、最新のデータ移動を理解したいデータエンジニアリングまたは分析の初心者向けに設計されています。ストリーミングツールに関する事前の経験は必要ありません。 今すぐリアルタイムデータエンジニアリングの専門知識を構築し始めましょう。