本番データパイプラインのためのdbt中級

データ変換をスケーリングするには、基本的なSQLクエリを作成するだけでは不十分です。信頼性の高い本番レベルのデータパイプラインを構築するには、堅牢なテスト、自動化、履歴追跡を実装する必要があります。このテキストベースのコースでは、中級のdbtテクニックを通じて、データ分析エンジニアリングを向上させます。シンプルなモデルの作成から、組織とともにスケーリングする、回復力があり、自動化され、完全に文書化されたデータワークフローの構成へと移行します。 学習内容： - ソースとシードのカスタムスキーマテストや検証ルールを含む、高度なテスト戦略を構成します。 - dbt snapshotsを実装し、Slowly Changing Dimensions (SCD Type 2) を使用して履歴データ変更を追跡します。 - dbt buildを使用してパイプラインの実行を最適化し、モデル、テスト、スナップショットの実行を効率化します。 - dbt seedsを使用して静的データセットを効果的に管理し、より良いガバナンスのためにデータリネージを文書化します。 - dbtプロジェクトをクリーンで保守しやすい状態に保つために、最新のプロジェクト構造とモジュラー設計原則を適用します。 - dbtの変更を安全にデプロイするための継続的インテグレーション (CI) ワークフローの基本を理解します。 まず、基本的な用語と基本的なプロジェクト構造を確認し、その後、高度な構成、コードスニペット、実践的な設計パターンのステップバイステップの書面による説明に入ります。このコースは、SQLと基本的なdbtの概念を理解しており、本番環境に対応したパイプラインを構築する準備ができているデータアナリスト、分析エンジニア、開発者向けに設計されています。今日から読み始めて、よりクリーンで信頼性の高いデータ変換ワークフローを構築しましょう。