ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
Control-M + dbt
あなたのdbtワークフローは、変換ジョブが実行される前に始まります。そして、何か上流で問題が発生すると失敗する可能性があります。Fivetranの同期が遅れる。Snowflakeのロードが期待される完了ウィンドウを逃す。Control-Mは完全なチェーンを調整します：dbt Cloudジョブをソースの取り込み、ウェアハウスのロード、そしてそれを取り囲む下流の配信ジョブと調整します—そのため、変換は上流のデータが準備できているときだけ実行されます。
一般的なワークフローの問題
これがあなたの週のように聞こえますか？
これはエッジケースではありません。これらは、複数のツールでdbtジョブを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかを見てみましょう。
データ到着
Fivetranの同期が遅れています。あなたのdbtジョブはすでにスケジュールされています。
Control-Mは、上流の完了を条件にし、時計に依存しないようにします。dbt Cloudジョブが取り込みに成功するまで保持し、自動的にリリースします — 不完全なデータウェアハウスに対して変換が開始されるのを防ぎます。
実行失敗
あなたのdbt Cloudの実行が失敗しました — テストも含まれています。あなたの下流の分析ワークフローはまだ待機中です。
Control-Mは、依存するワークロードを調整しながら、dbtジョブのステータス、結果、および出力を監視します。実行が失敗すると、下流のジョブはワークフローの条件によって制限され、チームが失敗した変換が報告や分析に波及するのを防ぐのに役立ちます。
ツール間ハンドオフ
あなたのdbtジョブが終了しました。下流の倉庫プロセスは開始されませんでした。
Control-Mは、dbtおよび周辺のジョブを明示的な依存関係を持つ1つのスケジューリング環境に配置します。成功したdbtの完了は次のワークロードの条件を満たすことができ、切り離されたスケジュールや変換と下流の処理間の手動ハンドオフを削除します。
失敗回復
dbtジョブが午前2時13分に失敗しました。パイプラインが停止しました。
Control-Mは、より広範なワークフロー内でdbtジョブのステータス、結果、および出力を監視します。オペレーターは、依存関係とともに失敗した実行を確認し、集中管理された回復コントロールを適用し、ツール間で切り離されたスケジュールをトレースすることなく再起動を調整できます。
SLAリスク
午前7時のダッシュボードは遅れているdbt実行に依存しています。
Control-Mは、dbtジョブにSLA管理を関連付け、それらを周囲のワークフローと調整できます。データチームは納品のタイミングと依存関係を可視化でき、遅延した変換がビジネスの締切に影響を与える前に対応するのに役立ちます。
統合の事実
Control-M + dbt
|
workload.types |
dbt Cloudジョブの実行（ジョブIDによってトリガー） · 予め定義されたdbtジョブコマンド · 上書きされたdbtジョブコマンド |
|
trigger.type |
時間スケジュール · 上流ジョブの完了 · Control-M条件 · ファイル到着の依存関係 · クロスプラットフォームの完了依存関係 |
|
cross_tool.deps |
データ取り込みジョブ · Snowflakeワークロード · Databricksジョブ · BigQueryジョブ · データベースジョブ · ファイル転送 · 下流の分析 |
|
cloud.platforms |
dbt Cloud（ジョブIDによってトリガー） · Control-M SaaS · 自社ホストのControl-M |
|
error_handling |
ステータスポーリングの頻度 · ジョブステータスの監視 · 結果の監視 · 出力の監視 · 下流の依存関係の制御 |
|
throughput |
エージェントごとに最大50の同時dbtジョブ · 中央集権的なスケジューリング · 設定可能なステータスポーリングの頻度 · 複数ジョブのワークフローオーケストレーション |
|
observability |
dbtジョブのステータス · 結果 · ジョブの出力 · ワークフローの依存関係 · SLA管理 · Control-Mジョブ監視 |
エンドツーエンドのオーケストレーション
1つの生産ワークフロー。スタック内のすべてのツール。
Control-Mは、dbt、Snowflake、Databricks、BigQuery、ファイル転送、およびクラウドサービス間のワークフローを単一のジョブフローで調整し—依存関係の追跡、SLAの可視性、そして自動回復を行います。
- クロスツール依存関係：ファイル取り込み → ウェアハウスのロード → dbtの変換 → 分析の引き渡し
- データ認識トリガー：ファイル到着、APIイベント、上流ジョブの完了、クエリ結果
|
dbt |
ジョブの実行 · コマンドの上書き · ステータス、結果、および出力の監視 |
|
Snowflake |
データ処理 · SQL ワークロード · ワークフロー依存関係 |
|
Databricks |
ジョブ実行 · ワークフロー調整 · 依存関係管理 |
|
BigQuery |
データ処理 · クエリジョブ · クロスプラットフォーム調整 |
|
ファイル転送 |
管理された移動 · 到着依存関係 · 下流引き渡し |
|
クラウドサービス |
API駆動のジョブ · ワークフロー依存関係 · 中央集権的オーケストレーション |
パイプラインの監視
完全なデータパイプライン全体でdbt実行を監視します。
dbtは独自の環境内で実行され、プロダクションのデリバリーはより広いスタック全体のワークロードに依存します。Control-Mは、dbtジョブと周囲の依存関係の中央集権的監視を提供し、データチームに対して操作上の可視性を提供します:
-
dbtジョブ実行状況
-
ジョブ結果と出力
-
上流および下流の依存関係
-
クロスプラットフォームのワークフロー状況
-
SLA関連のジョブ可視性
SLA保証
dbt変換をデリバリー期限に合わせて維持します。
成功したdbtジョブが、サポートするビジネスプロセスにとって遅すぎることがあります。Control-Mは、dbt実行をより広いワークフロー依存関係およびSLA管理に接続し、チームがパイプライン全体で時間に敏感なデリバリーを管理するのを助けます:
-
dbtに付随するSLAジョブ
-
エンドツーエンドの依存関係可視性
-
高度なスケジューリング基準
-
上流条件管理
-
調整された下流実行
ドキュメント
複雑なワークフローに秩序をもたらす
Control-Mがチームにどのように複雑なプロセスをより大きな可視性、調整、制御でオーケストレーションするのかを学ぶ。
