ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
Control-M + GCP Data Fusion
GCP Data Fusionのワークフローは、単一のパイプラインまたはワークフローテンプレートが実行される前に始まります — そして、上流で何かが壊れると失敗する可能性があります。Cloud Storageオブジェクトが遅れて到着する。BigQueryのロードジョブが処理ウィンドウを逃す。Control-Mは、Cloud Storageデータの到着、BigQueryの変換、GCP Data Fusionの実行、および下流の配信をオーケストレーションします。
一般的なワークフローの問題
これがあなたの週のように聞こえますか？
これはエッジケースではありません。これらは、複数のツールを使用してGCP Data Fusionパイプラインを運用しているチームのための通常の運用条件です。Control-Mが各ケースをどのように処理するかを見てみましょう。
CLOUD STORAGE · ETL
あなたのCloud Storageデータは遅れて到着しました。6:00 AMのパイプラインはすでに開始されています。
Control-Mはデータの到着を上流の依存関係にし、固定されたパイプラインの開始時間に依存しないようにします。GCP Data Fusionジョブは、実行前に必要な条件を待機し、不完全な入力が下流処理に連鎖するのを防ぎます。
PIPELINE FAILURE
Data Fusionが夜間に失敗しました。下流のBigQuery処理はまだキューに入っています。
Control-MはGCP Data Fusionジョブのステータスを監視し、定義された障害処理を適用し、失敗した実行後に依存ジョブが進行しないようにします。オペレーションは、後で不良な下流出力を発見するのではなく、より広いワークフローの中で失敗したステップを確認します。
RUNTIME PARAMETERS
今日のパーティションが変更されました。あなたのData Fusionパイプラインには正しい実行時値が必要です。
Control-MはJSONベースの実行時パラメータをGCP Data Fusionジョブに渡し、ワークフローが実行特有の値を提供できるようにします。これにより、別々のジョブ定義を作成することなく再利用可能なパイプラインが保持されます。各実行をその上流のコンテキストと調整します。
SLA RISK
Data Fusionはまだ実行中です。8:00 AMの分析ハンドオフはリスクにさらされています。
Control-MはGCP Data Fusionジョブをエンドツーエンドワークフローの一部として追跡し、SLA管理に関連付けます。チームはコンテキスト内でタイミングリスクを特定し、遅延ETL実行がビジネスの納品の欠失になる前に行動できます。
CROSS-TOOL DEPENDENCY
Data Fusionが成功しました。あなたの下流プロセスはまだ信頼できるハンドオフが必要です。
Control-Mはジョブステータスの監視を通じて完了を検出し、必要な条件が満たされたときのみ設定された下流の依存関係を解放します。Data Fusionは、別々のスケジューリングロジックを必要とする孤立したパイプラインではなく、生産フロー内の管理されたステップになります。
統合の事実
Control-M + GCP Data Fusion
|
workload.types |
バッチETLパイプライン · 単一パイプライン実行 · ワークフローテンプレートパイプライン実行 · パラメータ化されたパイプライン · パイプライン中止 · サードパーティのジョブログ取得 |
|
trigger.type |
時間スケジュール · 上流ジョブの完了 · ファイル到着 · Control-M依存関係 · API駆動の提出 · ワークフロー条件 |
|
cross_tool.deps |
Cloud Storageファイル到着 · BigQueryジョブ · GCP Composer DAG · GCP Dataflowジョブ · REST API呼び出し · 下流の分析ジョブ · ファイル配信確認 |
|
cloud.platforms |
Google Cloud Platform · GCP Data Fusion · Cloud Storage · BigQuery · Cloud Composer · Dataproc |
|
error_handling |
ステータスポーリング · 障害耐性 · パイプライン中止 · 下流のカスケード防止 · ジョブログ取得 · SLA管理 · 依存関係ベースの回復 |
|
スループット |
バッチパイプライン · リアルタイムData Fusionワークロード · エージェントあたり50同時GCP Data Fusionジョブ · 設定可能なステータスポーリング |
|
可観測性 |
パイプラインステータス · パイプライン結果 · パイプライン出力 · サードパーティのジョブログ · エンドツーエンドの依存関係の可視性 · SLA監視 |
エンドツーエンドのオーケストレーション
1つのプロダクションワークフロー。スタック内のすべてのツール。
Control-Mは、GCP Data Fusion、Cloud Storage、BigQuery、Cloud Composer、Dataflow、ファイル転送、およびクラウドサービス全体でワークフローをオーケストレーションします — 依存関係の追跡、SLAの可視性、およびそれらすべてにわたる自動回復を備えた単一のジョブフローで。
- クロスツール依存関係: Cloud Storage → GCP Data Fusionパイプライン → BigQuery → 分析ハンドオフ
- データ対応トリガー: ファイル到着、APIイベント、上流ジョブの完了、パイプラインの完了
|
GCP Data Fusion |
パイプライン実行 · ランタイムパラメータ · ステータス監視 · ログ · 障害処理 |
|
クラウドストレージ |
ファイル到着依存 · 上流データの準備 · ファイル駆動型ワークフローの開始 |
|
BigQuery |
クエリ実行 · データ処理 · 下流依存 · 分析ハンドオフ |
|
GCP Composer |
DAG調整 · 上流/下流の依存関係 · クロスワークフローのオーケストレーション |
|
GCP Dataflow |
バッチ処理 · ストリーミング処理 · ジョブ調整 · 依存関係管理 |
|
Dataproc |
Sparkジョブ · Hadoopワークロード · 処理依存関係 · スケジュール実行 |
|
ファイル転送 |
管理された転送 · 到着検出 · 配信確認 · 下流リリース |
airflow共存
Control-MはあなたのAirflow DAGを置き換えません。上にレイヤーを実行します。
一般的な反論は「私たちはすでにAirflowを使用しています」です。問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。そこがパイプラインが実際に失敗する場所です。
AirflowはそのDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。
airflowは処理します
データパイプライン内のDAGレベルのオーケストレーション
- データパイプライン内のDAGレベルのタスクオーケストレーション
- Pythonオペレーター、センサー、およびタスク依存関係
- パイプライン内で実行されるジョブの実行グラフ
- 単一のDAGコンテキスト内でのリトライ管理
control-mが追加します
DAG周辺の調整レイヤー
- DAG周辺の調整レイヤー — 上流条件（ファイルの到着、APIイベント、他のツールの完了）に基づいてAirflowをトリガーします
- 各DAGのSLA貢献をフルエンドツーエンドワークフロー全体で追跡します。自分のルーチンだけでなく
- Airflowが開始される前に上流の依存関係が失敗した場合の障害回復を管理します
- 既存のDAGを再作成または移行する必要はありません
パイプラインを監視する
ワークフロー全体でGCP Data Fusionの実行を監視する
GCP Data Fusionはパイプラインレベルの実行情報を公開しますが、プロダクション依存関係はしばしばサービスやプラットフォームにまたがります。Control-MはData Fusionのステータス、結果、出力、および周辺ジョブを1つの運用ビューに統合し、チームが完全なワークフローを追跡できるようにします:
-
パイプライン実行ステータス
-
パイプラインの結果と出力
-
サードパーティのジョブログを取得しました
-
上流および下流の依存関係
-
エンドツーエンドのワークフロー可視性
SLA保証
Data Fusionパイプラインを超えた配信SLAを保護する
成功したData Fusionの実行は、完全なデータ製品が時間通りに到着したことを保証するものではありません。Control-MはGCP Data FusionジョブをエンドツーエンドのSLA管理に関連付け、パイプライン実行を配信を決定する上流および下流の作業に接続します:
-
エンドツーエンドのSLA追跡
-
クロスプラットフォームの依存関係の可視性
-
上流の失敗制御
-
下流の実行制御
-
集中管理された運用監視
ドキュメント
複雑なワークフローに秩序をもたらす
Control-Mがチームが可視性、調整、および制御を高めて複雑なプロセスをオーケストレーションするのにどのように役立つか学びましょう。
