Control-M + GCP Dataflow

あなたのGCP DataflowワークフローはClassicまたはFlex Templateジョブが実行される前に始まります—そして上流が壊れると失敗する可能性があります。Cloud Storageオブジェクトが遅れて到着します。BigQueryのロードが処理ウィンドウを逃します。Control-Mは完全なチェーンを調整します：Cloud Storageデータの到着、上流の変換、Dataflowの実行、および下流のデリバリー。

あなたのパイプラインのようなものを見てください統合事実を見る

一般的なワークフローの問題

これがあなたの週のように聞こえますか？

これらはエッジケースではありません。複数のツールでGCP Dataflowジョブを実行しているチームにとって、通常の操作条件です。Control-Mが各ケースをどのように処理するかをご覧ください。

遅延データ到着

あなたのCloud Storageデータは遅れています。午前2時のDataflowジョブは開始できません。

Control-Mは上流のファイル依存関係を追跡し、必要なデータが利用可能になるまでDataflowの実行を保持します。スケジューリングと依存関係のロジックが不完全な入力に対して処理ジョブが開始されるのを防ぎ、壊れやすい固定時間の引き渡しを排除します。

ジョブ失敗

あなたのFlexテンプレートが起動します。Dataflowジョブは処理中に失敗します。

Control-MはDataflowジョブの状態、結果、出力を監視し、失敗した実行を検出します。設定可能なControl-Mの回復ロジックは、下流のジョブが進行するのを防ぎ、壊れたパイプラインが連鎖するのを防ぐために適切な運用対応にルーティングします。

クロスツール依存関係

Dataflowは成功裏に完了しました。BigQueryの処理は下流でまだ待機しています。

Control-MはDataflowの成功した完了を検出し、同じジョブフロー内で依存するBigQueryワークロードを解放します。クロスツールの依存関係は、切断されたスケジュールを明示的な実行順序に置き換えるため、下流の処理はその前提条件が実際に終了したときに開始されます。

SLAリスク

Dataflowはまだ処理中です。あなたの朝の分析の締切が近づいています。

Control-MはDataflowジョブを広範なワークフローSLAに接続し、オペレーションに個々のクラウドジョブを超えた可視性を提供します。チームは、遅延したパイプラインがビジネスの締切を逃す前に、依存する処理と配信ステップ全体のSLAリスクを特定できます。

テンプレート実行

ClassicおよびFlexテンプレートは異なる方法で実行されます。オペレーションはまだ1つのワークフローが必要です。

Control-MはClassicおよびFlexテンプレートに基づくDataflowジョブをサポートし、ジョブ内でプロジェクト、リージョン、テンプレートの場所、パラメーター、およびポーリング設定が定義されます。データエンジニアはネイティブなDataflow実行を維持し、オペレーションは一貫した企業オーケストレーションを取得します。

統合事実