Control-M + OCIデータフロー

あなたのOCIデータフローワークフローは、Apache Sparkアプリケーションが実行される前に始まり、アップストリームで何かが壊れると失敗する可能性があります。OCIオブジェクトストレージオブジェクトが遅れて到着する。OCIデータ統合タスクが処理ウィンドウの後に終了します。Control-Mは、オブジェクトストレージデータの到着、OCIデータ統合の変換、OCIデータフローの実行、そしてダウンストリームの配信という完全なチェーンをオーケストレーションします。

あなたのパイプラインのようなものを表示統合事実を表示

一般的なワークフローの問題

これがあなたの週のように聞こえますか？

これらはエッジケースではありません。それは、複数のツールでOCIデータフローのワークロードを実行しているチームにとっての通常の運用条件です。Control-Mがそれぞれどのように処理するかは以下の通りです。

オブジェクトストレージ到着

オブジェクトストレージデータが遅れて到着しました。あなたのSparkの実行はそれでも開始されました。

Control-MはOCIデータフロージョブを上流のデータ依存関係が満たされるまで保持し、その後ワークフローの適切なポイントでSparkの実行を解放します — 不適切な実行、未完成の入力、および下流の再処理を回避します。

クロスサービス依存関係

OCIデータ統合が遅れて完了しました。データフローはまだ待機しています。

Control-MはOCIデータ統合、OCIデータフロー、および周辺ジョブ間の依存関係を1つのワークフローで調整します。上流の成功した完了がSparkの実行を自動的に解放し、切り離されたスケジュールや手動の引き渡しを排除します。

障害回復

あなたのSparkの実行は午前2時13分に失敗しました。下流のジョブは待機し続けました。

Control-MはOCIデータフロージョブのステータス、結果、および出力を監視し、失敗した実行を特定し、依存する作業の進行を防ぎます。設定可能なワークフローの回復とアラートにより、オペレーターは障害が連鎖する前に解決への制御された経路を提供します。

ランタイム構成

今日のSparkの実行は異なる引数とエグゼキュータの容量が必要です。

Control-Mは追加のOCIデータフロー実行の詳細を渡すことができ、引数、パラメータ、構成、ドライバおよびエグゼキュータの形状、エグゼキュータの数を含みます。チームはSparkの実行をエンドツーエンドのワークフローから切り離すことなく、変化するランタイム要件を運用化できます。

SLAリスク

午前7時の分析の引き渡しが近づいています。Sparkはまだ実行中です。

Control-MはOCIデータフロージョブをエンドツーエンドのワークフローSLAに接続し、重要な締切の周りで集中監視とアラートを提供します。チームはビジネスプロセスの文脈でSparkの実行を確認し、下流の納品が逃された前に介入できます。

統合事実