一般的なワークフローの問題

これがあなたの週のように聞こえますか?

これらはエッジケースではありません。これらは、複数のツールでDB2データパイプラインを運用しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかは次のとおりです。

遅延データ

DataStageジョブが遅れて完了しました。あなたのDB2 SQLは2:00に実行されました。

Control-Mは切断されたスケジュールを明示的な依存関係に置き換えます。上流のDataStageジョブが成功裏に完了するのを待ってからDB2 SQLジョブをリリースし、不完全な入力が下流処理に伝播するのを防ぎます。

SQL失敗

あなたのDB2 SQLスクリプトが失敗しました。下流のレポートはまだ待機中です。

Control-Mはデータベースジョブの完了ステータスを検出し、失敗後に依存するジョブの実行を防ぎ、失敗したステップをエンドツーエンドのワークフロー内で露出させることで、チームが別々のスケジュールを追跡せずに処理を回復できるようにします。

接続失敗

DB2は1:15 AMに利用できませんでした。バッチウィンドウは動き続けました。

Control-Mは、設定可能な再試行回数と間隔を使用して自動ジョブ再実行をサポートします。短期的な失敗は、ワークフローを即座に失敗させるのではなく、自動再実行をトリガーすることができ、無人の夜間処理中の手動介入を減らします。

ツール間依存関係

Sparkは3:07 AMに完了しました。DB2はまだcronを待っています。

Control-MはSparkとDB2処理を同じワークフロー内でモデル化し、上流の完了依存関係を評価し、処理が実際に準備ができているときにデータベース実行をリリースします - 固定時間スケジュールによって作成された不要な待機を排除します。

SLAリスク

DB2のロードが長くなっています。あなたの6:00 AMの引き渡しが危険にさらされています。

Control-Mはデータベースジョブをエンドツーエンドのサービスの一部として追跡し、依存処理全体にわたってSLA管理を適用し、遅延を文脈内で提示することで、チームが遅れたDB2処理が下流の配信に妨げになる前に行動できるようにします。

統合の事実

Control-M + DB2

workload.types

ストアドプロシージャ · SQLスクリプト · 埋め込みクエリ · パラメータ化されたストアドプロシージャとスクリプト · バッチデータベース処理 · データロード · データベース変換

trigger.type

ファイル到着 · 上流ETL完了 · API/webhook · 時間スケジュール · ビジネスカレンダー · 上流ジョブステータス

cross_tool.deps

IBM DataStageジョブ · Apache Airflow DAG · Spark/Databricksジョブ · Informaticaワークフロー · REST APIコール · ファイル配信確認

cloud.platforms

AWS接続ワークフロー · Microsoft Azure接続ワークフロー · Google Cloud接続ワークフロー · オンプレミス · ハイブリッド環境

error_handling

構成可能な再試行間隔での自動ジョブ再実行 · 下流のカスケード防止 · 自動ジョブ保持 · 失敗点からの再実行 · SLAアラート

throughput

高ボリュームバッチ · 同時データベースジョブ · パラレルワークフロー実行 · 大規模データロード · スケジュールされたデータベース処理

observability

データベースジョブステータス · 実行ログ · 追加されたSQL出力 · 依存関係の可視性 · SLAモニタリング · 中央集権的ワークフローモニタリング

エンドツーエンドオーケストレーション

1つのプロダクションワークフロー。スタック内のすべてのツール。

Control-Mは、DB2、IBM DataStage、Airflow、Spark、ファイル転送、クラウドサービス全体にわたるワークフローを単一のジョブフローで調整します — 依存関係の追跡、SLAの可視性、そしてそれら全ての自動回復を備えています。

  • クロスツール依存関係: IBM DataStage → DB2 SQLジョブ → Spark → 分析ハンドオフ
  • データに基づくトリガー: ファイル到着、APIイベント、ETL完了、データベースジョブ完了

DB2

ストアドプロシージャ · SQLスクリプト · 埋め込みクエリ · 実行モニタリング

IBM DataStage 

ETLジョブ実行 · ステータストラッキング · 依存関係調整

Apache Airflow 

DAGトリガー · ステータストラッキング · 依存関係調整

Spark / Databricks 

ジョブ実行 · 変換依存関係 · ダウンストリームハンドオフ

ファイル転送 

ファイル到着 · 転送完了 · ワークフロートリガー

クラウドサービス 

API実行 · イベント駆動依存関係 · クロスプラットフォーム調整

分析プラットフォーム 

ダウンストリームリフレッシュ · 配信依存関係 · SLA調整

airflow共存

Control-MはあなたのAirflow DAGを置き換えません。それはその上の層を実行します。

一般的な反論:「私たちはすでにAirflowを使用しています。」問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。パイプラインが実際に失敗するのはそこです。

AirflowはそのDAGを管理します。Control-Mはその周囲のすべてを管理します。

AIRFLOW HANDLES

データパイプライン内でのDAGレベルのオーケストレーション

  • DAGレベルのタスクオーケストレーションをデータパイプライン内で
  • Pythonオペレーター、センサー、タスク依存関係
  • パイプライン内で実行されるジョブの実行グラフ
  • 単一DAGコンテキスト内での再試行を管理

control-mが追加するもの

DAGの周りの調整層

  • DAGの周りの調整層 - 上流の条件(ファイル到着、APIイベント、他のツールの完了)に基づいてAirflowをトリガーします
  • 各DAGのSLA貢献をエンドツーエンドのワークフロー全体で追跡し、単独のルーチンだけではなく
  • Airflowが開始する前に上流の依存関係が失敗した場合、障害回復を管理
  • 既存のDAGは書き直す必要も移行する必要もありません

パイプラインを監視する

データパイプライン全体でDB2ジョブを監視する。

DB2はデータベース実行を公開しますが、プロダクションパイプラインはETLツール、ファイル、API、および分析プラットフォームにまたがることがよくあります。Control-Mは、完全なワークフロー全体にわたる中央集権的な操作可視性を提供し、データチームが実行と依存関係を一緒に見るのを助けます:

  • データベースジョブ実行ステータス

  • アップストリームおよびダウンストリーム依存関係

  • 実行ログとSQL出力

  • エンドツーエンドワークフローステータス

  • SLAリスク可視性

SLA保証

DB2のデータ配信コミットメントを維持する。

DB2はデータベース処理を成功裏に実行できますが、より広範なデータパイプラインは配信ウィンドウを逃すことがよくあります。Control-Mは、データベース実行をアップストリームおよびダウンストリームの依存関係に接続し、チームにワークフロー単位のSLA可視性と調整されたリカバリーを提供します:

  • エンドツーエンドSLAモニタリング

  • クロスプラットフォーム依存関係トラッキング

  • 自動化された障害回復

  • 遅延と例外の可視性

  • ビジネスサービスの監視

複雑なワークフローに秩序をもたらす

Control-Mがチームが複雑なプロセスを可視化、調整、管理するのを助ける方法を学ぶ。