一般的なお問い合わせと所在地情報
お問い合わせ一般的なワークフローの問題
遅延データ
Control-Mは切断されたスケジュールを明示的な依存関係に置き換えます。上流のDataStageジョブが成功裏に完了するのを待ってからDB2 SQLジョブをリリースし、不完全な入力が下流処理に伝播するのを防ぎます。
SQL失敗
Control-Mはデータベースジョブの完了ステータスを検出し、失敗後に依存するジョブの実行を防ぎ、失敗したステップをエンドツーエンドのワークフロー内で露出させることで、チームが別々のスケジュールを追跡せずに処理を回復できるようにします。
接続失敗
Control-Mは、設定可能な再試行回数と間隔を使用して自動ジョブ再実行をサポートします。短期的な失敗は、ワークフローを即座に失敗させるのではなく、自動再実行をトリガーすることができ、無人の夜間処理中の手動介入を減らします。
ツール間依存関係
Control-MはSparkとDB2処理を同じワークフロー内でモデル化し、上流の完了依存関係を評価し、処理が実際に準備ができているときにデータベース実行をリリースします - 固定時間スケジュールによって作成された不要な待機を排除します。
SLAリスク
Control-Mはデータベースジョブをエンドツーエンドのサービスの一部として追跡し、依存処理全体にわたってSLA管理を適用し、遅延を文脈内で提示することで、チームが遅れたDB2処理が下流の配信に妨げになる前に行動できるようにします。
統合の事実
|
workload.types |
ストアドプロシージャ · SQLスクリプト · 埋め込みクエリ · パラメータ化されたストアドプロシージャとスクリプト · バッチデータベース処理 · データロード · データベース変換 |
|
trigger.type |
ファイル到着 · 上流ETL完了 · API/webhook · 時間スケジュール · ビジネスカレンダー · 上流ジョブステータス |
|
cross_tool.deps |
IBM DataStageジョブ · Apache Airflow DAG · Spark/Databricksジョブ · Informaticaワークフロー · REST APIコール · ファイル配信確認 |
|
cloud.platforms |
AWS接続ワークフロー · Microsoft Azure接続ワークフロー · Google Cloud接続ワークフロー · オンプレミス · ハイブリッド環境 |
|
error_handling |
構成可能な再試行間隔での自動ジョブ再実行 · 下流のカスケード防止 · 自動ジョブ保持 · 失敗点からの再実行 · SLAアラート |
|
throughput |
高ボリュームバッチ · 同時データベースジョブ · パラレルワークフロー実行 · 大規模データロード · スケジュールされたデータベース処理 |
|
observability |
データベースジョブステータス · 実行ログ · 追加されたSQL出力 · 依存関係の可視性 · SLAモニタリング · 中央集権的ワークフローモニタリング |
エンドツーエンドオーケストレーション
Control-Mは、DB2、IBM DataStage、Airflow、Spark、ファイル転送、クラウドサービス全体にわたるワークフローを単一のジョブフローで調整します — 依存関係の追跡、SLAの可視性、そしてそれら全ての自動回復を備えています。
|
DB2 |
ストアドプロシージャ · SQLスクリプト · 埋め込みクエリ · 実行モニタリング |
|
IBM DataStage |
ETLジョブ実行 · ステータストラッキング · 依存関係調整 |
|
Apache Airflow |
DAGトリガー · ステータストラッキング · 依存関係調整 |
|
Spark / Databricks |
ジョブ実行 · 変換依存関係 · ダウンストリームハンドオフ |
|
ファイル転送 |
ファイル到着 · 転送完了 · ワークフロートリガー |
|
クラウドサービス |
API実行 · イベント駆動依存関係 · クロスプラットフォーム調整 |
|
分析プラットフォーム |
ダウンストリームリフレッシュ · 配信依存関係 · SLA調整 |
airflow共存
AirflowはそのDAGを管理します。Control-Mはその周囲のすべてを管理します。
AIRFLOW HANDLES
control-mが追加するもの
パイプラインを監視する
DB2はデータベース実行を公開しますが、プロダクションパイプラインはETLツール、ファイル、API、および分析プラットフォームにまたがることがよくあります。Control-Mは、完全なワークフロー全体にわたる中央集権的な操作可視性を提供し、データチームが実行と依存関係を一緒に見るのを助けます:
データベースジョブ実行ステータス
アップストリームおよびダウンストリーム依存関係
実行ログとSQL出力
エンドツーエンドワークフローステータス
SLAリスク可視性
SLA保証
DB2はデータベース処理を成功裏に実行できますが、より広範なデータパイプラインは配信ウィンドウを逃すことがよくあります。Control-Mは、データベース実行をアップストリームおよびダウンストリームの依存関係に接続し、チームにワークフロー単位のSLA可視性と調整されたリカバリーを提供します:
エンドツーエンドSLAモニタリング
クロスプラットフォーム依存関係トラッキング
自動化された障害回復
遅延と例外の可視性
ビジネスサービスの監視