一般的なワークフローの問題

これがあなたの週のように聞こえますか?

これらはエッジケースではありません。複数のツールでOracle SQLジョブを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかを紹介します。

遅延データ

02:00のSQLロードが開始されました。ソース抽出は02:17に到着しました。

Control-MはOracle SQLジョブを必要なファイル到着または上流の転送に依存させ、単独の時計ではなくします。データベースのワークロードはその前提条件が完了した後にのみ開始され、不完全または欠落している入力に対してクエリが実行されるのを防ぎます。

SQLの失敗

ORA-00060がロードを停止しました。3つの下流ジョブがまだ待機しています。

Control-Mは失敗したデータベースジョブを検出し、依存するジョブの進行を防ぎ、ワークフローコンテキストで失敗を明らかにします。回復は影響を受けたワークロードを再実行でき、下流の依存関係を保ちながら手動介入を減らし、失敗の影響範囲を制限します。

AIRFLOWハンドオフ

あなたのAirflow DAGが完了しました。Oracleストアドプロシージャは開始されませんでした。

Control-MはDAGとOracleデータベースジョブを1つのワークフローで調整します。Airflowの実行が必要な状態に達すると、Control-Mは自動的に依存するストアドプロシージャをリリースします - 切断されたスケジュール、手動で構築されたポーリング、オーケストレーション層間の手動ハンドオフを排除します。

接続の失敗

Oracleは一時的に到達できませんでした。あなたの夜間パイプラインはそこで死んではいけません。

Oracle接続プロファイルは、接続失敗後の接続リトライの構成可能な回数(1〜24回の試行)と接続リトライのタイムアウト(各試行の間に1〜300秒)をサポートします。Control-Mは、周辺のワークフローを調整しながらデータベース接続を再確立でき、一時的な接続の失敗が下流の処理を早期にリリースすることなく回復できるようにします。

SLAリスク

SQLロードは長く実行されています。06:00の報告SLAが閉じています。

Control-MはOracleジョブを完全なSLAサービスの一部として追跡し、孤立したデータベースタスクではありません。チームは遅延やタイムリーな完了を脅かすジョブを特定し、影響を受けたワークフローをトラブルシューティングし、遅延SQL処理による下流のビジネス配信の遅延を防ぎます。

統合事実

Control-M + Oracle SQL

workload.types

SQLスクリプト · PL/SQLストアドプロシージャ · 組み込みSQLクエリ · パラメータ化されたSQLスクリプト · SSISパッケージの実行

trigger.type

ファイル到着 · ファイル転送の完了 · Apache Airflow DAGの完了 · API駆動の実行 · 時間スケジュール · 上流のジョブの完了

cross_tool.deps

Apache Airflow DAG · OCIデータ統合ジョブ · dbtジョブ · ファイル転送 · REST API呼び出し · ダウンストリームBIワークフロー

cloud.platforms

オンプレミスのOracleデータベース · Oracle Cloud Infrastructure · Control-M SaaS

error_handling

接続の再試行回数 · 接続再試行のタイムアウト · ダウンストリーム依存関係の保持 · ジョブの再実行 · 障害アラート · SLA遅延の検出

throughput

高ボリュームバッチSQL · パラレルデータベースワークロード · 構成可能な同時接続 · スケジュールされたETL処理 · パラメータ化されたバッチ実行

observability

ジョブ実行状況 · SQL出力 · 実行ログ · ワークフロー依存関係の表示 · SLAサービスの監視 · 履歴の実行可視性

エンドツーエンドオーケストレーション

1 つのプロダクションワークフロー。スタック内のすべてのツール。

Control-Mは、Oracle SQL、Airflow、OCIデータ統合、dbt、ファイル転送、クラウドサービスを単一のジョブフローで調整します - すべての依存関係の追跡、SLAの可視性、および自動回復を備えています。

  • クロスツール依存関係: Airflow → Oracle SQL → dbt → 分析の引き渡し
  • データ対応トリガー: ファイル到着、APIイベント、Airflowの完了、上流のジョブ結果

Oracle SQL

SQLスクリプト · ストアドプロシージャ · 組み込みクエリ · パラメータ · SQL出力

Apache Airflow

DAG 実行 · DAG ステータストラッキング · タスク出力 · ワークフロー依存関係

OCI データ統合

データ統合実行 · ステータス監視 · パイプライン調整

dbt

ジョブ実行 · 変換引き渡し · ステータス駆動依存関係

Control-M MFT

ファイル監視 · 管理された転送 · 転送完了依存関係

REST APIs

API 呼び出し · ワークフロートリガー · アプリケーション間引き渡し

BI / アナリティクス

ダウンストリーム依存関係 · スケジュールされた配信 · SLA 調整

airflowの共存

Control-MはあなたのAirflow DAGを置き換えません。上にレイヤーを実行します。

一般的な異議です: 「私たちはすでにAirflowを使用しています。」問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。パイプラインは実際にここで失敗します。

AirflowはそのDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。

airflowは処理します

データパイプライン内のDAGレベルのオーケストレーション

  • DAGレベルのタスクオーケストレーションデータパイプライン内
  • Pythonオペレーター、センサー、タスクの依存関係
  • パイプライン内で実行されるジョブの実行グラフ
  • 単一のDAGコンテキスト内でのリトライを管理

control-mが追加します

DAG周辺の調整層

  • DAG周辺の調整層 - 上流条件(ファイル到着、APIイベント、他のツールの完了)に基づいてAirflowをトリガーします
  • 各DAGのSLA貢献度を全体のエンドツーエンドのワークフローで追跡し、単独のルーチンだけでなく
  • Airflowが開始する前に上流の依存関係が失敗した場合に失敗回復を管理
  • 既存のDAGは書き直したり移行したりする必要はありません

パイプラインを監視

完全なパイプラインにわたる Oracle SQL 実行を監視

Oracle はデータベース内で何が起こるかを示しますが、完全なクロスプラットフォームデータパイプラインが成功裏に完了するかどうかは示しません。Control-M は Oracle 実行を上流および下流のワークフローコンテキストに接続し、チームが監視できるようにします:

  • データベースジョブの実行ステータス

  • SQL と実行出力

  • 上流および下流の依存関係

  • 実行時および履歴実行

  • クロスプラットフォームワークフローの失敗

SLA 確保

Oracle ジョブを超えた配信 SLA を保護

成功した SQL 文は、時間通りのビジネス成果を保証するものではありません。Control-M はエンドツーエンドサービス内で Oracle 処理を追跡し、チームがワークフローが SLA を逃さない前に、取り込み、変換、データベース実行、下流配信の遅延を特定するのを助けます:

  • エンドツーエンド SLA 監視

  • 遅延と失敗の可視性

  • サービスレベルワークフローステータス

  • 依存関係を考慮したトラブルシューティング

  • 自動運用アラート

複雑なワークフローに秩序をもたらす

Control-M がチームに、より大きな可視性、調整、制御で複雑なプロセスをオーケストレーションする方法を学びます。