ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
Control-M + Azure Synapse
あなたの Azure Synapse ワークフローは、パイプラインが実行される前に始まり、上流で何かが壊れると失敗する可能性があります。Azure Data Lake Storage Gen2 の着地点ファイルが不完全に到着します。Azure Databricks の変換が期待されるウィンドウの後に終了します。Control-M は、ADLS Gen2 データの到着、Databricks の変換、Azure Synapse パイプラインの実行、および下流の Power BI 配信を調整します。
一般的なワークフローの問題
これはあなたの週のように聞こえますか？
これらはエッジケースではありません。複数のツールでAzure Synapseパイプラインを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかを見てみましょう。
遅延データ到着
ADLS Gen2データが遅れて到着します。あなたの午前2時のSynapseパイプラインは待機しなければなりません。
Control-MはAzure Synapseジョブのファイル到着条件を調整し、実行は必要な上流データを待機するために固定されたクロックに依存しません。パイプラインはその前提条件が満たされて初めて開始され、早すぎる実行と手動介入を減少させます。
パイプラインの失敗
ノートブックアクティビティが40分後に失敗します。下流の配信は停止しなければなりません。
Control-MはAzure Synapseジョブの状態、結果、および出力を監視します。パイプラインが失敗を返すと、下流の依存関係はブロックされたままで、報告、分析、または他の生産プロセスに悪いデータや不完全なデータが連鎖的に流れ込むことはありません。
中止回復
親パイプラインは中止されました。その子パイプラインはまだ実行中です。
Control-M for Azure Synapseは手動中止中に子パイプラインの再帰的中止をサポートします。オペレーターは影響を受けた実行チェーンを停止でき、親ワークフローが終了した後に子パイプラインがリソースを消費したり出力を生成したりすることはありません。
リソース競合
Synapseの需要が午前6時にピークに達します。あまりにも多くのパイプラインが同時に起動します。
Control-Mリソースプールは制約のある論理リソースの周りで同時ジョブの実行を制御でき、スケジュール条件が作業が実行可能になるタイミングを調整します。チームはすべてのSynapseパイプライン内に別のタイミングロジックのレイヤーを埋め込むことなく、ワークロードの圧力を制御します。
壊れたハンドオフ
Synapseパイプラインは成功しました。下流のPower BIリフレッシュは開始されませんでした。
Control-Mは成功したSynapseジョブの完了をより広いワークフローの一部として評価し、次の依存ジョブを自動的にリリースします。ハンドオフは明示的に管理された依存関係となり、cronウィンドウ、ポーリングスクリプト、または手動トリガーの代わりになります。
統合情報
Control-M + Azure Synapse
|
ワークロードの種類 |
Azure Synapse パイプラインの実行 · パラメータ化されたパイプラインの実行 · 子パイプラインのオーケストレーション · 再帰的子パイプラインの中止 |
|
トリガーの種類 |
タイムスケジュール · カレンダー基準 · 上流ジョブの完了 · Control-M イベント · ファイル到着の前提条件 · API駆動の順序 · 手動の順序 |
|
ツール間の依存関係 |
Azure Data Factory パイプライン · Azure Databricks ジョブ · Apache Airflow DAG · Power BI リフレッシュ · REST API 呼び出し · ファイル転送の完了 · 上流ジョブの終了ステータス |
|
クラウドプラットフォーム |
Microsoft Azure · ハイブリッドクラウド · Control-M SaaS · Control-M セルフホステッド |
|
エラーハンドリング |
ジョブステータスの検出 · 設定可能な Control-M 再実行ロジック · 下流のカスケード防止 · 手動の再帰的子パイプラインの中止 · リソース制御 · SLA アラート |
|
スループット |
エージェントあたり 50 同時 Azure Synapse ジョブ · 同時パイプライン実行 · リソースプール制御の同時実行 · パラメータ化されたパイプライン実行 |
|
可観測性 |
ジョブステータス · 結果 · 出力 · Control-M モニタリングドメイン · エンドツーエンドの依存関係の可視性 · SLA トラッキング · 中央集権的なジョブモニタリング |
エンドツーエンドオーケストレーション
1つのプロダクションワークフロー。スタック内のすべてのツール。
Control-M は、Azure Synapse、Azure Data Lake Storage Gen2、Azure Databricks、Apache Airflow、Power BI、ファイル転送、およびクラウドサービス全体でワークフローを調整します — すべての依存関係の追跡、SLAの可視性、そして自動回復を伴って。
- ツール間依存関係: Azure Databricks → Azure Synapse パイプライン → Power BI リフレッシュ → 分析の引き継ぎ
- データ認識トリガー: ファイルの到着、API イベント、上流ジョブの完了、パイプラインの完了
|
Azure Synapse |
パイプラインの実行 · パラメータのオーバーライド · ステータス監視 · 結果と出力 · SLA 調整 |
|
Azure Data Lake Storage Gen2 |
ファイル到着の調整 · 上流データ依存関係 · ワークフローの開始 |
|
Azure Databricks |
ジョブ実行 · ノートブックオーケストレーション · 完了依存関係 · ステータス監視 |
|
Apache Airflow |
DAG実行 · ステータストラッキング · クロスワークフロー依存関係 · SLA調整 |
|
Microsoft Power BI |
データ更新 · パイプラインデプロイメント · ダウンストリーム依存関係 · ステータス監視 |
|
ファイル転送 |
管理されたデリバリー · 到着依存関係 · ダウンストリームワークフローの開始 |
|
REST API |
API駆動のワークフロー統合 · 外部システム調整 · 自動ハンドオフ |
airflowの共存
Control-MはあなたのAirflow DAGを置き換えません。それはその上のレイヤーを実行します。
異議は一般的です: “私たちはすでにAirflowを使用しています。” 問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。パイプラインが実際に失敗するのはそこです。
AirflowはそのDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。
AIRFLOW HANDLES
DAGレベルのオーケストレーションデータパイプライン内
- DAGレベルのタスクオーケストレーションデータパイプライン内
- Pythonオペレーター、センサー、およびタスク依存関係
- パイプライン内で実行されるジョブの実行グラフ
- 単一のDAGコンテキスト内でのリトライを管理
- <
CONTROL-M ADDS
DAGの周りの調整レイヤー
- DAGの周りの調整レイヤー — 上流の条件に基づいてAirflowをトリガー: ファイルの到着、APIイベント、他のツールの完了
- 各DAGのSLAへの貢献を全体のエンドツーエンドワークフローで追跡し、単独のルーチンだけではない
- 上流の依存関係がAirflowが開始する前に失敗した場合の障害回復を管理
- 既存のDAGは書き換えや移行が必要ありません
パイプラインを監視する
Azure Synapse実行をワークフロー全体で監視します。
Azure Synapseはそのパイプライン実行の可視性を提供しますが、プロダクションデータフローはしばしばストレージ、変換、オーケストレーション、BIプラットフォームを超えて広がります。Control-MはSynapseジョブとその周囲の依存関係の集中監視を提供し、チームがコンテキスト内で実行を確認できるようにします:
-
パイプライン実行ステータス
-
ジョブ結果と出力
-
ランタイムと実行履歴
-
アップストリームおよびダウンストリーム依存関係
-
エンドツーエンドワークフローステータス
SLA保証
Azure Synapseパイプラインをスケジュール通りに保つ。
Synapseパイプラインは成功裏に終了することができますが、アップストリームデータが遅れて到着したり、ダウンストリーム処理が停止した場合、ビジネスの締切に間に合わないことがあります。Control-Mはジョブチェーン全体にわたってサービスを管理し、チームに配信リスクの早期可視化を提供します:
-
エンドツーエンドSLA追跡
-
サービス完了時間の可視性
-
依存関係を意識したステータス監視
-
リソース意識のジョブ調整
-
自動ダウンストリームゲーティング
ドキュメンテーション
複雑なワークフローに秩序をもたらす
Control-Mがチームにより大きな可視性、調整、制御を持って複雑なプロセスをオーケストレーションする方法を学ぶ。
