Control-M + Azure Data Factory

あなたのAzure Data Factoryワークフローは、パイプラインが実行される前に始まり、上流で何かが壊れると失敗する可能性があります。ファイルは、あなたのパイプラインが読み取るBlob Storageコンテナには決して到達しません。Azure Synapseジョブがそれをフィードし、時間を超過してウィンドウを逃しました。Control-Mは、データの取り込み、上流の変換、Azure Data Factoryの実行、下流の配信という完全なチェーンをオーケストレーションします。

あなたのパイプラインのようなものを見てください統合事実を表示

一般的なワークフローの問題

これはあなたの週のように聞こえますか？

これはエッジケースではありません。それは、複数のツールでAzure Data Factoryを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかは以下の通りです。

UPSTREAM DELAYS

Azure Data Factoryのパイプラインは待機中でした。ソースファイルは決して到着しませんでした。

Azure Data Factoryは、そこにないデータを処理できません。Control-Mは、パイプラインをトリガーする前にファイルの到着、ストレージイベント、API、上流アプリケーションジョブを監視します。依存関係が欠落していると、実行が自動的に一時停止し、失敗したり不完全なデータのロードを生成することはありません。

PIPELINE FAILURES

コピーアクティビティが途中で失敗しました。下流の変換はそれでも実行しようとしました。

Control-MはAzure Data Factoryパイプラインの終了状態を検出し、失敗後の下流実行を防止し、適切な場所で設定可能なリトライを適用し、成功が完了した後のみ依存ワークフローを自動的に再開し、データプラットフォーム全体でのカスケード失敗を排除します。

CROSS-PLATFORM FLOWS

Azure Data Factoryが完了しました。DatabricksとSynapseは決して開始されませんでした。

データプラットフォームは、Azure Data Factoryで終わることはまれです。Control-Mは、Databricks、Azure Synapse Analytics、Snowflake、SQLデータベース、API、ファイル転送を横断して依存関係をオーケストレーションし、すべての下流のワークロードが前提条件が満たされるまで開始されないようにします。

SLA PRESSURE

朝のダッシュボードは締切を逃しました。誰もユーザーが不満を持つまで気づきませんでした。

Control-MはSLAターゲットに対してワークフローの進捗を継続的に追跡し、潜在的な違反を事前に予測し、統合された通知チャネルを通じてオペレーターに警告を発し、ビジネスレポートに影響を与える前にチームが介入できるようにします。

HYBRID ORCHESTRATION

ワークフローの半分はオンプレミスで実行されます。残りはAzureで実行されます。

Control-Mは、Azure Data Factoryをオーケストレーションし、オンプレミスのデータベース、エンタープライズアプリケーション、管理されたファイル転送、クラウドサービス、レガシースケジューラーを単一のワークフロー内で統合し、ハイブリッド環境全体での依存関係管理、監視、回復を提供します。

統合事実