ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
Control-M + Azure HDInsight
あなたの Azure HDInsight ワークフローは、Apache Spark バッチジョブが実行される前に始まります。上流の何かが壊れると失敗する可能性があります。アプリケーション JAR が Azure Blob ストレージに遅れて到着します。Azure Data Factory パイプラインが期待された完了ウィンドウを逃します。Control-M は、Azure Blob データの到着、Azure Data Factory の変換、Azure HDInsight の実行、および下流の分析配信の完全な連鎖を調整します。
一般的なワークフローの問題
これがあなたの週のように聞こえますか？
これはエッジケースではありません。これは、複数のツールを使用してAzure HDInsightパイプラインを実行しているチームの通常の運用条件です。Control-Mが各ケースをどのように処理するかを示します。
遅延データ到着
あなたのスパークジョブは準備が整いました。Azure Blob入力はまだ準備ができていません。
Control-Mはファイル到着をスパークバッチジョブの依存関係と調整し、必要なアップストリームステップが正常に完了するまでHDInsightの実行を保持します。処理は欠落または不完全な入力に対して実行されるのではなく、正しい順序で開始します。
アップストリーム遅延
Azure Data Factoryが遅れました。あなたの6:00 AMのスパーク実行は待てません。
Control-Mはワークフロー全体の依存関係を追跡し、アップストリーム条件が満たされた後にのみHDInsightジョブを開始します。SLA監視は、遅れた依存関係が見逃されたデリバリーになる前に、チームに早期の可視性を提供します。
スパークの失敗
スパークバッチが失敗しました。下流のすべてがそれに依存しています。
Control-MはAzure HDInsightジョブのステータスと結果を監視し、失敗をモニタリングドメインに表示し、依存ジョブが不正に進行するのを防ぎます。チームは悪い結果や不完全な結果が下流に波及することを許可せずに、失敗した処理ステップを回復できます。
トラブルシューティング
バッチは一晩で失敗しました。今、あなたはスパークのログが必要です。
Control-MはApache SparkジョブのログをControl-Mジョブ出力に直接取り込み、実行状況と結果を監視します。エンジニアは、別々のスケジューリングとHDInsight実行ビューを組み合わせることなく、失敗を調査するために必要な運用コンテキストを得ることができます。
SLAリスク
スパークはまだ実行中です。あなたの分析の引き渡しには締切があります。
Control-MはAzure HDInsightワークフローにSLA管理を追加し、ジョブを広範なプロダクションサービスの一部として追跡します。チームはコンテキスト内でタイミングリスクを見て、長時間実行されるスパークバッチが下流のデリバリーを遅らせる前に対応できます。
Control-M + Azure HDInsight
Control-M + Azure HDInsight
|
workload.types |
Apache Spark バッチジョブ · ビッグデータ分析 · ETL 処理 · スケジュールされたデータパイプライン |
|
trigger.type |
Azure Blob ファイルの到着 · 時間スケジュール · 上流ジョブの完了 · 上流ジョブの終了ステータス · Automation API · ファイル転送の完了 (Control-M MFT 経由) |
|
cross_tool.deps |
Azure Data Factory パイプライン · Azure Blob ストレージ配信 · Azure Synapse ジョブ · Azure Databricks ジョブ · ファイル転送の完了 · REST API コール |
|
cloud.platforms |
Microsoft Azure · Control-M SaaS · Control-M オンプレミス · ハイブリッド企業ワークフロー |
|
error_handling |
ジョブステータスの監視 · 依存関係ベースのカスケード防止 · 設定可能なリカバリアクション · SLA 監視 · ジョブ出力の取得 · Spark ログの取得 |
|
throughput |
エージェントごとに同時に 50 の HDInsight ジョブ · Apache Spark バッチ処理 · 並列企業ワークフロー · 中央集中的なスケジューリング |
|
observability |
ジョブステータス · 実行結果 · Spark ジョブ出力 · Spark ログ · SLA の可視性 · 依存関係の監視 · Control-M モニタリングドメイン |
エンドツーエンドのオーケストレーション
1つのプロダクションワークフロー。スタック内のすべてのツール。
Control-M は、Azure HDInsight、Azure Data Factory、Azure Blob ストレージ、Azure Synapse、ファイル転送、およびクラウドサービスを単一のジョブフローで調整します。依存関係の追跡、SLA の可視性、および自動リカバリをすべて含みます。
- クロスツール依存性: Azure Data Factory → Azure HDInsight Spark → Azure Synapse → 分析の引き渡し
- データ認識トリガー: Azure Blob ファイルの到着、API イベント、上流ジョブの完了、ファイル配信
|
Azure HDInsight |
Spark バッチジョブを実行する · アプリケーションパラメータを渡す · ジョブステータスをポーリングする · Spark ログを取得する |
|
Azure Data Factory |
パイプラインの実行を調整 · 完了を追跡 · ツール間の依存関係を管理 |
|
Azure Blob Storage |
データの到着を調整 · 処理の順序を決定 · 下流の実行を制御 |
|
Azure Synapse Analytics |
分析ジョブを調整 · 依存関係を管理 · 下流処理の順序を決定 |
|
Azure Databricks |
データジョブを調整 · 実行を監視 · 下流の依存関係を接続 |
|
Control-M Managed File Transfer |
ファイル配信を調整 · 転送の完了を追跡 · 依存する処理をトリガー |
|
REST APIs |
外部サービスを呼び出す · API駆動のステップを調整 · カスタムワークフローの段階を接続 |
airflow共存
Control-MはあなたのAirflow DAGを置き換えません。それらの上にレイヤーを実行します。
一般的な異議: 「私たちはすでにAirflowを使用しています。」問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。パイプラインが実際に失敗するのはその部分です。
AirflowはDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。
AIRFLOW HANDLES
データパイプライン内のDAGレベルのオーケストレーション
- データパイプライン内のDAGレベルのタスクオーケストレーション
- Pythonオペレーター、センサー、タスク依存関係
- パイプライン内で実行されるジョブの実行グラフ
- 単一のDAGコンテキスト内での再試行を管理
control-mが追加されます
あなたのDAGを取り囲む調整レイヤー
- DAGを取り巻く調整レイヤー - アップストリーム条件に基づいてAirflowをトリガーします: ファイル到着、APIイベント、他のツールの完了
- 各DAGのSLA貢献をフルエンドツーエンドワークフロー全体で追跡します。自分のルーチンだけではありません
- Airflowが起動する前にアップストリーム依存関係が失敗した場合の回復を管理します
- 既存のDAGを再記述または移行する必要はありません
パイプラインを監視する
パイプラインのコンテキストを失うことなくAzure HDInsightジョブを監視する。
Azure HDInsightはSpark実行情報を公開しますが、プロダクションパイプラインはクラスタ境界で停止することはほとんどありません。Control-MはHDInsightの実行を上流および下流のワークフローステップと同じ運用ビューに統合し、データチームに中央集権的な可視性を提供します:
-
Sparkバッチジョブのステータス
-
ジョブ結果と出力
-
Spark実行ログ
-
上流および下流の依存関係
-
エンドツーエンドのワークフローステータス
SLA保証
スパーク処理をデリバリーの締切に合わせて維持します。
成功したSparkジョブは、上流のデータや処理がその配信ウィンドウを消費すると運用上遅れる可能性があります。Control-Mは、チームがタイミングリスクを特定し、次の方法で重要なデータサービスを管理できるように、ワークフロー全体にわたってSLAの可視性を追加します:
-
エンドツーエンドのSLA追跡
-
クロスプラットフォームの依存関係の可視性
-
長期実行ジョブの特定
-
中央集権的な失敗監視
-
ワークフロー全体の運用制御
ドキュメント
複雑なワークフローに秩序をもたらす
Control-Mがチームがより高い可視性、調整、制御で複雑なプロセスをオーケストレーションするのをどのように助けるかを学ぶ。
