ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
Control-M + Azure Machine Learning
Your Azure Machine Learning workflow starts before an endpoint pipeline ever executes — and it can fail when something upstream breaks. An Azure Blob Storage input didn’t arrive. An Azure Data Factory pipeline ran long. Control-M orchestrates the full chain: Azure Blob data arrival, Azure Data Factory transformation, Azure Machine Learning execution, and downstream delivery.
一般的なワークフローの問題
これはあなたの週のように聞こえますか？
これらはエッジケースではありません。それは、複数のツールでAzure Machine Learningジョブを実行しているチームの通常の運用条件です。Control-Mが各ケースにどのように対応するかを示します。
上流データ
あなたのトレーニング実行が予定されています。Azure Blobデータはまだ到着していません。
Control-Mは、Azure Machine Learningジョブを単独の時間スケジュールではなく、上流ワークフローに依存させます。必要な処理が完了した後にのみ実行が開始され、遅延データが誤ってタイミングの合わないマシンラーニング実行になるのを防ぎます。
ADF · AZURE ML
あなたのData Factoryパイプラインが完了しました。マシンラーニングジョブはまだ待機しています。
Control-Mは、同じスケジューリング環境内でAzure Data FactoryとAzure Machine Learningジョブを調整し、上流処理が完了した後に実行を解放するためにジョブ依存関係を使用します — 切り離されたスケジュールとパイプラインステージ間の手動ハンドオフを排除します。
障害回復
パイプラインジョブが昨晩失敗しました。すべての下流がまだそれに依存しています。
Control-MはAzure Machine Learningジョブのステータスを追跡し、結果の周りにワークフロー条件を適用して、失敗した実行後に依存する処理が続行されるのを防ぎます。チームは、下流ワークフローを盲目的に進めることなく、失敗したステージを回復できます。
コンピュート管理
トレーニングが完了しました。Azure MLコンピュートクラスターはまだ稼働中です。
Control-Mは、モデル処理が終了した後の切り離されたオペレーショナルタスクではなく、製造ワークフローと共にAzure Machine Learningコンピュート管理を調整できます。コンピュートライフサイクルは、別のオーケストレーションされたステップになります。
SLAリスク
MLジョブが長時間実行されています。あなたの朝のデリバリーウィンドウが閉じています。
Control-MはAzure Machine LearningジョブをエンドツーエンドのSLAワークフローに取り込み、チームが依存する処理やデリバリー締切への影響を確認できるようにします。ML実行をビジネスサービスから独立して監視するのではなく。
Control‑M + Azure Machine Learning
Control‑M + Azure Machine Learning
|
workload.types |
endpoint pipeline execution · existing job execution · compute management · compute start · compute stop · compute restart · compute delete |
|
trigger.type |
time schedule · upstream job completion · Control-M dependencies · file arrival workflow · API-driven execution · Automation API |
|
cross_tool.deps |
Azure Data Factory pipeline · Azure Blob Storage arrival · Azure Databricks job · Apache Airflow DAG · REST API call · downstream analytics |
|
cloud.platforms |
Microsoft Azure · Azure Machine Learning workspace · Azure compute · Control-M SaaS · hybrid Control-M environment |
|
error_handling |
failure tolerance · status polling frequency · Control-M job conditions · downstream cascade prevention · workflow recovery · SLA monitoring |
|
throughput |
asynchronous ML execution · long-running pipelines · batch inference workflows · compute-cluster processing |
|
observability |
job status · job results · job output · dependency visibility · SLA tracking · centralized workflow monitoring |
エンドツーエンドオーケストレーション
1つの製品ワークフロー。スタック内のすべてのツール。
Control-M orchestrates workflows across Azure Machine Learning, Azure Data Factory, Azure Blob Storage, Azure Databricks, Airflow, file transfers, and cloud services in a single job flow — with dependency tracking, SLA visibility, and automated recovery across all of them.
- Cross-tool dependency: Azure Data Factory → Azure Machine Learning pipeline → Azure Databricks → analytics handoff
- Data-aware triggers: file arrival, API event, upstream job completion, pipeline completion
|
Azure Machine Learning |
pipeline execution · existing-job execution · compute management · status monitoring |
|
Azure Data Factory |
パイプライン実行 · 完了依存関係 · ワークフロー引き渡し |
|
Azure Blob Storage |
ファイル到着 · データ依存関係 · 下流リリース |
|
Azure Databricks |
ジョブ実行 · 依存関係調整 · 下流処理 |
|
Apache Airflow |
DAG実行 · ステータストラッキング · ワークフロー依存関係 |
|
ファイル転送 |
データ移動 · 到着検出 · ワークフローリリース |
|
分析サービス |
下流引き渡し · スケジュールされた配信 · 依存関係調整 |
airflow共存
Control-MはあなたのAirflow DAGを置き換えません。 それはその上にレイヤーを実行します。
よくある反対意見: 「私たちはすでにAirflowを使っています。」問題はAirflowが何をするかではなく、Airflowが実行する前後に何が起こるかです。ここがパイプラインが実際に失敗する場所です。
AirflowはそのDAGを管理します。Control-Mはその周囲のすべてを管理します。
AIRFLOWハンドル
データパイプライン内でのDAGレベルのオーケストレーション
- DAGレベルのタスクオーケストレーションをデータパイプライン内で
- Pythonオペレーター、センサー、タスク依存関係
- パイプライン内で実行されるジョブの実行グラフ
- 単一DAGコンテキスト内でのリトライを管理
control-mが追加される
DAGの周りの調整層
- DAGの周りの調整層 — 上流の条件に基づいてAirflowをトリガー: ファイル到着、APIイベント、他のツールの完了
- 各DAGのSLA貢献をフルエンドツーエンドのワークフロー全体で追跡し、自身のルーチンだけではない
- Airflowが開始する前に上流の依存関係が失敗した場合の障害回復を管理
- 既存のDAGを書き換えたり移行したりする必要はない
MLジョブを監視する
パイプライン全体でAzure Machine Learningジョブを監視する
Azure Machine Learningは、その環境内で実行を表示します。Control-Mは、その実行を広範な生産パイプラインに接続し、DataOpsチームにMLジョブと上流および下流のワークロードの中央ビューを提供します：
-
Azure MLジョブステータス
-
ジョ結果と出力
-
上流および下流の依存関係
-
エンドツーエンドのワークフロー可視性
-
クロスプラットフォーム実行ステータス
SLA保証
マシンラーニングパイプラインをデリバリーSLAに合わせて維持する
Azure Machine Learningは、MLジョブがどのように実行されているかを教えてくれます。Control-Mは、そのジョブが完全な生産ワークフローの締切にどのように影響するかを示し、ML実行を上流の依存関係、下流の処理、およびサービスレベルの配信に接続します：
-
エンドツーエンドのSLA監視
-
クロスプラットフォーム依存関係可視性
-
MLジョブステータス監視
-
下流配信調整
-
中央ワークフロー制御
複雑なワークフローに秩序をもたらす
Control-Mがチームにどのように視覚化、調整、制御を強化して複雑なプロセスをオーケストレーションするかを学ぶ。
