ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
ハイブリッドおよびマルチクラウドデータワークフローをオーケストレーションする—エンドツーエンド
Snowflake、Databricks、Airflow、Azure Data Factoryなどをハイブリッドおよびマルチクラウド環境全体で単一のオーケストレーションレイヤーを介して調整します。
Control-Mは、オンプレミスおよびクラウド環境にまたがるワークフローの依存関係、可視性、SLAトラッキングを調整するために、プラットフォーム固有のスケジューラーの上に操作します。
クロスプラットフォームデータワークフローを調整するのが難しい理由
チームはSnowflake、Databricks、Airflow、Azure Data Factory、オンプレミスシステム全体で分析、取り込み、および変換を実行します。
各プラットフォームは独自のジョブをスケジュールできますが、ワークフローがプラットフォームを横切ると機能しなくなります。
-
スケジューラーとDAGは、上流または下流で何が起こっているかを把握していません
-
ハンドオフはハードコーディングされ、手動でトリガーされるか、「バンド外」（ツール自体の外）で処理されます
-
可視性は各ツールのエッジで停止します
-
何かが失敗すると、影響範囲を把握するのが難しいです
-
パイプラインとチームが増えるにつれて、SLAを達成するのが推測作業になります
テイクアウェイ: プラットフォームを追加するほど、調整作業がシステムではなく人に依存します。
ワークフローがハイブリッドおよびマルチクラウドにまたがる場合の要件
チームは既存のプラットフォームの上にオーケストレーションを望んでおり、ツールの置き換えを望んでいません。
オーケストレーションレイヤーは以下を満たす必要があります：
-
クラウドおよびオンプレミス環境で機能する
-
イベントおよび依存関係駆動型の自動化をサポートする
-
ワークフロー全体で明確な可視性を提供する
-
エンタープライズのセキュリティとガバナンス要件にスケールする
ハイブリッドおよびマルチクラウドデータワークフローのためのControl-M対プラットフォームネイティブスケジューラ
ワークフローがプラットフォームや環境をまたがると、スケジューリングだけでは不十分です。
| 重要な要件 | プラットフォームネイティブオーケストレーター (Airflow, ADF, Cloud Schedulers) |
Control-Mエンタープライズオーケストレーション |
|---|---|---|
| ハイブリッドオーケストレーション（クラウド + オンプレミス） | エンドツーエンドのハイブリッド調整には設計されていません | クラウドとオンプレミスのワークフローを一緒にオーケストレーションするために構築されています |
| マルチクラウド調整 | プラットフォームまたはクラウドごとに別々のスケジューラ | 複数のクラウドにわたる単一のオーケストレーションレイヤ |
| クロスプラットフォーム依存関係 | 手動ハンドオフ、API、またはカスタムロジック | ツールと環境全体でのネイティブ依存関係管理 |
| システム全体のイベント駆動型自動化 | イベントは通常、ローカルプラットフォームに制限されます | プラットフォーム、データ、API、およびジョブ全体でのイベント駆動型オーケストレーション |
| エンドツーエンドの可視性とSLA | ツールレベルの監視のみに制限 | 予測SLA管理を持つ統合可視性 |
| アーキテクチャ的役割 | プラットフォーム内で作業をスケジュールします | プラットフォームを置き換えることなく、上位でワークフローをオーケストレーションします |
この比較が実際に意味すること
AirflowやAzure Data Factoryのようなプラットフォームネイティブスケジューラは、自身の環境内でワークフローを実行するのが得意です。
Control-Mはこれらのツールを置き換えるものではありません。依存関係、可視性、サービスレベルを全体のワークフローにわたって管理するための集中制御プレーンを提供します—すでに信頼されているプラットフォームでの作業の実行方法を変更することなく。
Control-Mがハイブリッドおよびマルチクラウドオーケストレーションをスケールでサポートする方法
システム全体でのイベント駆動型調整
Control-Mは、スケジュールだけでなく、イベント—データの到着、ジョブの完了、ファイル、またはアプリケーション信号—に基づいてワークフローをトリガーします。バッチ、マイクロバッチ、およびストリーミングのステップをプラットフォーム全体で調整し、どこで実行されてもダウンストリーム作業を自動的にトリガーします。
デモを見る
エンドツーエンドの可視性とSLA制御
Control-Mは、複数のツールにまたがるワークフローの単一のビューを提供します—個々のジョブやDAGだけでなく。チームはシステムの境界を越えてSLAを追跡および予測し、ダウンストリームの影響を理解し、問題が発生した際に自動回復を開始できます。
ハイブリッドおよびマルチクラウドスケールでのエンタープライズ制御
Control-Mは、役割ベースのアクセス、Dev/Test/Prodの分離、および規制された環境のための監査可能性をサポートします。数百から数万のワークフローまでスケールし、実行を分散させながら、オーケストレーションを中央集権化します。
データシートを見る
ハイブリッドおよびマルチクラウドデータオーケストレーションの実践
Air Europaがハイブリッドおよびマルチクラウドデータワークフローをどのように調整するか
-
スケール: 分散データメッシュ組織を可能にする
120以上のBIおよびデータソリューションがクラウドおよびオンプレミスプラットフォームにあります
-
制約: プラットフォームと環境を越えるデータパイプライン
Air Europaは、バッチ、リアルタイム、分析、BIワークロードを跨ぐクラウドとオンプレミスプラットフォームを介してデータパイプラインを実行しました。プラットフォーム特有のスケジューラにより、依存関係の管理、可視性の維持、SLAの遵守が困難になりました。
-
アプローチ: 既存のデータプラットフォームの上にオーケストレーションを実装する
既存のツールを置き換えるのではなく、Air EuropaはControl-M SaaSを既存のプラットフォームの上にオーケストレーションするために実装しました。Control-Mはクラウドサービス、Snowflakeなどのデータプラットフォーム、およびオンプレミスシステム全体で依存関係を調整し、実行は基盤となるプラットフォーム全体に分散されました。
-
結果: 測定可能な効率とSLAの改善を実現
Control-Mを中央集権的なオーケストレーションレイヤーとして使用することで、Air EuropaはDataOpsワークフローの効率が54%向上したと報告しています。非常に順序立てられたワークフローでは、並行実行により処理時間が6.5時間から3時間に短縮されました。Air Europaはまた、分析アプリケーションのサービスレベル契約の改善を報告し、必要なときにデータが利用可能になりました。
José Carlos Bermejo Rubio,
Director of Data & Analytics, Air Europa
Control-Mが適切な選択となる時
Control-Mは次のような場合に適しています:
- 複数のクラウドまたはハイブリッド環境にわたってデータワークフローを実行する
- Airflow、ADF、またはクラウドスケジューラの上にオーケストレーションが必要
- 厳格なSLAを持つビジネスクリティカルなパイプラインに依存する
- データスタックを再設計せずに中央集権的な制御を望む
Control-Mが適切でない可能性がある場合
すべてのワークフローが単一のプラットフォームまたはクラウド内で実行され、クロスシステムの依存関係が最小限であり、中央集権的なSLA追跡やハイブリッド運用可視性を必要としない場合、Control-Mは不要な可能性があります。
次のステップ—ハイブリッドおよびマルチクラウドデータワークフローを一つのシステムとして評価する
Control-Mデータワークフローのユースケースを探る
Control-Mがプラットフォーム全体で依存関係、可視性、SLAをどのように調整するかをご覧ください—すでに使用しているツールを置き換えることなく。
