一般的なお問い合わせと所在地情報
お問い合わせ一般的なワークフローの問題
遅延HDFSデータ
Control-Mは、必要なファイルと最小サイズのためにHDFSを監視し、依存する処理をリリースする前に待機します。最大待機基準は、ファイルが完全に到着するまで依存するOozie処理を保持します — そのため、欠落または遅延した到着は、利用できないデータで下流処理を開始させるのではなく、制御された可視的な待機またはタイムアウトとして現れます。
ワークフローフェイル
Control-Mは、より広いワークフロー内でOozieジョブを追跡し、失敗後に依存するジョブが続行されるのを防ぐことができます。失敗点からの再実行は、失敗したアクションでワークフローを再起動するので、ワークフローの既に完了した部分は再実行されません。
プロパティドリフト
Control-Mは、ジョブプロパティファイルを使用してOozieワークフローを送信し、実行時に個々のプロパティ値を追加または上書きできます。チームは、すべての製造変種に対して別々のワークフロー定義を維持することなく、変化する入力をパラメータ化できます。
ツール間依存関係
Control-Mは、Hadoop処理をOozieワークフローの外のジョブと接続し、完全なビジネスプロセス全体にわたるスケジューリング基準と依存関係を適用します。下流のデータベース、ファイル転送、アプリケーション、または分析作業は、正しい上流の完了状態を待つことができます。
ワークフローの可視性
Oozie Extractorは定期的にOozieサーバーから一致するワークフローを取得し、そのアクションをControl-Mに提出されたジョブとしてプッシュします。オペレーションは、Oozieを孤立して監視するのではなく、周囲のエンタープライズワークフローと共にそれらのアクションへの集中した可視性を得ます。
Control-M + Oozie
|
ワークロードタイプ |
Oozieワークフロー · ワークフローアクション · Hadoopジョブ · Hiveジョブ · Sparkジョブ · MapReduceジョブ · HDFS処理 |
|
トリガータイプ |
時間スケジュール · 上流ジョブの完了 · HDFSファイルの到着 · 最小ファイルサイズ · Control-M依存関係 · ワークフローの提出 |
|
クロスツール依存 |
HDFSファイルウォッチャー · Hiveジョブ · Sparkジョブ · MapReduceジョブ · Sqoopジョブ · エンタープライズControl-Mジョブ · 下流配信 |
|
クラウドプラットフォーム |
Hadoopクラスタ · Linux Control-Mエージェント · Oozieサーバー · HDFS。 |
|
エラーハンドリング |
失敗点からの再実行 · プレコマンド失敗処理 · ポストコマンド失敗処理 · 依存関係ゲーティング · SLA監視 · 下流カスケード防止 |
|
スループット |
分散Hadoop処理 · スケジュールされたバッチパイプライン · 大規模データワークフロー · 並列Hadoopアクション · 中央で調整されたワークロード |
|
可観測性 |
Oozieエクストラクター · ワークフローアクションの可視性 · Control-Mモニタリングドメイン · ジョブ出力 · アクティビティログ · 実行統計 · SLA追跡 |
エンドツーエンドオーケストレーション
Control-Mは、Oozie、HDFS、Hive、Spark、MapReduce、Sqoop、およびエンタープライズアプリケーション全体のワークフローを単一のジョブフローで調整します — 依存関係の追跡、SLAの可視性、および自動回復をすべてのツールにわたって実現します。
|
Oozie |
ワークフローの提出 · プロパティのオーバーライド · 失敗ポイントの再実行 · ワークフロー抽出 |
|
HDFS |
ファイル監視 · 最小サイズ基準 · 待機タイムアウト · HDFSコマンド |
|
Hive |
スクリプト実行 · パラメータ · Hadoop依存関係 · 実行監視 |
|
Spark |
Python 実行 · Java/Scala 実行 · 依存関係 · 中央集権型スケジューリング |
|
MapReduce |
Java MapReduce 実行 · ストリーミングジョブ · 引数 · ワークフロー依存関係 |
|
Sqoop |
Sqoop コマンド実行 · データ移動オーケストレーション · アップストリーム/ダウンストリーム依存関係 |
|
エンタープライズワークフロー |
クロスプラットフォーム依存関係 · スケジューリング · SLA 管理 · 中央集中監視 |
エアフロー共存
AirflowはそのDAGを管理します。Control-Mはそれを囲むすべてを管理します。
エアフローは処理する
Control-Mは追加します
ワークフローを監視する
Oozie はそのワークフロー内で何が起こっているかを示しますが、データエンジニアリングチームはそれを取り巻くジョブについても可視性が必要です。Control-M は Oozie 実行を中央集権的な監視にアップストリームおよびダウンストリームのワークフローコンテキストを持って取り込みます:
Oozie ワークフローアクションの可視性
アップストリームおよびダウンストリーム依存関係
ジョブ出力と活動ログ
ランタイムおよび実行統計
エンドツーエンドワークフローステータス
SLA 保証
成功した Oozie ワークフローは、完全なデータパイプラインが時間通りに終了することを保証しません。Control-M は Hadoop 処理をエンタープライズスケジューリングおよび SLA 管理に接続し、チームが全ワークフローにわたる配信コミットメントを管理するのを助けます:
エンドツーエンド SLA トラッキング
クロスプラットフォーム依存関係制御
高度なスケジューリング基準
失敗に対する意識のあるダウンストリームゲーティング
中央集権的なプロダクション監視