一般的なワークフローの問題

これはあなたの週のように聞こえますか?

これらはエッジケースではありません。これらは、複数のツールでOozieワークフローを実行しているチームのための通常の運用条件です。Control-Mがそれぞれをどのように処理するかは以下の通りです。

遅延HDFSデータ

あなたの2:00 AMワークフローは準備ができています。HDFSデータセットはありません。

Control-Mは、必要なファイルと最小サイズのためにHDFSを監視し、依存する処理をリリースする前に待機します。最大待機基準は、ファイルが完全に到着するまで依存するOozie処理を保持します — そのため、欠落または遅延した到着は、利用できないデータで下流処理を開始させるのではなく、制御された可視的な待機またはタイムアウトとして現れます。

ワークフローフェイル

Oozieアクションが失敗しました。すべての下流はまだそれに依存しています。

Control-Mは、より広いワークフロー内でOozieジョブを追跡し、失敗後に依存するジョブが続行されるのを防ぐことができます。失敗点からの再実行は、失敗したアクションでワークフローを再起動するので、ワークフローの既に完了した部分は再実行されません。

プロパティドリフト

昨日のプロパティは機能しました。今日の入力パスには異なる値が必要です。

Control-Mは、ジョブプロパティファイルを使用してOozieワークフローを送信し、実行時に個々のプロパティ値を追加または上書きできます。チームは、すべての製造変種に対して別々のワークフロー定義を維持することなく、変化する入力をパラメータ化できます。

ツール間依存関係

Oozieは正常に完了しました。エンタープライズワークフローはまだ3つのステップが残っています。

Control-Mは、Hadoop処理をOozieワークフローの外のジョブと接続し、完全なビジネスプロセス全体にわたるスケジューリング基準と依存関係を適用します。下流のデータベース、ファイル転送、アプリケーション、または分析作業は、正しい上流の完了状態を待つことができます。

ワークフローの可視性

Oozieワークフローが実行中です。オペレーションは今、アクションレベルの可視性が必要です。

Oozie Extractorは定期的にOozieサーバーから一致するワークフローを取得し、そのアクションをControl-Mに提出されたジョブとしてプッシュします。オペレーションは、Oozieを孤立して監視するのではなく、周囲のエンタープライズワークフローと共にそれらのアクションへの集中した可視性を得ます。

Control-M + Oozie

Control-M + Oozie

ワークロードタイプ

Oozieワークフロー · ワークフローアクション · Hadoopジョブ · Hiveジョブ · Sparkジョブ · MapReduceジョブ · HDFS処理

トリガータイプ

時間スケジュール · 上流ジョブの完了 · HDFSファイルの到着 · 最小ファイルサイズ · Control-M依存関係 · ワークフローの提出

クロスツール依存

HDFSファイルウォッチャー · Hiveジョブ · Sparkジョブ · MapReduceジョブ · Sqoopジョブ · エンタープライズControl-Mジョブ · 下流配信

クラウドプラットフォーム

Hadoopクラスタ · Linux Control-Mエージェント · Oozieサーバー · HDFS。

エラーハンドリング

失敗点からの再実行 · プレコマンド失敗処理 · ポストコマンド失敗処理 · 依存関係ゲーティング · SLA監視 · 下流カスケード防止

スループット

分散Hadoop処理 · スケジュールされたバッチパイプライン · 大規模データワークフロー · 並列Hadoopアクション · 中央で調整されたワークロード

可観測性

Oozieエクストラクター · ワークフローアクションの可視性 · Control-Mモニタリングドメイン · ジョブ出力 · アクティビティログ · 実行統計 · SLA追跡

エンドツーエンドオーケストレーション

一つのプロダクションワークフロー。スタック内の全ツール。

Control-Mは、Oozie、HDFS、Hive、Spark、MapReduce、Sqoop、およびエンタープライズアプリケーション全体のワークフローを単一のジョブフローで調整します — 依存関係の追跡、SLAの可視性、および自動回復をすべてのツールにわたって実現します。

  • クロスツール依存: HDFS到着 → Hive変換 → Oozieワークフロー → 下流分析
  • データ認識トリガー: HDFSファイル到着、最小ファイルサイズ、上流完了、時間スケジュール

Oozie 

ワークフローの提出 · プロパティのオーバーライド · 失敗ポイントの再実行 · ワークフロー抽出

HDFS

ファイル監視 · 最小サイズ基準 · 待機タイムアウト · HDFSコマンド

Hive 

スクリプト実行 · パラメータ · Hadoop依存関係 · 実行監視

Spark

Python 実行 · Java/Scala 実行 · 依存関係 · 中央集権型スケジューリング

MapReduce

Java MapReduce 実行 · ストリーミングジョブ · 引数 · ワークフロー依存関係

Sqoop 

Sqoop コマンド実行 · データ移動オーケストレーション · アップストリーム/ダウンストリーム依存関係

エンタープライズワークフロー 

クロスプラットフォーム依存関係 · スケジューリング · SLA 管理 · 中央集中監視

エアフロー共存

Control-MはあなたのAirflow DAGを置き換えるものではありません。それはその上のレイヤーを実行します。

一般的な異議があります:"私たちはすでにAirflowを使用しています。" 問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。パイプラインが実際に失敗するのはその部分です。

AirflowはそのDAGを管理します。Control-Mはそれを囲むすべてを管理します。

エアフローは処理する

データパイプライン内のDAGレベルのオーケストレーション

  • データパイプライン内での DAG レベルのタスクオーケストレーション
  • Python オペレーター、センサー、およびタスク依存関係
  • パイプライン内で実行されるジョブの実行グラフ
  • 単一の DAG コンテキスト内でのリトライを管理

Control-Mは追加します

あなたのDAGの周りの調整レイヤー

  • DAGを中心とした調整レイヤー — 上流の条件(ファイルの到着、APIイベント、他のツールの完了)に基づいてAirflowをトリガーします。
  • 自分のルーチンだけでなく、エンドツーエンドのワークフロー全体にわたる各DAGのSLA貢献を追跡します。
  • Airflowが開始する前に上流の依存関係が失敗した際の障害回復を管理します。
  • 既存のDAGは書き換えたり移行したりする必要はありません。
tbd

ワークフローを監視する

Oozie ワークフローをより広いプロダクションパイプラインで確認する。

Oozie はそのワークフロー内で何が起こっているかを示しますが、データエンジニアリングチームはそれを取り巻くジョブについても可視性が必要です。Control-M は Oozie 実行を中央集権的な監視にアップストリームおよびダウンストリームのワークフローコンテキストを持って取り込みます:

  • Oozie ワークフローアクションの可視性

  • アップストリームおよびダウンストリーム依存関係

  • ジョブ出力と活動ログ

  • ランタイムおよび実行統計

  • エンドツーエンドワークフローステータス

TBD

SLA 保証

Oozie パイプラインをエンドツーエンド SLA に対して管理する

成功した Oozie ワークフローは、完全なデータパイプラインが時間通りに終了することを保証しません。Control-M は Hadoop 処理をエンタープライズスケジューリングおよび SLA 管理に接続し、チームが全ワークフローにわたる配信コミットメントを管理するのを助けます:

  • エンドツーエンド SLA トラッキング

  • クロスプラットフォーム依存関係制御

  • 高度なスケジューリング基準

  • 失敗に対する意識のあるダウンストリームゲーティング

  • 中央集権的なプロダクション監視

複雑なワークフローに秩序をもたらす

Control-M がチームにどのように複雑なプロセスをより高い可視性、調整、制御を持ってオーケストレーションするかを学ぶ。