一般的なワークフローの問題

これがあなたの週に聞こえますか?

これらはエッジケースではありません。Pigパイプラインを複数のツールで実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかをご覧ください。

HDFS データ到着

あなたのPigスクリプトは準備完了です。HDFSパーティションはまだ準備ができていません。

Control-Mは、必要なファイルがリリースされる前にPigジョブを待つためにHDFSファイルウォッチャー基準を使用します。処理は、任意の時計時間ではなく、期待されるHDFS入力が利用可能になったときに開始され、欠落データに対して早すぎる実行を防ぎます。

SQOOP · PIG

Sqoopインポートが遅れました。Pigは取り込みが完了する前に開始しました。

Control-Mは、SqoopインポートとPigスクリプトを依存ジョブとしてモデル化し、上流のジョブが成功裏に完了した後にのみPigをリリースします。処理シーケンスは、個別のスケジュールではなく、実際の実行状態に従い、不完全なインポートデータに対してPigが実行されるのを防ぎます。

HDFS コマンド失敗

あなたの入力が到着しました。HDFS準備コマンドはPigが実行される前に失敗しました。

Control-Mは、Pigスクリプトの前にHDFSコマンドを実行でき、FailJobOnCommandFailure設定を使用して、失敗した前コマンドがジョブを失敗させるべきかどうかを判断します。準備ロジックとスクリプト実行は1つの制御されたワークフロー内に留まり、必要なHDFS操作が完了しないときに下流の処理を停止します。

失敗回復

Pigジョブは一晩中失敗しました。下流のHive処理はまだ待機しています。

Control-Mは失敗したジョブの状態を検出し、回復条件が満たされるまで依存する処理が続行されないようにします。オペレーターはエンドツーエンドのワークフローの文脈で失敗を確認でき、失敗したPig変換が下流のデータ処理に波及するのを防ぎます。

SLA リスク

Pigは成功裏に完了しました。午前6時の分析ハンドオフはまだ遅れています。

Control-Mはエンドツーエンドのサービス内でPigを追跡し、最終的な配信を決定する依存関係を監視します。SLA監視と予測遅延検出により、下流のハンドオフが目標を逃す前にリスクを明らかにし、運用チームに介入する時間を提供します。

Control-M + 豚

Control-M + 豚

ワークロードタイプ

Pig Latinスクリプト · Hadoopバッチ処理 · パラメータ化されたPigジョブ · HDFSデータ変換

トリガータイプ

HDFSファイル到着(HDFSファイルウォッチャー) · 時間スケジュール · 上流ジョブの完了 · Control-Mイベント

クロスツール依存関係

HDFSファイルウォッチャー · Sqoopジョブ · Hiveジョブ · MapReduceジョブ · 下流ファイル配信

クラウドプラットフォーム

Hadoopクラスター · オンプレミスインフラ · ハイブリッド環境 · 自己ホスト型Control-M · Control-M SaaS(Hadoopプラグイン提供)

エラーハンドリング

設定可能な回復 · 上流失敗保持 · 下流カスケード防止 · 前コマンド失敗処理 · 後コマンド失敗処理 · SLAアラート

スループット

大規模バッチ処理 · 分散Hadoop実行 · 並列データ処理 · 大量のHDFSワークロード

可観測性

ジョブ実行ステータス · ジョブ出力 · ワークフローモニタリング · 依存関係の可視性 · SLA追跡 · 歴史的実行記録

エンドツーエンドのオーケストレーション

1つの生産ワークフロー。スタック内のすべてのツール。

Control-Mは、Pig、HDFS、Sqoop、Hive、ファイル転送、そしてクラウドサービス間でのワークフローを1つのジョブフローで調整します — 依存関係の追跡、SLAの可視性、そして自動回復を全てにわたって実施します。

  • クロスツール依存関係: HDFSファイルウォッチャー → Sqoopインポート → Pigスクリプト → Hive分析ハンドオフ
  • データに基づくトリガー: HDFSファイル到着、上流ジョブの完了、APIイベント、ファイル配信

豚

Pig Latinスクリプトの実行 · パラメータ化された処理 · ステータストラッキング

HDFS 

ファイル到着の監視 · 前/後コマンド · データの準備

Sqoop

インポート実行 · 依存関係の調整 · 完了の追跡

Hive

ダウンストリーム実行 · 依存関係の調整 · 分析の引き渡し

MapReduce 

分散ジョブ実行 · ステータス追跡 · ワークフロー依存関係

管理されたファイル転送 

安全なファイル移動 · 到着監視 · 配信確認

airflow 共存

Control-MはあなたのAirflow DAGを置き換えません。それはそれらの上にあるレイヤーを実行します。

一般的な反論があります:「私たちはすでにAirflowを使用しています。」問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。ここでパイプラインが実際に失敗します。

AirflowがそのDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。

エアフローが処理します

データパイプライン内のDAGレベルのオーケストレーション

  • データパイプライン内でのDAGレベルのタスクオーケストレーション
  • Pythonオペレーター、センサー、およびタスクの依存関係
  • パイプライン内で実行されるジョブの実行グラフ
  • 単一のDAGコンテキスト内での再試行を管理

control-m 追加

あなたのDAGの周りの調整レイヤー

  • DAGの周りの調整レイヤー — 上流の条件(ファイル到着、APIイベント、他のツールの完了)に基づいてAirflowをトリガーします。
  • 各DAGのSLA貢献を、単独のルーチンだけでなく、エンドツーエンドのワークフロー全体で追跡します。
  • Airflowが開始する前に上流の依存関係が失敗した場合の失敗回復を管理します。
  • 既存のDAGを再記述または移行する必要はありません。
未定

パイプラインを監視

1か所でPigジョブと依存関係を監視します。

PigはHadoop内で変換を実行しますが、生産パイプラインは通常、追加のジョブ、ファイル、および処理ツールにまたがります。Control-Mは、データチームが実行の進行状況を確認し、パイプラインが待機または失敗している場所を特定できるように、これらの依存関係全体を集中管理するワークフロー監視を提供します:

  • Pigジョブ実行ステータス

  • アップストリームおよびダウンストリームの依存関係

  • ジョブ出力およびランタイム履歴

  • パイプラインの失敗と待機

  • エンドツーエンドのワークフローの可視性

未定

SLA保証

Pig駆動のデータパイプラインをスケジュール通りに保つ。

成功したPigジョブは、完全なデータパイプラインが時間通りに終了することを保証するものではありません。Control-Mは、周囲のワークフローとそのサービスレベルの約束を追跡し、チームが遅延を特定し、ダウンストリームデータ消費者に影響を与える前に介入するのを助けます:

  • 予測的SLA遅延検出

  • エンドツーエンドのサービス可視性

  • 依存関係対応の実行

  • 自動化された障害処理

  • 集中管理された運用アラート

複雑なワークフローに秩序をもたらす

Control-Mがチームにより大きな可視性、調整、制御で複雑なプロセスをオーケストレーションするのをどのように助けるかを学ぶ。