一般的なお問い合わせと所在地情報
お問い合わせ一般的なワークフローの問題
HDFS データ到着
Control-Mは、必要なファイルがリリースされる前にPigジョブを待つためにHDFSファイルウォッチャー基準を使用します。処理は、任意の時計時間ではなく、期待されるHDFS入力が利用可能になったときに開始され、欠落データに対して早すぎる実行を防ぎます。
SQOOP · PIG
Control-Mは、SqoopインポートとPigスクリプトを依存ジョブとしてモデル化し、上流のジョブが成功裏に完了した後にのみPigをリリースします。処理シーケンスは、個別のスケジュールではなく、実際の実行状態に従い、不完全なインポートデータに対してPigが実行されるのを防ぎます。
HDFS コマンド失敗
Control-Mは、Pigスクリプトの前にHDFSコマンドを実行でき、FailJobOnCommandFailure設定を使用して、失敗した前コマンドがジョブを失敗させるべきかどうかを判断します。準備ロジックとスクリプト実行は1つの制御されたワークフロー内に留まり、必要なHDFS操作が完了しないときに下流の処理を停止します。
失敗回復
Control-Mは失敗したジョブの状態を検出し、回復条件が満たされるまで依存する処理が続行されないようにします。オペレーターはエンドツーエンドのワークフローの文脈で失敗を確認でき、失敗したPig変換が下流のデータ処理に波及するのを防ぎます。
SLA リスク
Control-Mはエンドツーエンドのサービス内でPigを追跡し、最終的な配信を決定する依存関係を監視します。SLA監視と予測遅延検出により、下流のハンドオフが目標を逃す前にリスクを明らかにし、運用チームに介入する時間を提供します。
Control-M + 豚
|
ワークロードタイプ |
Pig Latinスクリプト · Hadoopバッチ処理 · パラメータ化されたPigジョブ · HDFSデータ変換 |
|
トリガータイプ |
HDFSファイル到着(HDFSファイルウォッチャー) · 時間スケジュール · 上流ジョブの完了 · Control-Mイベント |
|
クロスツール依存関係 |
HDFSファイルウォッチャー · Sqoopジョブ · Hiveジョブ · MapReduceジョブ · 下流ファイル配信 |
|
クラウドプラットフォーム |
Hadoopクラスター · オンプレミスインフラ · ハイブリッド環境 · 自己ホスト型Control-M · Control-M SaaS(Hadoopプラグイン提供) |
|
エラーハンドリング |
設定可能な回復 · 上流失敗保持 · 下流カスケード防止 · 前コマンド失敗処理 · 後コマンド失敗処理 · SLAアラート |
|
スループット |
大規模バッチ処理 · 分散Hadoop実行 · 並列データ処理 · 大量のHDFSワークロード |
|
可観測性 |
ジョブ実行ステータス · ジョブ出力 · ワークフローモニタリング · 依存関係の可視性 · SLA追跡 · 歴史的実行記録 |
エンドツーエンドのオーケストレーション
Control-Mは、Pig、HDFS、Sqoop、Hive、ファイル転送、そしてクラウドサービス間でのワークフローを1つのジョブフローで調整します — 依存関係の追跡、SLAの可視性、そして自動回復を全てにわたって実施します。
|
豚 |
Pig Latinスクリプトの実行 · パラメータ化された処理 · ステータストラッキング |
|
HDFS |
ファイル到着の監視 · 前/後コマンド · データの準備 |
|
Sqoop |
インポート実行 · 依存関係の調整 · 完了の追跡 |
|
Hive |
ダウンストリーム実行 · 依存関係の調整 · 分析の引き渡し |
|
MapReduce |
分散ジョブ実行 · ステータス追跡 · ワークフロー依存関係 |
|
管理されたファイル転送 |
安全なファイル移動 · 到着監視 · 配信確認 |
airflow 共存
AirflowがそのDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。
エアフローが処理します
control-m 追加
パイプラインを監視
PigはHadoop内で変換を実行しますが、生産パイプラインは通常、追加のジョブ、ファイル、および処理ツールにまたがります。Control-Mは、データチームが実行の進行状況を確認し、パイプラインが待機または失敗している場所を特定できるように、これらの依存関係全体を集中管理するワークフロー監視を提供します:
Pigジョブ実行ステータス
アップストリームおよびダウンストリームの依存関係
ジョブ出力およびランタイム履歴
パイプラインの失敗と待機
エンドツーエンドのワークフローの可視性
SLA保証
成功したPigジョブは、完全なデータパイプラインが時間通りに終了することを保証するものではありません。Control-Mは、周囲のワークフローとそのサービスレベルの約束を追跡し、チームが遅延を特定し、ダウンストリームデータ消費者に影響を与える前に介入するのを助けます:
予測的SLA遅延検出
エンドツーエンドのサービス可視性
依存関係対応の実行
自動化された障害処理
集中管理された運用アラート