Control-M + Hadoop HDFS

あなたのHadoop HDFSワークフローは、HDFSコマンドやファイルウォッチャーが実行される前に始まり、上流で何かが壊れると失敗する可能性があります。Sqoopインポートは、期待されるHDFSデータセットを書き込みません。Hive変換が遅れて終了し、下流の処理ウィンドウを逃します。Control-Mは、ソースデータの到着、Hive変換、HDFS実行、下流の配信を調整します。

あなたのパイプラインでの様子を見る統合の事実を見る

一般的なワークフローの問題

これがあなたの週のように聞こえますか？

これはエッジケースではありません。これは、複数のツールでHadoop HDFSパイプラインを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかを見てみましょう。

ファイル到着

HDFSファイルは午前2時に到着しましたが、まだ不完全です。

Control-M HDFSファイルウォッチャーは、指定されたHDFSパスを監視し、ファイルが定義された最小サイズに達するまで待機します。ファイルが到着したがサイズ基準が満たされていない場合、ジョブは監視を続け、部分的なデータが次のパイプラインステージに入るのを防ぎます。

HDFSコマンド失敗

HDFSの取得に失敗しました。下流の処理はすでに開始される予定です。

Control-MはHDFSコマンドを管理されたジョブとして実行し、その完了状態をキャプチャします。依存関係により、失敗したコマンドの後に下流のジョブが進行することを防ぎ、HDFSのアクセスや転送の問題がワークフロー全体に波及するのを防ぎます。

クロスクラスターコピー

昨日のDistCp転送は長引きました。今日の分析ウィンドウは閉じつつあります。

Control-MはDistCpを同じ生産ワークフローの一部としてスケジュールし、依存する処理が始まる前にその完了を追跡し、ジョブ周辺にControl-MのスケジューリングおよびSLA制御を適用します。これにより、大規模なクラスタ間のコピーが長時間実行される際の手動調整が削減されます。

HIVE · HDFS

あなたのHiveジョブは完了しました。HDFSの配信ステップは開始されませんでした。

Control-MはHive処理とHDFS操作を一つの依存関係チェーン内でモデル化します。Hiveジョブが必要な完了状態に達すると、Control-Mは別のcronスケジュールや手動の引き渡しなしに、依存するHDFSステップを解放できます。

SLAリスク

HDFS処理が遅れています。ビジネスの締切は動いていません。

Control-MはHadoopジョブをそのエンタープライズスケジューリング環境に取り込み、周囲にSLAジョブを有効にします。チームは孤立したファイルシステムタスクをトラブルシューティングするのではなく、エンドツーエンドのワークフローの文脈でHDFSステージを管理できます。

統合の事実