Control-M + インパラ

あなたのImpalaワークフローは、SQLクエリが実行される前から始まります。上流で何かが壊れると失敗する可能性があります。HDFSデータファイルが遅れて到着したり、期待されるサイズを下回ることがあります。Spark変換が分析ウィンドウの後に完了します。Control-Mは、HDFSデータの到着、Spark変換、Impalaクエリの実行、および下流の分析配信を調整します。Control-M for Hadoopプラグインを使用しています。

あなたのようなパイプラインでそれを確認する統合事実を表示

一般的なワークフローの問題

これがあなたの週のように聞こえますか？

これはエッジケースではありません。これは、複数のツールでインパラクエリを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかは以下の通りです。

遅延HDFSデータ

あなたの6:00 AMインパラクエリが開始されました。昨日のHDFSパーティションはまだ到着していません。

Control-Mは、必要なファイルと最小サイズを待つためにHDFSファイルウォッチャーの基準を使用します。クエリは、スケジュール通りに不完全な入力で開始するのではなく、準備が整ったデータに対して実行されます。

SPARK · IMPALA

あなたのSpark変換が遅れて終了しました。インパラのクエリウィンドウはすでに過ぎています。

Control-Mは、Sparkの完了をワークフロー依存関係を通じてインパラの実行に直接リンクします。Sparkが成功裏に終了すると、下流のインパラジョブが実行可能になり、切り離されたスケジュールを排除し、不必要な待機を減らします。

クエリ失敗

インパラSQLが失敗しました。下流の分析ジョブはまだ実行待ちです。

Control-Mは失敗したジョブの状態を検出し、依存するワークフローステップが進行するのを防ぎます。回復アクションと再実行ロジックは、下流の処理が再開される前に適用でき、失敗を封じ込め、不完全な結果を広げることを防ぎます。

HIVE · IMPALA

Hiveがデータを変更しました。あなたのインパラレポーティングクエリが早すぎて実行されました。

Control-Mは、同じ生産ワークフロー内でHiveとインパラのジョブを調整し、クエリ実行の前に完了依存関係を強制します。分析ステップは、その上流処理が完了した後にのみ実行され、緩く調整されたスケジュールを明示的なワークフローの順序に置き換えます。

SLAリスク

長時間実行されるインパラクエリが朝の分析引き渡しを危険にさらしています。

Control-Mは、インパラのジョブを完全なビジネスワークフローの一部として追跡し、依存するステップ全体にわたってSLAモニタリングを適用します。チームは最終的な納品が遅れる前に締切リスクを特定し、遅延の発生源に介入できます。

統合事実