ご要望またはご協力できることがございましたらお気軽にお問い合わせください
一般的なお問い合わせと所在地情報
お問い合わせ
Control-M + Sqoop
あなたの Sqoop ワークフローは、インポートまたはエクスポートコマンドが実行される前に始まります — そして、上流の何かが壊れたときに失敗する可能性があります。MySQL のソーステーブルは抽出の準備ができていません。Hive の変換が遅れ、エクスポートウィンドウを逃します。Control-M は、関係データの可用性、Hadoop の準備、Sqoop の実行、および下流処理の完全なチェーンを調整します。
一般的なワークフローの問題
これがあなたの週のように聞こえますか？
これは特殊なケースではありません。これらは、複数のツールでSqoopジョブを実行しているチームの通常の運用条件です。Control-Mがそれぞれどのように対処するかを以下に示します。
データベースの準備状況
あなたの午前2時のインポートが開始されます。MySQLのソーステーブルは準備ができていません。
Control-Mは、上流のデータベースプロセスが正常に完了するまでSqoopジョブを保持し、その後自動的にインポートを解放します。依存関係に基づく実行は、早期の抽出を防ぎ、不完全なリレーショナルデータがHDFSに伝播するのを防ぎます。
インポート失敗
Sqoopのインポートが途中で失敗します。下流のHive処理がキューに入っています。
Control-Mは、失敗したジョブの状態を検出し、定義された回復アクションを適用し、依存するHive処理が早期に開始されるのを防ぎます。オペレーションチームは、不良または不完全なデータが下流に連鎖するのを許可せずに失敗したステップを回復できます。
HDFSの準備
Sqoopコマンドが開始されるとき、ターゲットHDFSパスは準備ができていません。
Control-Mは、Sqoopジョブの前にHDFSのプレコマンドを実行でき、コマンドの失敗が実行を停止させるかどうかを制御します。準備、転送、クリーンアップは、緩く調整されたシェル操作ではなく、同じワークフロー内の管理されたステップになります。
エクスポートのタイミング
Hiveが遅れて終了します。あなたのデータベースエクスポートはまだ昨日の時計に従っています。
Control-Mは、Sqoopエクスポートを実際の上流の完了に依存させ、推定された開始時刻ではなく、データが準備できたときにエクスポートを開始します。これにより、下流のデータベース消費者が古いまたは不完全な結果から保護されます。
パイプラインSLA
Sqoopは正常に完了しました。エンドツーエンドのデータ配信はまだ遅れています。
Control-Mは、完全なビジネスワークフローの一部としてSqoopジョブを追跡し、上流および下流の依存関係を含みます。SLAの監視は、1つのジョブを超えた遅延リスクを明らかにし、チームが全体のデータ配信が締切に間に合わない前に介入するのを助けます。
Control-M + Sqoop
Control-M + Sqoop
|
workload.types |
Sqoop インポート · Sqoop エクスポート · 増分インポート · 自由形式クエリインポート · Hive インポート · HBase インポート · HDFS から RDBMS へのエクスポート |
|
trigger.type |
時間スケジュール · 上流ジョブの完了 · HDFS ファイルの到着 · Control-M イベント · API トリガーによるオーダー · 上流ジョブの終了状態 |
|
cross_tool.deps |
Hive ジョブ · Spark ジョブ · MapReduce ジョブ · HDFS ファイルウォッチャー · データベースプロセス · REST API コール · 下流分析ジョブ |
|
cloud.platforms |
Hadoop エッジノード · オンプレミス Hadoop · クラウドホスティング Hadoop · ハイブリッド環境 · Control-M SaaS · 自ホスト Control-M |
|
error_handling |
コマンド前の失敗制御 · コマンド後の失敗制御 · 設定可能な再実行 · 下流のカスケード防止 · ジョブ状態検出 · SLA アラート |
|
throughput |
並列バルク転送 · マッパー制御の並列性 · 増分インポート · 大規模な関係データセット · HDFS バッチ処理 · バルクデータベースエクスポート |
|
observability |
ジョブステータス監視 · ジョブ出力 · 実行履歴 · 依存関係の可視性 · SLA トラッキング · 中央集約型ワークフローモニタリング |
エンドツーエンドオーケストレーション
1つのプロダクションワークフロー。スタック内のすべてのツール。
Control-M は、Sqoop、Hadoop、HDFS、Hive、Spark、データベース、および分析サービス全体でワークフローを調整し、単一のジョブフローで依存関係のトラッキング、SLA の可視性、および自動回復を実現します。
- クロスツール依存関係：データベースロード → Sqoop インポート → Hive 変換 → 分析の引き渡し
- データ対応トリガー：HDFS ファイルの到着、上流の完了、Control-M イベント、ジョブの終了状態
|
Sqoop |
インポート/エクスポート実行 · コマンドオプション · ファイル/アーカイブ · HDFS の前/後コマンド |
|
HDFS |
ファイル監視 · 準備コマンド · ファイル依存関係 · 下流ハンドオフ |
|
Hive |
クエリ実行 · 変換依存関係 · 完了追跡 · 下流トリガー |
|
Spark |
処理実行 · 依存関係調整 · ステータス監視 · ワークフローハンドオフ |
|
リレーショナルデータベース |
ソース準備 · JDBC接続Sqoop転送 · 上流/下流依存関係 |
|
Control-M Automation API |
ジョブ定義 · デプロイメント · 順序付け · ワークフロー自動化 |
|
分析サービス |
下流依存関係 · スケジュールされたデリバリー · SLA調整 · 完了ハンドオフ |
パイプラインを監視
完全なデータパイプライン内でSqoopジョブを監視
Sqoopはデータ移動を実行しますが、そのコマンドレベルのビューでは、完全なクロスプラットフォームワークフローが成功裏に完了するかどうかは表示されません。Control-Mは、Sqoopと周囲の処理全体の実行と依存関係の可視性を集中化します：
-
Sqoop実行ステータス
-
ジョブ出力と実行履歴
-
上流および下流の依存関係
-
クロスプラットフォームワークフローステータス
-
エンドツーエンドSLAリスク
SLA保証
Sqoop依存データの配信をスケジュール通りに保つ
成功したSqoopコマンドは、ビジネスパイプラインがそのデリバリーウィンドウに合致することを保証するものではありません。Control-Mは、チームが遅延を特定し、重要なデータSLAを保護できるように、完全なワークフロー全体の依存関係とタイミングを追跡します：
-
エンドツーエンドSLA追跡
-
上流遅延の可視性
-
依存関係を考慮した実行
-
失敗駆動のカスケード防止
-
集中管理された運用アラート
ドキュメンテーション
複雑なワークフローに秩序をもたらす
Control-Mがチームにより大きな可視性、調整、および制御で複雑なプロセスをオーケストレーションするのに役立つ方法を学ぶ。
