Control-M + Matillion

あなたのMatillionワークフローはオーケストレーションパイプラインが実行される前に始まり、上流で何かが壊れると失敗する可能性があります。Amazon S3オブジェクトが遅れて到着します。Fivetranの同期が予定通りに完了しません。Control-Mは、ソースデータの到着、上流のインジェクション、Matillionの実行、そして下流の倉庫への配信をオーケストレーションします。

あなたのパイプラインでそれを見る統合事実を見る

一般的なワークフローの問題

これがあなたの週のように聞こえますか？

これは特殊なケースではありません。これらは、複数のツールでMatillionパイプラインを実行しているチームにとっての通常の運用条件です。Control-Mがそれぞれの問題に対応する方法は次のとおりです。

遅延データ到着

あなたの午前2時のS3データは遅れています。Matillionはすでにスケジュールされています。

Control-Mは、孤立したクロックではなく、必要な上流データに基づいてMatillionの実行を依存させます。パイプラインはその前提条件が完了した後にのみ開始され、不完全なデータが変換や下流のデータウェアハウスの作業に移動するのを防ぎます。

パイプラインの失敗

Matillionは正常に開始されました。15分後、パイプラインが失敗します。

Control-Mは、設定可能な頻度でMatillionの実行状況をポーリングし、ジョブを「Not OK」とマークする前に失敗耐性を適用します。下流の依存関係はワークフローによって制御され、失敗したMatillionの実行が静かに悪い結果を広めることを防ぎます。

ツール間の依存関係

Fivetranが遅れて完了します。あなたのMatillionパイプラインはまだ待っています。

Control-Mは、上流のジョブとMatillionの実行を1つのスケジューリング環境で依存関係として調整します。成功の完了は次のステージを自動的に解放し、切り離されたスケジュールと手動の引き渡しを明示的な本番ワークフローに置き換えます。

ステータスチェック

パイプラインが実行中です。あなたのチームはMatillionの完了を確認し続けています。

Control-Mは、設定可能なステータスポーリングを使用してMatillionパイプラインの状態を追跡します。完了はより広いControl-Mワークフローステートの一部となり、依存処理がオペレーターがMatillionコンソールを繰り返し確認することなく続行できるようにします。

クラウド · オンプレミス

Matillionがクラウドで完了します。オンプレミスプロセスが結果を必要としています。

Control-Mは、企業のワークフロー内の他のジョブとMatillionを調整し、完了がプラットフォームの境界を越えて何が次に実行されるかを支配できるようにします。データチームは、別々のスケジューラや引き渡しをつなぎ合わせるのではなく、1つの生産フローとして依存関係を管理します。

統合事実