一般的なワークフローの問題

これがあなたの週のように聞こえますか?

これらはエッジケースではありません。これは複数のツールでSSISパッケージを実行しているチームの通常の運用条件です。Control-Mがそれぞれをどのように処理するかは次のとおりです。

データ到着

あなたの午前2時のSSISパッケージが開始されました。Azure Blobファイルが到着しませんでした。

Control-Mはファイルの到着をパッケージの実行と調整し、SSISワークロードが必要な上流の依存関係を待つようにします。下流の処理は前提条件が成功裏に完了するまでゲートされます。

パッケージ失敗

SSISパッケージが一晩で失敗しました。下流のレポートはすでにキューに入っています。

Control-Mは失敗したジョブ状態を検出し、定義された回復アクションを適用し、依存ジョブが早まって進行するのを防ぎます。オペレーションチームは、下流で壊れたレポートを発見するのではなく、完全なワークフローのコンテキストで失敗を確認します。

ツール間依存性

SQL処理が完了しました。あなたのSSISパッケージはまだそのスケジュールを待っています。

Control-MはSQL処理とSSIS実行を同じワークフロー内でモデル化し、切り離されたスケジュールではなく完了ステータスを使用して進行を制御します。パッケージは実際の前提条件が成功したときに開始され、不必要なタイミングのギャップを排除します。

環境調整

パッケージは準備完了です。誤ったSSIS環境が本番実行を妨げます。

Control-M SSISジョブは、パッケージ実行に使用されるSSISカタログ環境を指定でき、構成ファイルやパッケージプロパティを設定できます。チームはオーケストレーションを中央で制御しながら、正しい実行コンテキストを運用化できます。

SLAリスク

SSISは遅れて完了しました。あなたの午前7時の分析の引き渡しは現在リスクにさらされています。

Control-Mはエンドツーエンドのワークフロー内でSSISジョブを追跡し、依存処理全体にSLA管理を適用します。チームは最終納品がビジネスの締切を逃す前にタイミングリスクを特定し、影響を受けたチェーンの回復に焦点を当てることができます。

Control-M + SQL Server Integration Services (SSIS)

Control-M + SQL Server Integration Services (SSIS)

workload.types

SSIS パッケージ(SSIS カタログ、SSIS パッケージストア、SQL Server、またはファイルシステムソースから) · SQL スクリプト · ストアドプロシージャ

trigger.type

ファイル到着 · 上流ジョブの完了 · 時間スケジュール · SQL ジョブの完了 · ワークフローの依存関係

cross_tool.deps

SQL Server ジョブ · Azure Blob ファイル転送 · データベースクエリ · Apache Airflow DAG · 下流の分析引き渡し

cloud.platforms

Microsoft Azure · Azure SQL データベース · SQL Server · ハイブリッド環境 · オンプレミスインフラ

error_handling

構成可能な再試行 · 接続の再試行 · 下流のカスケード防止 · 依存関係条件 · SLA 監視 · 障害通知 · 回復アクション

throughput

エンタープライズバッチパイプライン · 同時データベース接続 · スケジュールされた ETL 処理 · マルチパッケージワークフロー · 大容量データ処理

observability

集中管理されたジョブモニタリング · ワークフローステータス · 依存関係の可視性 · SLA トラッキング · 実行履歴 · 障害アラート · 監査の可視性

エンドツーエンドオーケストレーション

1つのプロダクションワークフロー。スタック内のすべてのツール。

Control-M は、SQL Server Integration Services、SQL Server、Azure Blob Storage、ファイル転送、および分析サービスのワークフローを単一のジョブフローで調整し、Apache Airflow と連携して依存関係の追跡、SLA の可視性、および自動回復を行います。

  • クロスツール依存関係: Azure Blob Storage → SQL Server → SSIS パッケージ → 分析の引き渡し
  • データ認識トリガー: ファイル到着、API イベント、SQL ジョブ完了、パッケージ完了

SQL Server Integration Services 

パッケージ実行 · SSIS カタログ環境 · 構成ファイル · パッケージプロパティ · ステータス監視

SQL Server 

SQLスクリプト·ストアドプロシージャ·SQL Serverエージェントジョブ·依存関係調整

Azure Blob Storage 

ファイル到着依存関係·上流データ引き渡し·ワークフロートリガー

Apache Airflow 

DAG調整·クロスツール依存関係·上流/下流オーケストレーション

Managed File Transfer 

安全なファイル移動·到着検出·配信確認

Analytics services 

下流トリガー·依存関係ゲーティング·SLA調整

airflowの共存

Control-MはあなたのAirflow DAGを置き換えません。それはそれらの上の層を実行します。

反論は一般的です:「私たちはすでにAirflowを使用しています。」問題はAirflowが何をするかではなく、Airflowが実行される前後に何が起こるかです。そこが実際にパイプラインが失敗する場所です。

AirflowはそのDAGを管理します。Control-Mはそれを取り巻くすべてを管理します。

airflowは処理

データパイプライン内のDAGレベルのオーケストレーション

  • DAGレベルのタスクオーケストレーションデータパイプライン内
  • Pythonオペレーター、センサー、およびタスクの依存関係
  • パイプライン内で実行されるジョブの実行グラフ
  • 単一DAGコンテキスト内での再試行を管理

control-mは追加

あなたのDAGの周りの調整層

  • DAGの周りの調整層 — 上流の条件(ファイル到着、APIイベント、他のツールの完了)に基づいてAirflowをトリガー
  • 各DAGのSLA貢献度をエンドツーエンドのワークフロー全体で追跡し、自身のルーチンだけでなく
  • Airflowが開始される前に上流の依存関係が失敗した場合の障害回復を管理
  • 既存のDAGは書き換えたり移行したりする必要はない
未定

パイプラインを監視する

完全なデータパイプラインを通じてSSIS実行を監視する

SSISロギング(SSISDBカタログなど)は詳細なパッケージ実行を記録しますが、プロダクションパイプラインはSSISで停止することはほとんどありません。Control-MはデータチームにSSISパッケージと、配信が成功するかどうかを決定する上流および下流のジョブにわたって集中した運用可視性を提供します:

  • SSISパッケージ実行状況

  • 上流および下流の依存関係

  • エンドツーエンドのワークフロー可視性

  • 集中型の失敗監視

  • 実行およびランタイム履歴

未定

SLA保証

SSISパイプラインをビジネスの締切に合わせて調整する

成功したSSISパッケージは、上流データが遅れて到着したり、下流処理が停止したりすると、遅いビジネス成果を生む可能性があります。Control-Mは、チームが配信のコミットメントを保護できるように、完全なサービスワークフロー内でパッケージを管理します:

  • エンドツーエンドのSLA追跡

  • 依存関係を考慮した実行

  • SLAリスクの可視性

  • 自動回復アクション

  • 下流のカスケード防止

複雑なワークフローに秩序をもたらす

Control-Mがチームにどのように複雑なプロセスをオーケストレーションするのか、より大きな可視性、調整、制御をもたらすのかを学ぶ。