ポイント: ETLはその複雑さと高コストによりメインフレームデータ移行には不適切であり、現代のニーズに対して非効率的です。生データを最初にロードするELTは、特にクラウド環境での柔軟性と効率を提供します。
- ETLは非構造化データに苦しみ、高い処理コストを負担します。
- ELTは柔軟性を高め、クラウドベースのデータ戦略をより効果的にサポートします。
ETL（抽出、変換、ロード）は、メインフレームデータ移行には不適切なアプローチです。なぜなら、ETLは構造化されたデータベースからデータベースへの転送用に設計されており、現代のメインフレーム環境が必要とする柔軟でクラウド対応のデータ移動には適していないからです。ETLの複雑さ、労働要求、処理コスト、そして非構造化データを処理する能力の欠如は、今日のメインフレームデータ移行を追求する組織にとって不適切です。一方、ELT（抽出、ロード、変換）は、まず生データを目的地に移動し、そこで変換を行うため、メインフレームの近代化がどのように機能するかにより適しています。
変化は良いことです—これはよく知られたマントラですが、常に実践するのは簡単ではありません。データ処理の新しい方法に移行する際、メインフレーム組織は、企業全体の保険ポリシー（頑丈で信頼性が高く、リスク回避型）を提供することでその地位を確立してきたため、自然と新しい概念である抽出、ロード、変換（ELT）には慎重になります。
ETL（抽出、変換、ロード）に対する軽量で迅速な代替手段として位置付けられるELTは、確かに注目を集めます。そして、その注目は価値があります。
SearchDataManagement.comによると、ELTは「生データをソースサーバーからデータシステム（データウェアハウスやデータレイクなど）に転送し、その後、下流での使用に備えて情報を準備するためのデータ統合プロセス」と定義されています。対照的に、別のソースはETLを「データを1つのデータベースから引き出して別のデータベースに配置するために組み合わされた3つのデータベース機能」と定義しています。
重要な機能の違いは、ETLがデータベース間の転送に専念しているのに対し、ELTはオープンエンドで柔軟であるということです。メインフレームの世界では、ETLはより限定された焦点を持つツールであり、ELTは未来を後押しすることに焦点を当てています。
なぜETLはメインフレームデータ移行に失敗するのか？
ETLは複雑さ、労働集約性、処理のボトルネック、構造の硬直性、高い処理コストという5つの重要な次元で不足しています。それぞれを詳しく見てみましょう。
1. ETLは複雑すぎる
ETLは、現在求められているすべてのタスクを処理するために元々設計されたわけではありません。初期の頃、ETLはしばしば1つのリレーショナル構造からデータを抽出し、異なるリレーショナル構造に適合させるために使用されていました—データをクレンジングすることを含めて。
たとえば、従来のリレーショナルデータベース管理システム（RDBMS）は、数値データを期待しているところにアルファデータがある場合や、古い住所の略語が存在する場合に混乱することがあります。ETLはそのような手間のかかるフィールドごとのデータチェック、「クリーン」、そして移動に最適化されています—しかし、Hadoopデータベースや現代のデータレイクのフィードには適していません。ETLは、データがどのように発生し、今日どのように使用できるかのすべての方法を活用するために発明されたわけではありません。
2. ETLは労働集約的
ETLプロセスは変換を中心に構築されているため、すべてはその変換ステップのタイムリーな完了に依存しています。大量のデータが関わる場合—ビッグデータを考えてください—必要な変換時間は不便または実用的でなくなることがあり、ETLは機能的かつ計算上のボトルネックになります。
3. ETLは構造を要求する
ETLプロセスは変換を中心に構築されているため、すべてはその変換ステップのタイムリーな完了に依存しています。大量のデータが関わる場合—ビッグデータを考えてください—必要な変換時間は不便または実用的でなくなることがあり、ETLは機能的かつ計算上のボトルネックになります。
4. ETLは構造を要求する
ETLは非構造化データの処理には設計されておらず、それを処理するよう求められると複雑さを増すことがあり、価値を追加することはありません。ETLは従来のデータベースには最適に機能しますが、今日の組織が処理する必要がある非構造化データの大波にはあまり役立ちません。
5. ETLは高い処理コストを持つ
ETLはメインフレームにとって特に困難です。なぜなら、メインフレームのワークロードは一般的にMSU（百万サービスユニット）処理料金を負担しなければならないからです—リアルタイムワークロードを同時に処理する必要があるシステムに負担をかけます。それに対して、ELTは主に内蔵のzIIPエンジンの機能を使用して実行でき、MSUコストを削減し、追加の処理は選択したクラウドの宛先で処理されます。ETLの高い処理コストに対応するために、多くの組織はすでにデータ変換段階をクラウドに移動して、分析ワークロードおよびデータレイクの作成を支援しています。
なぜELTがメインフレーム組織にとってより良い道であるのか？
ETLとELTの間の決定を単純化するのは誤りです—考慮すべき動く部品と決定ポイントが多すぎるからです。しかし、重要な洞察はこれです：ELTは、ETLが決して対応するために構築されなかった進化するITパラダイムに語りかけています。
ELTは、大量のデータをクラウドに移動するのに最適です—通常、すべての利用可能なデータを取り込むために構築されたデータレイクに。これが、ELTが成長し、特にメインフレーム環境に浸透している理由です。ELTは、メインフレームデータをクラウドに大規模に移動するための最良の道を示しており、IT組織が近代化を目指し、既存の投資の価値を最大化するための重要なツールとなっています。
よくある質問
ETLとは何ですか、そしてなぜメインフレーム環境で使用されてきたのですか？
ETL（抽出、変換、ロード）は、ソースからデータを引き出し、ターゲットスキーマに合わせて変換し、目的のデータベースにロードするデータ統合方法です。メインフレームは、クラウドやビッグデータワークロードが標準となる前に支配的だった構造化されたRDBMSからRDBMSへのデータ移動に適していたため、歴史的にETLに依存してきました。
ETLとELTの違いは何ですか？
ETLは、データを目的のシステムにロードする前に変換します。ELTは、生データを最初に目的地にロードし、そこで変換を行います。ELTは、目的のシステムの処理能力を活用します。ELTは、ETLよりも柔軟で、現代のクラウド環境やデータレイクにより適しています。
なぜETLはメインフレームデータ移行のボトルネックになるのか？
ETLは、すべての変換が完了するまでデータを目的地に移動できません。現代のメインフレームデータボリュームの規模では、この逐次的な変換への依存が遅延を引き起こし、ETLを実用的ではなくします。ELTは、ロードと変換のステップを完全に分離することでボトルネックを回避します。
zIIPエンジンとは何ですか、そしてどのようにメインフレームの処理コストを削減するのですか？
zIIP（IBM Z統合情報プロセッサ）は、IBMのメインフレーム上で、一般的なプロセッサから適格なワークロードをオフロードするように設計された特別なエンジンで、MSU料金を削減します。ELTワークロードは、しばしばzIIP処理の対象となり、メインフレームデータ移行プロジェクトにおいてETLよりもコスト効率が大幅に向上します。
ETLがELTよりも適しているのはいつですか？
ETLは、スキーマの整合性とデータ品質の変換がデータが目的地に到達する前に行われる必要がある構造化されたデータベース間の移行に適しています—特に、データボリュームが管理可能で、ターゲットシステムが事前に変換されたデータを必要とする場合。大規模なクラウド行きのメインフレーム近代化においては、ELTが一般的にはより良い選択です。
この投稿に表現された見解や意見は著者のものであり、BMCの公式な立場を必ずしも反映するものではありません。
これらの投稿は私自身の見解であり、必ずしもBMCの立場、戦略、または意見を表すものではありません。