ポイント: Hadoopは、大規模データセットを処理することによってビジネスの意思決定を強化し、構造化データと非構造化データの包括的な分析を可能にします。主な利点には、データの利用の改善、コモディティハードウェア上でのコスト効果の高い運用、およびIoTイニシアチブのサポートが含まれます。
- Hadoopは、リアルタイムの意思決定と予測分析を可能にします。
- アウトソーシングなしで社内で高度なデータ分析を行えます。
Hadoopを使用する利点
Hadoopは、組織が複数の変数とデータセットの包括的な分析に基づいて意思決定を行うのを助けます。大規模な異なるデータセットを処理する能力により、Hadoopユーザーは顧客、業務、機会、リスクなどのより包括的な見通しを得ることができます。ビッグデータなしで同様の視点を開発するには、組織は複数の限られたデータ分析を行い、その結果を合成する方法を見つける必要があり、そのためには多くの手作業と主観的な分析が必要になるでしょう。
Hadoopを使用する他の利点は以下の通りです:
- 高度なデータ分析を社内で行える – Hadoopは、大規模なデータセットで作業し、結果をカスタマイズすることを実用的にします。業務を社内で維持することは、組織がより敏捷になるのを助け、同時にアウトソーシングの継続的な運用コストを回避します。
- 組織はデータを完全に活用できる – Hadoopを使用しない別の選択肢は、ビジネス活動を支えるために利用可能なすべてのデータや入力を単に使用しないことです。Hadoopを使用することで、組織は構造化データと非構造化データ、リアルタイムデータと履歴データのすべてのデータを最大限に活用できます。活用することはデータ自体にさらなる価値を加え、データを収集、処理、保存するために使用されるレガシーシステムの投資収益率（ROI）を改善します。
- コモディティとカスタムアーキテクチャの運用 – 今日、Hadoopが使用されているタスクのいくつかは、以前はMPCCや他の特別な高価なコンピュータシステムによって実行されていました。Hadoopは一般的にコモディティハードウェア上で実行されます。ビッグデータ標準の事実上の地位にあるため、大規模で競争力のあるソリューション提供者コミュニティによってサポートされ、顧客はベンダーロックインから保護されます。
Hadoopの基本的な問題解決能力がどのように適用されるかは、ユースケースによります。前述のように、Hadoopデータ処理は、より良い意思決定を支援し、機械の状態、脅威レベル、取引量などのリアルタイム監視を提供し、予測的かつ積極的な活動を可能にするためによく使用されます。
それは事実です – Hadoopとモノのインターネット（IoT）
Hadoopは、モノのインターネット（IoT）プロジェクトの重要な有効化技術になり得ます。典型的なIoTアプリケーションでは、センサーやその他のインテリジェントデバイスのネットワークが、現在の状態データをプラットフォームソリューションに継続的に送信し、データを解析し、関連するものを処理し、自動的に適切なアクションを指示します（例えば、過熱の危険がある機械をシャットダウンするなど）。センサーおよびデバイスデータは、追加の分析のためにも保存されます。
IoTプログラムは、企業がこれまで扱ったことのないデータのボリュームとタイプを生成することがよくあります。例えば、インテリジェント工場システムは、毎日数百万のセンサー読み取りを生成することができます。IoTを追求する組織は、ビッグデータの世界に引き込まれる可能性が高いです。Hadoopは、新しいデータソースを効率的に保存、処理、管理するためのライフラインを提供できます。
Hadoopを使用するデメリット
人気にもかかわらず、Hadoopはまだ新興技術であり、その多くの制限は新しさに関連しています。Hadoopの急速な拡張と進化の副産物には、スキルギャップ、特定のニーズをサポートするための補完的ソリューションの欠如（例えば、開発およびデバッグツール、特定のソフトウェアソリューションにおけるネイティブHadoopサポートなど）が含まれます。他の批判は、Hadoopがオープンソースプロジェクトであるという地位から生じており、一部の専門家はオープンソースをビジネスにとって不安定すぎると考えています。他の批評家は、Hadoopはデータを処理するよりも保存および集約するのに優れていると言います。
これらのデメリットは、Hadoopが成熟するにつれて緩和される可能性があります。特に、前述の批判のいくつかは、Hadoopエコシステムに埋め込まれたオープンソースソリューションの制限の反映に過ぎません。例えば、Oozieワークフロースケジューリングユーティリティは、制限があり、使いにくいとしばしば指摘されていますが、その制限を克服する第三者ソリューションがあり、場合によってはOozieをまったく使用する必要を排除します。
さらに、Hadoopにはその能力を制限するいくつかの基本的な特性があります。以下は、Hadoopに関する最もよく引用される制限と批判のいくつかです。
- ストレージ要件 – Hadoopの組み込み冗長性はデータを複製し、より多くのストレージリソースを必要とします。
- 制限されたSQLサポート – Hadoopは、SQLデータベースユーザーが慣れ親しんでいるいくつかのクエリ機能が欠けています。
- 制限されたネイティブセキュリティ – Hadoopは、ストレージ中やネットワーク上でデータを暗号化しません。さらに、HadoopはJavaに基づいており、これはマルウェアやその他のハッキングの頻繁なターゲットです。
- コンポーネントの制限 – Hadoopの四つのコアコンポーネント（HDFS、YARN、MapReduce、およびCommon）に関する複数の特定の批判があります。これらの制限のいくつかは、第三者ソリューションによって克服されますが、Hadoop自体の機能は不足しています。
Hadoopはリソースの効率的な使用か?
組織がHadoopがビッグデータで作業する方法を提供すると判断すると、効率的かどうか疑問に思い始めることがよくあります。ほとんどの場合、答えは「はい」です。Hadoopは、企業データウェアハウス（EDW）を維持するために一般的に使用される方法よりも、しばしばコスト効果が高く、リソース効率が良いです。
Hadoopは、コモディティサーバーと接続されたストレージ上で実行されるため、ビッグデータにとって効率的かつコスト効果の高いプラットフォームです。このアーキテクチャは、専用ストレージエリアネットワーク（SAN）よりも安価です。コモディティHadoopクラスタは非常にスケーラブルであり、これは、ビッグデータプログラムがユーザーが経験を積み、ビジネス価値を得るに従って大きくなりがちであるため、重要です。
Hadoopは、ビッグデータを処理するためのコストを効果的にするだけでなく、既存の企業データウェアハウスを維持するコストを削減します。これは、通常EDWハードウェアで実行される重要な抽出-輸送-ロード（ETL）タスクが低コストのHadoopクラスタで実行されるためです。ETLは多くの処理サイクルを必要とするため、高価格帯の機械で実行するよりもリソース効率が良いです。
Hadoopを使用するコストと価値は、ユースケース、使用される特定のツールと構成、および環境内のデータ量に依存します。コアHadoopテクノロジーと共に使用されるサポートツールとソリューションは、環境の開発と維持にかかるコストに大きな影響を与えます。Hadoopエコシステムに関する詳細な洞察は、次のセクションで提供されます。
Hadoopのビジネスケース
Hadoopのビジネスケースは、情報の価値に依存します。Hadoopはより多くの情報を利用可能にし、より良い意思決定を支援するためにより多くの情報を分析でき、リアルタイムで分析することにより情報をより価値あるものにします。従来のビジネスインテリジェンス技術とは異なり、Hadoopは組織が構造化データと非構造化データの両方を理解するのを助けます。Hadoopは、新しいデータタイプ（例えば、ソーシャルメディアストリームやセンサー入力）を処理できるため、新しい洞察を生み出すことができます。幅広い組織が、顧客、競合他社、サプライチェーン、リスク、機会をより良く理解するためにHadoopの価値を見出しています。
Hadoopは、過去、現在、未来の情報を活用するのを助けることができます。多くの人々は、ビッグデータは主に過去の情報を分析することに焦点を当てていると考えていますが、これは現在の条件には関連しない可能性があります。ビッグデータソリューションは、予測と推奨を行うために歴史的分析を行うことがよくありますが、リアルタイムで現在の状態データを分析し、行動を起こす手段も提供します。例えば、Hadoopは、一部のEコマース小売業者が顧客がウェブサイトを閲覧している間にアイテムを提案するために使用するレコメンデーションエンジンの基盤です。提案は、特定の顧客の過去の購入履歴、他の顧客が閲覧しているアイテムに加えて購入したアイテム、そしてソーシャルメディアストリームからの入力に対する感情分析を基にしています。これらの複数のデータソースは、顧客がページにいる短時間で処理、分析、そして実行可能な情報に変換される必要があります。Hadoopはそれを可能にし、小売業者はその結果として2％から20％の売上増加を報告しています。販売が行われると、Hadoopは金融機関がリアルタイムで潜在的なクレジットカード詐欺を検出および防止するのを助けます。
Hadoop駆動のソリューションは、将来の活動を指導するために、現在と過去のデータを考慮することもできます。例えば、小売業者向けのアソートメント計画の推奨を行ったり、生産設備やその他の資産の予測保守スケジュールを開発したりします。
価値を見直す別の方法
Hadoopのビジネスケースは、ビジネスごとに異なります。Hadoopがあなたの組織に適しているかどうか、どのように価値を提供できるかを理解するために、次の質問をしてください:
- より良い意思決定の価値は何ですか?
- 過去の顧客行動、ビジネス条件、リスク要因などは、現在または将来のパフォーマンスに影響を与えますか?
- 迅速な意思決定がビジネスに役立つでしょうか?
- 予測保守や計画外のダウンタイムを減少させることが価値がありますか?
- 改善された需要予測はどのような追加的価値を提供しますか?
- 感情分析から利益を得られるでしょうか?
- リアルタイムの監視が情報セキュリティやコンプライアンス要件を助けますか?
- 私たちは持っている構造化データと非構造化データから、すべてを最大限に引き出していますか?
Hadoopのユースケースと利点は非常に広範です。多くの場合、Hadoopは置き換え技術として導入されるのではなく、代わりに以前には行われていなかったことを行うために使用されます。したがって、ビジネスの観点からHadoopの利点、制限、代替案を検討することが重要です。
Hadoopは何を置き換えますか?
Hadoopは、より良い意思決定を支援するために一般的に使用されます。そのため、すでに使用されているデータ処理および報告システムを置き換えるのではなく、補完することがよくあります。例えば、Tableauは、組織がさまざまなデータを処理して視覚化するために使用する人気のビジネスインテリジェンスツールです。TableauはHadoopをサポートし、Hadoop駆動のデータ分析を出力するための別のオプションを提供します。ExcelもHadoopからインポートしたデータを処理できますが、より洗練されたビッグデータ志向のソリューションは、より多くの機能をサポートします。Hadoopエコシステムは、ユーザーが新しい方法でHadoopを活用できるようにする新しいソリューションで継続的に拡張されています。
Hadoopは、データを実行可能な情報に変換するために大規模な技術者やデータサイエンティストのチームによってサポートされる、高性能のコンピュータのカスタマイズされたクラスターを持つ必要を置き換えます。Hadoopは、カスタムビルドで高価なマッシブ並列処理（MPP）データベース構造を使用する代替手段です。また、Hadoopは従来のサイロ型ITアーキテクチャを置き換えることができるか、少なくともサイロが相互作用し、データの単一ソースとして機能する方法を提供します。
Hadoopが解決する問題
Hadoopは、異なるソースからの大規模な構造化データと非構造化データを処理する根本的な問題を解決します。より具体的には、Hadoopは大規模なデータセットを扱う際のスケール、レイテンシー、および包括性の課題に対処します。
スケール – Hadoopは、コモディティコンピュータ上で大規模なデータセットを処理することを実用的にします。また、複数のシステムに保持されている構造化データと非構造化データの正確な単一のビューを取得する問題も解決します。
レイテンシー – Hadoopは、従来の方法よりもはるかに迅速に大規模データセットを処理できるため、組織はデータがまだ最新のうちに行動を起こすことができます。例えば、レコメンデーションエンジンは、リアルタイムで補完アイテムや特別オファーを提案します。過去には、組織は顧客が購入したものに関するレポートを実行し、結果を分析し、数日または数週間後に同じ補完アイテムを提案するフォローアップメールを送信していました。ネットワーク侵入、金融詐欺、その他の脅威を監視する際にレイテンシーを取り除くことには、非常に大きな価値があります。
包括性 – Hadoopの特異な点の一つは、異なるタイプのデータを処理できる能力です。従来の構造化データ（静止データとも呼ばれる）に加えて、Hadoopはセンサーからの入力、位置データ、ソーシャルメディアチャネル、ビデオおよび顧客接触システムからのメタデータなど、移動中のデータをソートおよび処理できます。また、クリックストリームデータ分析も実行できます。この包括性は、より多くの可視性を生み出し、研究対象についてのより深い理解を与えます。
これらのHadoopの特性は、ボリューム、速度、多様性の三つのVとして表現されることもあります。
Hadoopガイド
- 初心者のためのHadoopチュートリアル: Hadoopの基本
- Hadoop管理の紹介
- Hadoopセキュリティの紹介
- Apache Flumeの紹介
- Hiveの紹介
- HDFSの紹介
- Hbaseの紹介
- Hadoopの例: 5つの実際のユースケース
- Hadoopキャリア: 採用されるために
- Hadoop面接質問
- Hadoop分析の紹介
- Apache Pigの紹介
- Apache Yarnの紹介
- Hadoopアーキテクチャの紹介
- Hadoopの利点とメリット
- Apache CassandraとのHadoopの使用
- Hadoop対Kubernetes: K8sとクラウドネイティブはHadoopを終わらせるのか?
- Hadoop認証
- Hadoopクラスタの紹介
- Hadoopエコシステムとコンポーネント
これらの投稿は私自身の意見であり、必ずしもBMCの立場、戦略、または意見を代表するものではありません。