データアーキテクチャとは何か？コンポーネント、原則、例

データアーキテクチャは、ITインフラがデータ戦略をどのようにサポートするかのフレームワークです。データアーキテクチャの目標は、データがどのように取得され、輸送され、保存され、クエリされ、安全に保管されるかを示すことです。データアーキテクチャは、任意のデータ戦略の基盤です。AI技術は、特にデータアーキテクチャとデータ処理の戦略において、データインフラを根本的に変えています。データアーキテクチャは、組織がデータをどのように取得し、どのように保存・管理し、それをどのように使用するかを定義します。AIアプリケーションは、大量のデータを処理するためのより良い方法や、計算能力の向上を要求します。高度なAIアプリケーションを処理するためには、データインフラが迅速に変化するビジネスの要求に応える柔軟性をサポートし、AIの革新の速いペースに対応する必要があります。データアーキテクチャは非常に効率的で、弾力性があり、強力でなければならず、スケーラビリティも提供しなければなりません。これらの要件をどのように達成できますか？この記事では、以下を見ていきます：

• データアーキテクチャの定義
• アーキテクチャのコンポーネント
• 一般的なデータアーキテクチャフレームワーク
• データ標準
• 新しいアーキテクチャへの移行

始めましょう。

データアーキテクチャとは何ですか？

データアーキテクチャは、データを取得し、それを保存し、管理し、最終的にシステムがそれにアクセスして使用する方法の構造と組織です。データアーキテクチャのコンポーネントには、データモデル、ルールおよびポリシー、データアクセスとセキュリティ技術、分析プロセスと出力が含まれます。データアーキテクチャは、あなたのデータ戦略を実装するための「方法」を解決します。

データアーキテクチャの例

異なるデータアーキテクチャの例には、以下が含まれます：

• ローカルハードドライブに.csvとしてファイルを保存し、分析のためにコンピュータのTableauにファイルを読み込む。
• 販売時点管理レジスターのセットから会計にデータをストリーミングする。
• 大規模データレイクにデータを蓄積し、その後SparkやHadoopなどのビッグデータツールを使って処理・分析する。
• データを取得し、複数のビジネスユニットが1つのプラットフォームで管理できる場所に配置する。
• エンタープライズデータアーキテクチャは、.csvファイルからデータレイク、データウェアハウス、ストリーミングデータまで、すべてを統合し、データ統合フレームワークとビジネスインテリジェンスツールを使用します。

なぜデータアーキテクチャが重要なのか？

データアーキテクチャは、会社が世界中で自由に移動する能力を100%高める責任があります。柔軟性が必要な場合、例えば、スローピリオドに崩壊を避けるためや、新製品の突然の人気を利用するために、データアーキテクチャが進化すればするほど、会社は行動を起こす能力が高まります。明示的に、データアーキテクチャが重要なのは、以下の理由からです：

• 会社で何が起こっているのかのより完全な画像を提供します
• 会社のデータをよりよく理解するための基盤を提供します
• データがそのソースから分析および消費される宛先に移動するためのプロトコルを提供します
• データを保護するためのシステムが整っていることを保証します
• すべてのチームにデータ駆動の意思決定を行う能力を与えます

データアーキテクチャの主要コンポーネント

今日のデータアーキテクチャの世界の構造的コンポーネントは：

• データパイプライン：生データをデータストアに持ち込むために使用される方法を指し、通常は何らかの変換や処理を伴います。
• クラウドストレージ：このデータを収集し保存するモデルは、ネットワークを介してアクセスできるリモートデバイスに依存します。
• アプリケーションプログラミングインターフェース（API）：このルールのセットは、ソフトウェア間で接続、通信、および共有するための既存の機能を提供します。
• AI & MLモデル：これらのプログラムセットは、データのパターンを見つけて意思決定や予測を行い、タスクを解決します。
• データストリーミング：そのソースから出力への処理のためにデータを継続的に転送することを指します。
• Kubernetes：このオープンソースシステムは、効率のためにコンテナ内のアプリケーションを自動的に展開、スケーリング、および管理します。
• クラウドコンピューティング：インターネットを介してアクセスおよび管理されるリモートデバイスでコンピューティングサービスを提供することを含みます。
• リアルタイム分析：データが生成されるとすぐにデータ、ソフトウェア、およびハードウェアを使用してデータを分析します。

一般的なデータアーキテクチャフレームワーク

データアーキテクチャフレームワークは、データ戦略を定義するための構造化されたアプローチであり、データを整理し、処理し、分析し、文書化する方法を含みます。

• オープングループアーキテクチャフレームワーク（TOGAF）：冗長性と非効率性を排除しながらデータの使いやすさを向上させる階層とコンテンツフレームワークを作成するためのモジュール式アプローチ。
• データ管理知識体系（DAMA-DMBOK2）：データガバナンス、品質、およびセキュリティのベストプラクティスを適用します。
• ザックマンフレームワーク：IT部門をビジネス目標に整合させるための自動化されたシステムと手動システムの両方をサポートする論理的なマトリックス構造を提供します。

データ標準とは何ですか？

データ標準は、データスキーマやセキュリティなどの領域に適用するデータアーキテクチャの包括的な標準です。

データスキーマ

データスキーマは、データベース内でデータを整理する方法を定義し、その形式、関係、ストレージおよびアクセスの標準を指定します。データスキーマは以下を明示します：

• 収集すべき各エンティティ。 例えば、連絡先情報のスキーマには、名前、電話番号、メール、職場が含まれるかもしれません。
• 各項目が持つべきデータの種類。 例えば、名前はテキストデータ、電話番号は整数データ、メールはテキストデータ、職場はテキストデータです。
• そのエンティティがデータベース内の他のエンティティとの関係、 例えば、どこから来てどこに行くのか。

ほとんどの企業は、ビジネスニーズ、アプリケーション、およびデータモデルの変化に応じてデータスキーマを更新します。データがますます普及するにつれて、企業はオンプレミスのデータベースからスケーラブルなクラウドネイティブリレーショナルデータベースへと移行しています。今日のリレーショナル（NoSQL）データベースでは、データを簡単に追加したり、固定された階層に制限されることなく、データソースのネットワークからデータを結合することができます。さらに、これらのリレーショナルデータベースは、従来のSQLデータベースでは不可能な分析ツールとの統合を通じて、はるかに大きく成長し、動的にデータを追加することができます。データスキーマを更新および修正すること、またはそれを「バージョン管理」することは非常に重要です。データスキーマのバージョン管理は、何を見つけるべきか、どこで見つけるべきか、データセットがどこにあったのかを尋ねる能力を標準化するのに役立ちます。(データストレージを探求するデータベースからウェアハウス、湖までおよびホットからコールドまで。）

データセキュリティ

データ標準は、アーキテクチャのセキュリティルールを設定するのにも役立ちます。これらは、アーキテクチャとスキーマ内で視覚化でき、どのデータがどこに渡され、A地点からB地点に移動する際にデータがどのように保護されるかを示します。セキュリティプロトコルには、以下が含まれる場合があります：

• データの移動中の暗号化
• 個人に対するアクセスの制限
• 受取人による情報の価値を減少させるためのデータの匿名化
• 追加のアクション

新しいアーキテクチャへの移行

AIはデータアーキテクチャのトレンドを推進しており、リアルタイムでデータを処理し、多様なソースからの大量のデータを処理し、高度なクエリと分析をサポートする必要性を反映しています。トレンドには以下が含まれます：

• データ管理の分散化と、集中型データウェアハウスやデータレイクから、ドメイン別または部門別のデータコレクションへの移行、すべてが単一のプラットフォームで管理される。
• AIと自動化を使用して、ハイブリッドまたはマルチクラウド環境でデータを接続するために、データ統合を統一すること、時にはデータファブリックと呼ばれます。
• 詐欺防止、IoTの機能、AIを実行するためのアプリケーションをサポートするために、リアルタイムまたは継続的なストリーミングを処理する。
• ガバナンス、品質チェック、最適化の基本を自動化するために、AIを中心にデータ管理の決定を推進する。
• グローバルなスケーラビリティを確保し、高いフェイルオーバーの弾力性を持つために、分散データベースと複数のモデルを使用する。
• さまざまなフレームワークや規制を考慮して、サイバーセキュリティとコンプライアンスのために設計する。

データに関連することを考えるときは、常にデータアーキテクチャを考慮する必要があります。

関連する読み物

• BMC ITビジネスブログ
• BMC機械学習とビッグデータブログ
• BMCガイド、さまざまなデータ製品に関するマルチパートチュートリアルを提供します。
• 企業のデータ倫理
• レジリエントデータパイプラインを構築するための3つの鍵
• SaaS環境でのデータに関する5つの質問

これらの投稿は私自身の意見であり、必ずしもBMCの立場、戦略、または意見を代表するものではありません。