データ品質の説明：データ品質を測定、強化、改善する

データは、ビジネスの意思決定を駆動し、ビジネス組織が現実世界でどれだけうまく機能するかを決定します。 膨大な量のデータが毎日生成されていますが、すべてのデータが重要なビジネス決定を駆動するための信頼性のある生の形であるわけではありません。今日、データには信頼性の問題があります。ビジネスリーダーと意思決定者は、データ品質の影響を理解する必要があります。本記事では、次のことについて説明します：

• データ品質、特に企業において
• データ品質を測定する
• データ品質を強化する、始める方法と重要な役割を含む
• データ品質を改善する

始めましょう！

データ品質とは何ですか？

データ品質とは、特定の目的に対して情報の信頼性を決定する特性を指します（通常、ビジネスではこれには計画、意思決定、および運用が含まれます）。データ品質は、データの有用性を、その適合性と信頼性を満たすための属性の機能として指します。これらの属性は、指標、KPI、および他の定性的または定量的な要件の形であり、主観的であり、ユニークな使用ケースと文脈に対して正当化されることがあります。それが不明瞭に感じられるのは、データが視点によって異なって認識されるためです。たとえば、質の高いディナーを定義する方法がミシュランの星付きシェフとは異なる場合があります。これらの視点からデータ品質を考えてみましょう：

• 消費者
• ビジネス
• 科学
• 基準
• その他の視点

データセットの品質を理解するためには、希望する状態と比較する度合いを理解することが良い出発点です。たとえば、エラーがなく、形式が一貫していて、特徴が完全なデータセットは、データ品質を決定するすべての要件または期待を満たす可能性があります。(データ品質がデータ整合性とどのように比較されるかを理解してください。)

企業におけるデータ品質

では、標準の観点からデータ品質について話し合いましょう。これは、特に以下の分野で広く使用されています：

• データベース管理
• ビッグデータ
• 企業IT

まず、ISO 9000:2015標準による「品質」の定義を見てみましょう：

品質とは、対象の固有の特性が要件を満たす度合いです。

この定義をデータやIT業界での使用方法に適用できます。データベース管理の領域では、「次元」という用語はデータセットの特性または測定可能な特徴を説明します。データの品質も、可用性やコンプライアンスなどの外部および外因的要因の影響を受けます。したがって、以下はビッグデータアプリケーションにおける品質データの包括的で基準に基づく定義です：

データ品質は、データの次元が要件を満たす度合いです。

次元という用語はデータセットで使用されるカテゴリを指すのではなく、データセットの特定の特性を記述する測定可能な特徴のことを指します。望ましいデータの状態と比較することで、これらの特性を使用して、測定可能な用語でデータ品質を理解し、定量化できます。

たとえば、データ品質の一般的な次元には次のものがあります：

• 正確性。 実際のデータへの近似度。
• 可用性。 ユーザーまたはシステムがデータにアクセスできる度合い。
• 完全性。 すべてのデータ属性、レコード、ファイル、値、メタデータが存在し、記述されている度合い。
• コンプライアンス。 データが適用法に準拠している度合い。
• 一貫性。 複数のデータセットまたは範囲で定義されたルールに従うデータの度合い。
• 整合性。 データセットへの腐敗、操作、損失、漏洩、または未承認のアクセスがない度合い。
• 遅延。 データの生成と可用性の遅延。
• 客観性。 データが作成され、バイアスなしに評価できる度合い。
• 妥当性。 データセットが現実のシナリオに関連している度合い。
• 冗長性。 データ内に論理的に同一の情報が存在する度合い。
• 追跡可能性。 データの系譜を検証できる能力。
• 有効性。 データが既存のルールに準拠する度合い。
• 変動性。 データセットの値が時間とともに変化する度合い。

DAMA-NLは、60のデータ品質次元の詳細なリストを提供しています。 PDFで入手可能。

品質データがなぜ重要なのか

よろしいですか、データ品質が何であるかは理解できましたが、なぜそれが必要なのかを見てみましょう：

• コスト最適化。 データ品質が悪いとビジネスに悪影響を及ぼし、時間と労力に関連する大きなコストが発生します。実際、ガートナーは推定していますが、データ品質の悪さによる金融的影響は、組織に年間約1500万ドルです。オーバムによるもう一つの調査では、データ品質の悪さがビジネスに少なくとも30％の収益を費やすことを示しています。
• 効果的でより革新的なマーケティング。 正確で高速度のデータは、誰にマーケティングを行うか、またその方法を決定するために重要です。これにより、適切なターゲットと効果的なマーケティングキャンペーンが生まれます。
• より良い意思決定。 企業は、正確な意思決定をタイムリーに行う能力に応じて良好である必要があります。これは、お持ちの入力によって駆動されます。データ品質が良ければ、企業のビジネスリーダーは結果のリスクを軽減し、効果的な意思決定を行う自信を持つことができます。
• 生産性。 フォレスターによれば、「アナリストの約3分の1が、戦略的意思決定のために分析データを検証し、確認するのに40％以上の時間を費やしています。」したがって、データ管理プロセスが一貫した高品質のデータを生成すると、より多くの自動化が可能になります。
• コンプライアンス。 データを収集、保管、使用することは、コンプライアンス規制と責任を伴い、しばしば継続的でルーチンのプロセスを生じさせます。良好なデータから生じるダッシュボード型の分析は、組織がコンプライアンスの姿勢を一目で理解する方法として重要なものとなっています。

データ品質を測定する方法

データから何を期待するか、そしてその理由がわかったので、データ品質を測定する準備が整いました。

データプロファイリング

データプロファイリングは、データを測定するための良い出発点です。これは、システム内の各データオブジェクトを見て、それが完全で正確であるかを判断するという簡単な評価です。これは、既存のデータを使用しているが、データ品質管理のアプローチを持ちたい企業にとって、しばしば予備的な測定となります。

データ品質評価フレームワーク

データを評価するためのより複雑な方法は、データ品質評価フレームワーク（DQAF）を使用することです。DQAFプロセスフローはデータプロファイリングのように始まりますが、データは良好なデータの特定の特性に対して測定されます。これらは：

• 整合性。 データは事前に設定されたデータ品質基準に対してどのように評価されますか？
• 完全性。 どれだけのデータが取得されていますか？
• 有効性。 データは、特定のデータセットの値に準拠していますか？
• ユニーク性。 データセットにおいてデータがどの程度現れるか？
• 正確性。 データはどれだけ正確ですか？
• 一貫性。 異なるデータセットで、同じデータが同じ値を保持しますか？

良好なデータに関するこれらのコア原則を基準として、データエンジニアとデータサイエンティストは、各自の基準に照らしてデータを分析できます。たとえば、タイムリーさの観点で評価されるデータの単位は、組織内の最良から平均的な納品時間の範囲で考慮できます。

データ品質指標

データを分析するためのいくつかの標準化された方法がありますが、組織がデータ品質を判断するための独自の指標を作成することも重要です。以下はデータ品質指標のいくつかの例です：

• データ対エラー比は、データセットのサイズを考慮してエラーの数を分析します。
• 空の値は、データセットにどれだけの空の値が含まれているかを評価します。
• 「ダークデータ」の割合、または使用できないデータは、特定のセットで使用可能なデータがどれだけあるかを示します。
• 価値までの時間比は、システムに入力された後、重要なデータを使用してアクセスするのにどれだけの時間がかかるかを示します。これは、入力されるデータが有用であるかどうかを教えてくれます。

(ダークデータについてもっと学ぶ。)

データ品質を強化する方法

データ品質管理（DQM）は、ビジネスのすべての重要なリソースである人々、プロセス、技術が調和して良好なデータを作成する原則です。より具体的には、データ品質管理は、事前に定義されたビジネスの成果を実現するためにデータ品質を改善するために設計された一連のプロセスです。データ品質には、最適な成功のための基盤が必要です。これらのコア柱には、以下が含まれます：

• 適切な組織構造
• データ品質に関する定義された基準
• 品質を保証するためのルーチンデータプロファイリング監査
• データ報告とモニタリング
• 不良および不完全なデータのエラーを修正するためのプロセス

始めるには

多くの組織のように、ビッグデータに関しては、単に落ち着いている可能性があります。データ品質に焦点を当てた戦略を実装するための推奨事項は次のとおりです；

• 現在のデータの取り組みを評価する. データ管理能力の現在の状態を正直に見直すことが前進するために必要です。
• データのベンチマークを設定する。 これは、新しいDQM慣行の基盤となります。適切なベンチマークを設定するには、組織は何が重要かを評価する必要があります。データは顧客へのサービスを超えるために使用されていますか、それとも会社のウェブサイトでのより良いユーザーエクスペリエンスを作成するために使用されていますか？まず、データのビジネス目的を特定し、そこから逆算します。
• 組織のインフラを確保する。 適切なデータ管理システムを持つことは、データ品質を確保するための挑戦に立ち向かうための適切な考えを持つ人々が必要です。多くの組織にとって、これは、従業員の昇進や新しい従業員の追加を意味します。

DQMの役割と責任

データの高品質を確保することにコミットした組織は、データチームの一部として以下の役割を考慮すべきです：

• DQMプログラムマネージャーは、データ品質に関してトーンを設定し、データ品質要件を確立するのを助けます。この人物は、日常のデータ品質管理タスクの管理を担当し、チームがスケジュール通りに、予算内で、事前に定められたデータ品質基準を満たしていることを確保します。
• 組織変更マネージャーは、データが効果的に使用されるときに発生する変革管理のシフトにおいて重要な役割を果たし、この人物はデータインフラとプロセスに関する意思決定を行います。
• データアナリスト/ビジネスアナリストはデータを解釈し、報告します。
• データスチュワードは、企業資産としてデータを管理する責任があります。

技術を活用する

データ品質ソリューションは、プロセスを容易にすることができます。エンタープライズ組織のために適切な技術を活用することで、従業員とエンドユーザーのための効率性とデータ品質が向上します。

データ品質を改善する：ベストプラクティス

データ品質はさまざまな方法で改善できます。データ品質は、選択した、定義した、測定した品質属性と次元によって依存します。ビジネス環境では、データ品質を測定し、強化する方法は多くあります。IT組織は、データ品質が客観的に高く、利益を生み出すビジネス影響を生成するモデルを訓練するために使用されることを保証するために、次の手順を踏むことができます：

• ビジネス、運用、およびユーザーの視点から最も適切なデータ品質次元を見つける。すべての60のデータ品質次元がすべての使用ケースに必要というわけではありません。実際、上記の12個ですら、一つの使用ケースには多すぎるかもしれません。
• 各データ品質次元をより大きな目的や目標に関連付ける。この目標は、ユーザー満足度やブランドロイヤルティのように無形である可能性があります。次元は複数の目標に高度に相関することができます。ITは、各次元を最適化して、より大きな目標セットを最大化する方法を決定する必要があります。
• 各データ品質次元に対して正確に測定するためのKPI、指標、およびインジケーターを確立する。適切な指標を選択し、それらを適切にベンチマークする方法を理解します。
• データ品質をソースで改善する。データが生成されるネットワークの端でデータクリーンアップの慣行を強制します（可能であれば）。
• データ品質にエラーや欠陥を引き起こす根本原因を排除する。問題のあるデータポイントを見つけたときに手動で修正することでショートカットを取ることがあるかもしれませんが、それは最初に問題を引き起こした原因を防いでいないことを意味します。根本原因分析は、データにとって必要かつ価値のある実践です。
• データを供給する利害関係者およびパートナーとコミュニケーションをとる。データクリーンアップは、組織外部のソースで責任のシフトを必要とする場合があります。データ作成者に正しいメッセージを伝えることで、組織は、データ供給パイプラインのすべての人に利益をもたらす高品質のデータを調達する方法を見つけることができます。

最後に、データ内に隠されたパターン、洞察、および抽象を特定し、理解し、限られた関連性のある事前定義された特徴に生のデータを投入するモデルを展開する代わりに、正しいビジネス目標を持つことをお勧めします。

関連する読み物

• BMC機械学習とビッグデータブログ
• データ分析とデータ分析：違いは何ですか？
• レジリエントデータパイプラインを構築するための3つの要素
• データ管理とデータガバナンス：主な違い
• ビッグデータと分析、データサイエンス：違いは何ですか？
• データビジュアライゼーションガイド、グラフ、チャート、Tableau Onlineなどのチュートリアルシリーズ

これらの投稿は私自身のものであり、BMCの立場、戦略、または意見を必ずしも代表するものではありません。