ポイント: データ品質管理（DQM）は、ビジネス上の意思決定をサポートするために正確で信頼できるデータを確保し、人、プロセス、テクノロジーを統合します。効果的なDQMは、組織が財務損失を回避し、より良い顧客関係管理を達成するのに役立ちます。
- 組織は不良なデータ品質のために重大なコストに直面しています。
- DQMの成功のための5つの原則には、組織構造、データ品質の定義、プロファイリング監査、報告、エラーの修正が含まれます。
より多くのビジネスリーダーが、大規模データが企業組織の軌道に与える途方もない影響を認識しつつあります。これは以下の点に関連しています：
- 顧客の期待を予測すること；
- 効果的な製品管理を支援すること；
- トップダウンの意思決定に影響を与えるためにオンデマンドで利用可能であること；
- 顧客の購買習慣を調査してカスタマーサービスの革新を調整すること；そして
- 組織に競合他社の情報を提供すること
ただし、大きな注意点があります。データが正確で完全かつ一貫していない場合、ビジネス上の意思決定を行う際に重大な誤りを引き起こす可能性があります。実際、ガートナーは、ビジネスにおけるデータ品質の悪さによる平均的な財務影響を年間1500万ドルと推定しており1、データ品質管理を今すぐ優先事項にしないわけにはいきません。
データ品質管理とは何ですか？
データ品質管理（DQM）は、企業組織にとって最も重要なデータ品質の測定値を改善するという共通の目標を持つ適切な人、プロセス、テクノロジーの組み合わせを必要とするビジネス原則を指します。その最後の部分が重要です。DQMの最終的な目的は、高品質のデータを持つためだけではなく、高品質のデータに依存するビジネス成果を達成することです。重要なのは顧客関係管理（CRM）です。「CRMシステムは、それが含む情報の良さに依存する」というのはよく引用される言葉です。
高品質なデータの基盤
効果的なデータ品質管理には、データ操作をサポートできる構造的コアが必要です。以下は、データインフラ内に高品質なビッグデータを実装するための5つの基礎原則です：
#1 組織構造
ITリーダーシップは、企業全体でDQMの実践を実施する際に次の役割を考慮すべきです： DQMプログラムマネージャー：この役割はデータ品質に関してトーンを設定し、データ品質要件を確立するのを助けます。彼または彼女は、日々のデータ品質管理タスクを把握し、チームがスケジュール通り、予算内で、事前に定めたデータ品質基準を満たしていることを確認する責任があります。 組織変更マネージャー：この人物は、データが効果的に使用されるときに発生する変革管理のシフトにおいて重要な役割を果たし、データインフラとプロセスに関する決定を行います。 データアナリストIまたはビジネスアナリスト：この個人はデータを解釈し、報告します。 データスチュワード：データスチュワードは、企業資産としてデータを管理する責任があります。
#2 データ品質の定義
非常に単純に言えば、品質データの定義された基準がなければ、どのようにそれを満たしているか、または超えているかを知ることができますか？データ品質の定義は、組織によって異なります。データ品質の定義を行う際の最も重要なポイントは、業界や組織によって異なる場合があります。しかし、これらのルールを定義することは、ビジネスインテリジェンスソフトウェアを成功裏に使用するために不可欠です。あなたの組織は、データ品質の定義を作成する際に高品質なデータの次の特性を考慮するかもしれません：
- 整合性：データは事前に確立されたデータ品質基準に対してどのように評価されていますか？
- 完全性：データのどれだけが取得されていますか？
- 妥当性：データは特定のデータセットの値に準拠していますか？
- ユニーク性：データの一部はセット内でどのくらいの頻度で現れますか？
- 正確性：データはどれだけ正確ですか？
- 一貫性：異なるデータセットで同じデータが同じ値を保持していますか？
さらに、これらの特性が毎回満たされることを保証するために、データ保護の専門家は、DQM戦略を実施する際に次のガバナンス原則を推奨しています：
- 説明責任：誰がDQMを確保する責任がありますか？
- 透明性：DQMはどのように文書化され、これらの文書はどこで入手可能ですか？
- 保護：データを保護するためにどのような措置が取られていますか？
- コンプライアンス：どのコンプライアンス機関がガバナンス原則が満たされていることを保障しますか？
#3 データプロファイリング監査
データプロファイリングは、データ品質を確保するための監査プロセスです。このプロセスでは、監査員がメタデータおよび既存の測定基準に対してデータの検証を探します。その後、データの品質について報告します。定期的にデータプロファイリング活動を実施することは、あなたのデータが競争に先んじるために必要な品質であることを保証する確実な方法です。
#4 データ報告と監視
ほとんどの組織にとって、これは例外の監視、報告、記録のプロセスを指します。これらの例外は、ビジネスインテリジェンス（BI）ソフトウェアによってキャプチャされ、使用可能になる前に不良データをキャッチする自動化されたソリューションとして捉えられます。
#5 エラーの修正
BIシステムによって潜在的な不良データや不完全なデータが整理されたら、データを完成させたり、重複を削除したり、他のデータの問題に対処するために適切なデータ修正を行う時です。
データ品質管理のための5つのベストプラクティス
データ品質管理プロセスを開始する企業のために、以下の5つのベストプラクティスを考慮してください：
#1 現在のデータをレビュー
おそらく、最初に多くの顧客データを持っているでしょう。それを捨ててやり直したいわけではありませんが、テクノロジーの世界では「ゴミはゴミを生む」と言います。新しいデータインフラに不良な洞察を埋め込む必要はありません。したがって、データ品質管理を始めるときは、現在のデータの監査を行ってください。これには、不一致、エラー、重複の在庫を取り、出会った問題を記録して修正し、インフラに入るデータができる限り高品質であることを確認することが含まれます。
#2 データ品質ファイアウォール
ファイアウォールは、自動化されたプロセスで、比喩的な火災を防ぎ、ブロックします。この場合、火災は不良データです。不良データから組織を保護するためにファイアウォールを設置することで、エラーのないシステムを維持するのに役立ちます。ユーザーエラーは簡単であり、ファイアウォールはエントリーポイントで不良データをブロックすることでこのプロセスを防ぎます。インフラにデータを供給することが許可された人の数は、データの質に大きく影響します。しかし、多くの大規模な組織では、複数のエントリポイントを持つことが不可欠です。ファイアウォールは、多くの人がデータを入力するアクセス権を持っている場合でも、データをエラーのない状態に保つのに役立ちます。
#3 DQMとBIを統合
今日のビジネス文化では、統合がすべてのバズワードです。なぜそうでないのでしょうか？システムが一緒に機能すれば、より良く機能します。ここでの考えは、どの企業も常に各データレコードの正確性を確認するために必要なリソースを正当化できないということです。しかし、DQMプロセスをBIソフトウェアと統合することで、自動化を助けることができます。事前に定められたパラメーターに基づいて、特定のデータセットをレビューのために隔離することができます。たとえば、頻繁にアクセスされる可能性のある新しいデータセットは、DQMサイクルの一部として監査されることがあります。
#4 適切な人材を配置
上記のように、組織内にはデータ品質プロセスに対して責任を持ついくつかのポジションがあります。これらのポジションが確実に配置され、仕事に専念していることを保証することは、ガバナンス基準を一貫して満たすことを意味します。
#5 データガバナンスをボードで確保
データガバナンスボードを作成することで、データに基づく意思決定のリスクから企業を保護します。このパネルは、ビジネスおよびITユーザー、経営幹部で構成されるべきです。このグループは、データガバナンスの基礎となるポリシーと基準を設定します。さらに、データガバナンスボードは定期的に会議を開き、新しいデータ品質目標を設定し、さまざまなLOB間のDQBイニシアチブDQMの成功を監視する必要があります。データ品質を改善するためには、測定基準を開発することが便利です。
データ品質管理はマラソンであり、スプリントではない
ビッグデータは、今日のデジタル世界でビジネスを行う上で重要な要素です。顧客および競合他社の洞察を提供し、他のツールやリソースでは実現できません。その高い速度のために、ビッグデータはリアルタイムで意思決定を行うために使用できるビジネスリーダーにアクセス可能です。しかし、そのため、ビジネスリスクも伴い、適切に管理する必要があります。そして、DQMはそのための効果的なツールです。全体として、DQMは組織に多くの利点を提供します：
- ビジネスプロセスがより効率的に実行される -- なぜなら、最初から正しいデータを得るからです。
- より良いビジネス成果 -- DQMは顧客、ベンダー、マーケターなどに関する何が起こっているかをより良く把握させてくれます。
- より多くの自信 - DQMは、より情報に基づいたビジネス上の意思決定を促進します。
これらの考慮事項を念頭に置きつつ、DQMは継続的なデータ監視と報告を必要とする継続的なプロセスであることを忘れないでください。 1 データ品質改善によるビジネスケースの作成方法、スーザン・ムーア、ガートナーのスマーター、2018年6月19日? https://www.gartner.com/smarterwithgartner/how-to-create-a-business-case-for-data-quality-improvement/
これらの投稿は私自身の意見であり、必ずしもBMCの立場、戦略、または意見を代表するものではありません。