一篇文章说明白如何提升大数据质量

正如大家所知，大数据建设的目标是为了融合组织数据，增加组织的洞察力和竞争力，实现业务创新和产业升级。而提高数据质量是为了巩固大数据建设成果，解决大数据建设成果不能满足业务要求的问题。并且，数据质量问题不仅仅是一个技术问题，它也可能出现在业务和管理的过程中。所以，要想提高数据质量，就必须懂行业、懂组织、懂业务。当然，正如“数据博士”Jim barker 所说，我们可以简单地通过引入一些工具和规则就可以解决 80% 的问题，也可以引入一个复杂的系统工程来解决 100% 的质量问题，取决于我们希望达到什么样的质量标准。

借此机会，我也很期待各位朋友能够与我们分享你遇到的数据质量问题、故事和解决方法，这将对我们的研究和研发工作带来莫大的帮助。

为了尽量说清楚数据质量问题的来龙去脉和解决方法，篇幅较长，我将它分为以下几个部分：

大数据行业背景和现状

大数据行业发展过程中出现的问题

国家标准中的数据质量评价指标

数据质量出现的原因

解决数据质量问题的思路

1.大数据行业背景和现状

2014 年大数据被写入政府工作报告，成为大数据政策元年，大数据开始成为热点；2015 年国务院印发《促进大数据发展的行动纲要》，国家层面开始“大数据”顶层设计；2016 年工信部发布《大数据产业发展规划（2016 年 -2020 年）》，大数据上升为国家战略；2019 年政府工作报告提出加强新一代信息基础设施建设（新基建），我们也逐步从“数据大国”迈向“数据强国”。

ä¸€ç¯‡æ–‡ç« è¯´æ¸…æ¥šå¦‚ä½•æå‡å¤§æ•°æ®è´¨é‡

根据华为公司在 2019 年对其自身客户关于数字化转型的一项调查，只有 5% 的企业处于观望，31% 的企业在规划准备，36% 的企业已经开始先期试点，26% 的企业已经大规模推行，数据字化转型已经进入深水期。这意味着 95% 的企业已经开始数字化转弄的工作。

大数据经过 6 年的快速发展期，已经比较明显地分为两个阶段，第一阶段是大数据归集、治理和价值探索，第二阶段是大数据价值体现。当下，部分政府和企业已经在第一阶段中完成了数据的归集和治理，大步迈入数据价值体现的第二阶段，努力实现组织的业务创新和产业升级。

ä¸€ç¯‡æ–‡ç« è¯´æ¸…æ¥šå¦‚ä½•æå‡å¤§æ•°æ®è´¨é‡

然而，大数据发展过程中仍然存在不少困难和问题，缺少整体规划和实施路径，缺少高层支持，部门壁垒难以打破，业务价值体现不足，技术能力不足，等等。就我个人来看，这里最核心的一个问题就是业务价值体现不足，没有业务价值的支撑，就不会有各部门领导的支持，更不会有高层的支持和资金的支持。所以，数字化转型一定要以价值为导向，在一个“点”上做出实际效果以后再进行“面”上的拓展。

2. 大数据发展过程中的质量问题

要体现数据价值，前提就是数据质量的保障，质量没有得到 100% 保证的数据是很难体现出业务价值的，如果基于这些有问题的数据做决策支持，或做业务办理，将会得到灾难性的结果，让领导层和数据使用方对大数据失去信心。

根据哈工大王志宏先生在科技导报发表的研究表明，如果没有良好的数据质量，大数据将会对决策产生误导，甚至产生有害的结果。

在数仓建设上，50% 的数据仓库因数据质量而被取消或延迟。

在经济损失上，数据错误每年对美国工业界造成的经济损失约占 GDP 的 6%。

在医疗事故上，根据美国医疗委员会的统计，由于数据错误引起的医疗事故仅在美国每年就导致高达 98000 名患者丧生。

在电信产业上，数据错误经常导致故障排除的延误、多余设备租用和服务费收取错误，损害了企业信誉甚至会因此失去很多用户。

在商业上，美国零售业每年仅因标价错误就损失 25 亿美元。

在金融企业中：因数据质量问题导致的信用卡欺诈失察在 2008 年即造成 48 亿美元的损失。