政策资讯协会

面对“不良数据”,我们应何去何从

来源:TrueMetrics    发布时间:2019-06-10 21:58:29
点击上方“触脉咨询” 关!注!我!
触脉导读:在大数据的世界里,“不良数据”变成越来越普遍存在的一种现象。那么你知道这些所谓的“不良数据”对你产生的消耗是多大呢?面对这种普遍存在的现象,我们又应该如何应对呢?
在大数据的世界里,“不良数据”变成越来越普遍存在的一种现象。导致这种现在有一部分原因是,我们利用发达的技术对来对全部的数据进行汇总和管理。我们急于要发送更多的数据请求、让自己更加个性化以及拥有着强大的数据科学的动力,我们拥抱云计算、移动端、社交协作我们强化我们的数据分析能力。我们坚信有关客户的每一个数据都有其一定的价值。但是就是因为我们一直以来坚持做的事情,却使我们的数据质量失去控制。

由于这些不良数据最终可能对导致公司基于对错误数据的分析,进而做出糟糕的决策,可能公司的很多部门对于数据的准确性不达标怨声载道。那么,这些不良数据到底消耗了我们多少成本和资源呢?我们应该在它影响我们之前做些什么来阻止这件事情发生呢?

这是一个企业层面的问题,而不仅仅是一个IT问题
在2013年时,不良数据就像幽灵一样,对企业的决策产生过一些并不明显的影响。Gartner公司在对大量的企业进行调查之后,在其研究报告中称,每年因为数据质量问题,会平均花费企业1400万美元。现在大家可以想象,发展到今天,又是什么样的场景。当然,从下图中你会发现,这个问题发展到今天已经大幅加剧。
来源:Ringlead
也许有人会争辩,并认为所有的数据其实都是有意义的,并将数据的汇总和管理的任务全部放在IT部门的肩上。但是,不良数据产生的影响并非仅仅针对于服务器和数据库,它会影响到每一个人。在现在这个时代,这更像是一个商业问题,而并非是技术问题。

而这些不良数据产生的影响已经不仅仅是在客户数据方面。客户名称和一些细节上的不准确是一回事,但是更多的,这些数据决定着企业的维护和未来的发展,它可以影响到企业业务的方方面面——生产、安全以及做出有效的决策。

总之,这已经不是仅靠不断的向里面砸钱,然后希望不良数据会自己消失这样的问题了。

那么,到底什么是“数据质量”呢?
在你开始处理数据之前,了解什么是“数据质量”是非常重要的。另一个Gartner的研究表明,数据质量的评定包含以下几点:
  • 存在性(这类型数据在一开始是否存在?)
  • 有效性(它的价值是否被认可?)
  • 一致性(当同样的数据被存储在不同的位置,它们的值是否相同?)
  • 完整性(数据元素和数据集之间是如何建立联系的?是否精确?)
  • 精确性(数据是否可以精确的描述其建模对象)
  • 相关性(数据是否可以恰当的为某个对象作为支撑)

那么,什么样的数据是不良数据呢?

那么,我们应该怎么做呢?
为了解决不良数据可能造成的后果以及风向,现在有很多数据清理的方法。很多企业通常是查看数据的整体质量,进而从整体上将数据质量标准化。他们通常从内部和外部同时获取数据,从而从最大程度上保证数据的相关性和一致性。

在企业的业务方法中,使用其他的数据工具是一个非常明智的选择。你可能只需要对数据进行一次清理来保证信息的时效性,或者你可能需要不停的对数据进行清理。在理想的情况下,如果你需要将数据迁移到另一个系统中或者需要做一次大规模的市场影响活动,你只需要做一次数据质量清理就够了。否则,如果不能保证数据的时时更新,就有可能会导致出现的问题加倍,组合,甚至会导致问题的恶化。

对于特别大量或者容易出错的数据集,建议定时自动运行数据质量清理工具。这些类型的系统不仅可以以指定的频率运行,还可以在正在运行的数据质量监测非常重要时通知管理者或者相关员工。

我们从数据质量解决方案提供商那里可以获得什么?
因为现在有太多的选项,而且每时每刻都会有新的工具被制造出来。当你对自己的需求并不是特别明确的时候,也许缩小选择范围和不断的尝试已经让你筋疲力尽。无论你最终的决定是什么,这些工具都至少需要具备以下能力:
  • 能够根据企业目前的数据状态,直接对其产生影响,并且使之得到显著改善。
  • 可以同时利用实时信息和历史信息(包括客户、员工、产品、技术和整个进程的信息)。
  • 拥有强大坚实的技术支持,可以使用诸如预测分析,预报和建模的最新技术。
  • 基于数据规模、速度和数据的种类,对工具进行调整并使之适应,从而保证所有数据的可靠性和一致性。

而且,因为不良数据导致的成本消耗也在每年不停的增长,从下图中RingLead的数据可以看出,清理不良数据带来的收益也是很可观的:


所以为了避免此类情况的出现,专业的数据提供商就显得尤为重要。说到专业,当然非Truemetrics莫属啦。我们会为您提供数据方面一站式的服务,让您可以轻松获得多角度全方位的洞察。


纯净的数据可以带来什么样的变化?
当然,节省成本是一件很重要的事,但是作为企业的运营者(和其他高管们),他们想要的不仅仅是节约成本。他们更多的是想看到与收入直接相关的事情。所以,真正的问题是,纯净数据能为我们带来多少收入呢?如下图所示:

除了收入和节省成本之外,纯净数据可以带来的收益还更为深远。更强的数据可靠性就会带来更高的可信度和更强大的决策支持。报告会越来越精确,客户的反馈也会越来越个性化。同时企业内的所有部门也会更加享受于高效率和高生产的企业运转。这将是一个多赢的循环。

所以也许你会看到,一些不准确的报告或者不标准的记录看上去好像也并不是什么大问题。但是作为你业务水平的衡量依据,越来越多的信息被不断细分,充满各种问题、诸如成本升级和效率下降等问题。但是同样的道理,如果你现在在数据清理上投资一部分,这为你带来的收益会随着时间的推移越来越多。如果你的每一次活动的举办或者改进都是基于可靠的数据,这样随后你就会获得更加深刻的洞察和更加清晰准确的指标。


来源:https://blog.kissmetrics.com/bad-data-cost/


谢谢阅读

每晚9:30,不见不散

触脉分享 改变您在互联网上的决策方式

公众号ID:Truemetrics
如果想了解更多内容,请持续关注Truemetrics 公众账号。更多干货等你来!


协会简介

  政策资讯协会是由民间人士依据相关法律自发组织成立的一个公益性组织,协会提供各个地区的相关政策及政府动态。

组织机构

待定

协会宗旨

  协会致力于向各地民众提供当地政府出台的相关政策,使得民众更加关心国家政策。