为什么数据整合很难?图灵奖得主迈克尔·斯通布雷克这样“解答”

为什么数据整合很难?图灵奖得主迈克尔·斯通布雷克这样“解答”

5月26日,2022中国国际大数据产业博览会开幕式在线上举办。2014图灵奖得主、世界知名数据库科学家迈克尔·斯通布雷克在开幕式上说,为什么数据整合很难,因为必然会遇到要集成多个数据源的情况。

迈克尔·斯通布雷克举出例子,他说,假设你的员工数据库设在巴黎,而我的员工数据库设在纽约,你有员工,我也有员工;你的员工拿的是定期薪水,我的员工拿的是计时计件工资,所以这两种数据库模式不一样;你的员工的薪水用欧元支付,而我的员工薪水用美元支付,货币单位也不一样,我付给员工的工资是税前总额以美元计,而你付给员工的薪水是税后净额以欧元计,而且包含午餐补贴……所以你得付出精力,把双方数据进行统一协调,然后还得想办法处理无效数据。

想象一下,这些数据中可能有10%的数据丢失或出错,最简单的例子是有很多人会输入-99,而这是空值,如果你在分析时把-99当成了真实数值,那么你肯定会得到错误的结果,所以必须清理数据,同时也必须清除重复数据。如果有一名员工部分时间在巴黎工作,部分时间在纽约工作,那么就必须删掉重复数据,避免重复计算。当然,其中没有任何捷径,得将数据进行模糊匹配。比如,我是在巴黎工作的斯通布雷克,而另一个人是在纽约上班的斯通布雷克,两者只有姓氏不一样,所有这样的混乱都必须解决,而这一过程很复杂,也很难,但如果不这么做,数据分析就没有意义,机器学习模型就会失效自然这一切也就丧失了价值意义。

(贵阳日报融媒体记者 高春春)


© 2022 爱讯头条 秀色女神 古诗集