多测师-多培养一些优秀的测试工程师
网站地图 |   收藏本站   |   

17727591462

大数据的关注相关性原理

发布日期:2022-06-20 09:22:20 作者:多测师 浏览次数:

  由因果关系转变为关注相关性

  关注相关性而不是因果关系,社会需要放弃它对因果关系的渴求,而仅需关注相关关系,也就是说只需要知道是什么,而不需要知道为什么。这就推翻了自古以来的惯例,而我们做决定和理解现实的最基本方式也将受到挑战。

  大数据思维一个最突出的特点,就是从传统的因果思维转向相关思维,传统的因果思维是说我一定要找到一个原因,推出一个结果来。而大数据没有必要找到原因,不需要科学的手段来证明这个事件和那个事件之间有一个必然,先后关联发生的一个因果规律。它只需要知道,出现这种迹象的时候,我就按照一般的情况,这个数据统计的高概率显示它会有相应的结果,那么我只要发现这种迹象的时候,我就可以去做一个决策,我该怎么做。这是和以前的思维方式很不一样,老实说,它是一种有点反科学的思维,科学要求实证,要求找到准确的因果关系。

  在这个不确定的时代里面,等我们去找到准确的因果关系,再去办事的时候,这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说我按那个按钮,一定会出现相应的结果,是这样状态。而农业社会往前推,不需要找到中间非常紧密的、明确的因果关系,而只需要找到相关关系,只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好,开始挖掘相关关系的好处。

  例如:美国人开发一款“个性化分析报告自动可视化程序”软件从网上挖掘数据信息,这款数据挖掘软件将自动从各种数据中提取重要信息,然后进行分析,并把此信息与以前的数据关联起来,分析出有用的信息。

大数据的关注相关性原理

  非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2。5万宗有关房屋住得过于拥挤的投诉,但市里只有200名处理投诉的巡视员,市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库,并在其中加入市里19个部门所收集到的数据:欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉,诸如此类。

  接下来,他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较,希望找出相关性。果然,建筑物类型和建造年份是与火灾相关的因素。不过,一个没怎么预料到的结果是,获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据,该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因,但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的:过去房屋巡视员出现场时签发房屋腾空令的比例只有13%,在采用新办法之后,这个比例上升到了70%——效率大大提高了。

  全世界的商界人士都在高呼大数据时代来临的优势:腾讯一项针对社交网络的统计显示,爱看家庭剧的男人是女性的两倍还多;最关心金价的是中国大妈,但紧随其后的却是90后。而在过去一年,支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

  说明:用关注相关性思维方式来思考问题,解决问题。寻找原因是一种现代社会的一神论,大数据推翻了这个论断。过去寻找原因的信念正在被“更好”的相关性所取代。当世界由探求因果关系变成挖掘相关关系,我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类进步的基石,又取得实际的进步呢?这是值得思考的问题。

  转向相关性,不是不要因果关系,因果关系还是基础,科学的基石还是要的。只是在高速信息化的时代,为了得到即时信息,实时预测,在快速的大数据分析技术下,寻找到相关性信息,就可预测用户的行为,为企业快速决策提供提前量。

  比如预警技术,只有提前几十秒察觉,防御系统才能起作用。雷达显示有个提前量,如果没有这个预知的提前量,雷达的作用也就没有了,相关性也是这个原理。相对论与量子论的争论也能说明问题,一个说上帝不掷骰子,一个说上帝掷骰子,争论几十年,最后承认两个都存在,而且量子论取得更大的发展——一个适用于宇宙尺度,一个适用于原子尺度。

如需了解更多测试技术信息请关注:https://www.duoceshi.cn/jswz/深圳多测师软件与技术服务有限公司


查看更多 >>

推荐阅读