《人工智能+大数据思维.pptx》由会员分享，可在线阅读，更多相关《人工智能+大数据思维.pptx（74页珍藏版）》请在课桌文档上搜索。
1、人工智能导论,Introduction to artificial intelligence,大数据思维,第1节,事实上人们对数据并不陌生。上古时期的结绳记事、以月之盈亏计算岁月，到后来部落内部以猎物、采摘多寡计算贡献，再到历朝历代的土地农田、人口粮食、马匹军队等各类事项都涉及到大量的数据。这些数据虽然越来越多、越来越大，但是，人们都未曾冠之以“大”字，那是什么事情让“数据”这瓶老酒突然换发了青春并如此时髦起来呢？,Car 情报局,当互联网开始进一步向外延伸并与世上的很多物品链接之后，这些物体开始不停地将实时变化的各类数据传回到互联网并与人开始互动的时候，物联网诞生了。物联网是个大奇迹，被认为
2、可能是继互联网之后人类最伟大的技术革命。,Car 情报局,如今，即便是一件物品被人感知到的几天内的各种动态数据，都足以与古代一个王国一年所收集的各类数据相匹抵，那物联网上数以万计亿计的物品呢？是不是数据大得不得了，于是“大数据”产生了。,Car 情报局,如此浩如云海的数据，如何分类提取和有效处理呢？这个需要强大的技术设计与运算能力，于是有了“云计算”。其中的“技术设计”属于“算法”。“云计算”需要从大量数据中挖掘有用的信息，于是“数据挖掘”产生了。这些被挖掘出来的有用信息去服务城市就叫做“智慧城市”，去服务交通就叫做“智慧交通”，去服务家庭就叫做“智能家居”，去服务于医院就叫做“智能医院”，于
3、是，智能社会产生了。不过，智能社会要有序、有效地运行，中间必须依托一个“桥梁”和借助于某个工具，那就是“人工智能”。,Car 情报局,这就是为什么近几年时间内，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些时髦概念突然纷纷冒出来的理由，原来它们都是“同一条线上拴着的蚂蚱”！图3-3 一根绳上的蚂蚱,Car 情报局,万物大数据主要包括人与人、人与物、物与物三者相互作用所产生（制造）的大数据。其中人与人、人与物之间制造出来的数据，有少部分被感知，物与物之间制造出来的数据还根本没法被感知的。对于人与人、人与物之间被感知到的那部分很小的数据（相对于万物释
4、放的量来说非常小，但是绝对量却非常大），这主要是指在2000年后，因为人类信息交换、信息存储、信息处理三方面能力的大幅增长而产生的数据，这个实际上就是我们日常所听到的“大数据”概念，是以人为中心的狭义大数据，也是实用性（商业、监控或发展等使用）大数据。信息存储、处理等能力的增强为我们利用大数据提供了近乎无限的想象空间。,Car 情报局,在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。而“大数据”全在于发现和理解信息内容及信息与信息之间的关系。实际上，大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法，这三个转变是相互联系和相互作用的
5、。,Car 情报局,1,小数据时代的随机采样,第2节,很长以来，因为记录、储存和分析数据的工具不够好，为了让分析变得简单，当面临大量数据时，社会都依赖于采样分析。但是采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物。如今信息技术的条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，但是可以处理的数据量已经大大地增加，而且未来会越来越多。大数据时代的第一个转变，是要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。,Car 情报局,在某些方面，人们依然还没有意识到自己拥有了能够收集和处理更大规模数据的能力，还是在信息匮乏的假设下做很多事情。人们甚至发展了一些使用尽可能
6、少的信息的技术，例如统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。,Car 情报局,数千年来，政府一直都试图通过收集信息来管理国民，只是到最近，小企业和个人才有可能拥有大规模收集和分类数据的能力，而此前，大规模的计数则是政府的事情。以人口普查为例，据说古代埃及就曾进行过人口普查，那次由罗马帝国的开国君主恺撒主导实施的人口普查，提出了“每个人都必须纳税”。1086年的末日审判书对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用圣经中的末日审判书命名，因为每个人的生活都被赤裸裸地记载下来的过程就像接受“最后的审判”一样
7、。,Car 情报局,然而，人口普查是一项耗资且费时的事情，尽管如此，当时收集的信息也只是一个大概情况，实施人口普查的人也知道他们不可能准确记录下每个人的信息。实际上，“人口普查”这个词来源于拉丁语的“censere”，本意就是推测、估算。,Car 情报局,三百多年前，一个名叫约翰格朗特的英国缝纫用品商提出了一个很有新意的方法，来推算出鼠疫时期伦敦的人口数，这种方法就是后来的统计学。这个方法不需要一个人一个人地计算。虽然这个方法比较粗糙，但采用这个方法，人们可以利用少量有用的样本信息来获取人口的整体情况。样本分析法一直都有较大的漏洞，因此，无论是进行人口普查还是其他大数据类的任务，人们还是一直使
8、用清点这种“野蛮”的方法。,Car 情报局,美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，必须获得正确且及时的数据，所以就需要有新技术。后来，是美国发明家赫尔曼霍尔瑞斯（被称为现代自动计算之父）用他的穿孔卡片制表机成功地在1年时间内完成了人口普查的数据汇总工作。这简直就是一个奇迹，它标志着自动处理数据的开端，也为后来IBM公司的成立奠定了基础。,Car 情报局,这就是问题所在，是利用所有的数据还是仅仅采用一部分呢？有人提出有目的
9、地选择最具代表性的样本是最恰当的方法，后来统计学家们证明，问题的关键是选择样本时的随机性，采样分析的精确性随着采样随机性的增加而大幅提高，但与样本数量的增加关系不大。在商业领域，随机采样被用来监管商品质量。这使得监管商品质量和提升商品品质变得更容易，花费也更少。本质上来说，随机采样让大数据问题变得更加切实可行。同理，它将客户调查引进了零售行业，将焦点讨论引进了政治界，也将许多人文问题变成了社会科学问题。,Car 情报局,随机采样取得了巨大的成功，成为现代社会、现代测量领域的主心骨。但这只是一条捷径，是在不可收集和分析全部数据的情况下的选择，它的成功依赖于采样的绝对随机性，但是实现采样的随机性非
10、常困难。一旦采样过程中存在任何偏见，分析结果就会相去甚远。,Car 情报局,我们来看一下DNA分析。由于技术成本大幅下跌以及在医学方面的广阔前景，个人基因排序成为了一门新兴产业。图3-5 世界民族基因总图（美国）,Car 情报局,从2007年起，硅谷的新兴科技公司23andMe就开始分析人类基因，这可以揭示出人类遗传密码中一些会导致其对某些疾病抵抗力差的特征，如乳腺癌和心脏病。23andMe希望能通过整合顾客的DNA和健康信息，了解到用其他方式不能获取的新信息。公司对某人的一小部分DNA进行排序，标注出几十个特定的基因缺陷。这只是该人整个基因密码的样本，还有几十亿个基因碱基对未排序。最后，23
11、andMe只能回答其标注过的基因组表现出来的问题。发现新标注时，该人的DNA必须重新排序，更准确地说，是相关的部分必须重新排列。只研究样本而不是整体，有利有弊：能更快更容易地发现问题，但不能回答事先未考虑到的问题。,Car 情报局,苹果公司的传奇总裁史蒂夫乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。他得到的不是一个标记的样本，他得到了包括整个基因密码的数据文档。对于一个普通的癌症患者，医生只能期望她的DNA排列同试验中使用的样本足够相似。但是，史蒂夫乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。如果癌症病变导致药物失效，医
12、生可以及时更换另一种药。乔布斯曾经开玩笑地说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的愿望都没有实现，但是这种获得所有数据而不仅是样本的方法还是将他的生命延长了好几年。,Car 情报局,采样的目的是用最少的数据得到更多的信息，而当我们可以处理海量数据的时候，采样就没有什么意义了。如今，计算和制表已经不再困难，感应器、手机导航、网站点击和微信等被动地收集了大量数据，而计算机可以轻易地对这些数据进行处理。但是，数据处理技术己经发生了翻天覆地的改变，而我们的方法和思维却没有跟上这种改变。在很多领域，从收集部分数据到收集尽可能多的数据的转变已经发生
13、。如果可能的话，我们会收集所有的数据，即“样本=总体”，这是指我们能对数据进行深度探讨。,Car 情报局,在上面提到的例子中，用采样的方法分析情况正确率可达97。对于某些事物来说，3的错误率是可以接受的，但是你可能会失去对某些特定子类别进行进一步研究的能力。谷歌流感趋势预测不是依赖于随机样本，而是分析了全美国几十亿条互联网检索记录。分析整个数据库，而不是对一个小样本进行分析，能够提高微观层面分析的准确性，甚至能够推测出某个特定城市的流感状况。,Car 情报局,通过使用所有的数据，我们可以发现如若不然则将会在大量数据中淹没掉的情况。例如，信用卡诈骗是通过观察异常情况来识别的，只有掌握了所有的数据
14、才能做到这一点。在这种情况下，异常值是最有用的信息，你可以把它与正常交易情况进行对比。而且，因为交易是即时的，所以你的数据分析也应该是即时的。,Car 情报局,因为大数据是建立在掌握所有数据，至少是尽可能多的数据的基础上的，所以我们就可以正确地考察细节并进行新的分析。在任何细微的层面，我们都可以用大数据去论证新的假设。当然，有些时候，我们还是可以使用样本分析法，毕竟我们仍然活在一个资源有限的时代。但是更多时候，利用手中掌握的所有数据成为了最好也是可行的选择。于是，慢慢地，我们会完全抛弃样本分析。,Car 情报局,1,允许不精确,第3节,当我们测量事物的能力受限时，关注最重要的事情和获取最精确的
15、结果是可取的。直到今天，我们的数字技术依然建立在精准的基础上。我们假设只要电子数据表格把数据排序，数据库引擎就可以找出和我们检索的内容完全一致的检索记录。这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以我们必须尽可能精准地量化我们的记录。在某些方面，我们已经意识到了差别。例如，一个小商店在晚上打烊的时候要把收银台里的每分钱都数清楚，但是我们不会、也不可能用“分”这个单位去精确度量国民生产总值。随着规模的扩大，对精确度的痴迷将减弱。,Car 情报局,针对小数据量和特定事情，追求精确性依然是可行的，比如一个人的银行账户上是否有足够的钱开具支票。但是，在大数据时代，很多时候，追
16、求精确度已经变得不可行，甚至不受欢迎了。大数据纷繁多样，优劣掺杂，分布在全球多个服务器上。拥有了大数据，我们不再需要对一个现象刨根究底，只要掌握大体的发展方向即可。当然，我们也不是完全放弃了精确度，只是不再沉迷于此。适当忽略微观层面上的精确度会让我们在宏观层面拥有更好的洞察力。,Car 情报局,大数据时代的第二个转变，是我们乐于接受数据的纷繁复杂，而不再一味追求其精确性。在越来越多的情况下，使用所有可获取的数据变得更为可能，但为此也要付出一定的代价。数据量的大幅增加会造成结果的不准确，与此同时，一些错误的数据也会混进数据库。然而，重点是我们能够努力避免这些问题。,Car 情报局,对“小数据”而
17、言，最基本、最重要的要求就是减少错误，保证质量。因为收集的信息量比较少，所以我们必须确保记录下来的数据尽量精确。为了使结果更加准确，很多科学家都致力于优化测量的工具。在采样的时候，对精确度的要求就更高更苛刻了。因为收集信息的有限意味着细微的错误会被放大，甚至有可能影响整个结果的准确性。然而，在不断涌现的新情况里，允许不精确的出现已经成为一个亮点，而非缺点。因为放松了容错的标准，人们掌握的数据也多了起来，还可以利用这些数据做更多新的事情。这样就不是大量数据优于少量数据那么简单了，而是大量数据创造了更好的结果。,Car 情报局,同时，我们需要与各种各样的混乱做斗争。混乱，简单地说就是随着数据的增加
18、，错误率也会相应增加。所以，如果桥梁的压力数据量增加1 000倍的话，其中的部分读数就可能是错误的，而且随着读数量的增加，错误率可能也会继续增加。在整合来源不同的各类信息的时候，因为它们通常不完全一致，所以也会加大混乱程度。混乱还指格式的不一致性，因为要达到格式一致，就需要在进行数据处理之前仔细地清洗数据，而这在大数据背景下很难做到。当然，在萃取或处理数据的时候，混乱也会发生。因为在进行数据转化的时候，我们是在把它变成另外的事物。,Car 情报局,可见，为了获得更广泛的数据而牺牲了精确性，也因此看到了很多如若不然无法被关注到的细节。虽然如果我们能够下足够多的工夫，这些错误是可以避免的，但在很多
19、情况下，与致力于避免错误相比，对错误的包容会带给我们更多好处。,Car 情报局,大数据在多大程度上优于算法，这个问题在自然语言处理上表现得很明显。2000年，微软研究中心的米歇尔班科和埃里克布里尔一直在寻求改进Word程序中语法检查的方法。但是他们不能确定是努力改进现有的算法、研发新的方法，还是添加更加细腻精致的特点更有效。所以，在实施这些措施之前，他们决定往现有的算法中添加更多的数据，看看会有什么不同的变化。很多对计算机学习算法的研究都建立在百万字左右的语料库基础上。最后，他们决定往4种常见的算法中逐新添加数据，先是一千万字，再到一亿字，最后到十亿。,Car 情报局,结果有点令人吃惊。他们发
20、现，随着数据的增多，4种算法的表现都大幅提高了。当数据只有500万的时候，有一种简单的算法表现得很差，但当数据达10亿的时候，它变成了表现最好的，准确率从原来的75提高到了95以上。与之相反地，在少量数据情况下运行得最好的算法，当加入更多的数据时，也会像其他的算法一样有所提高，但是却变成了在大量数据条件下运行得最不好的。它的准确率会从86%提高到94。后来，班科和布里尔在他们发表的研究论文中写到，“如此一来，我们得重新衡量一下更多的人力物力是应该消耗在算法发展上还是在语料库发展上。”,Car 情报局,通常传统的统计学家都很难容忍错误数据的存在，在收集样本的时候，他们会用一整套的策略来减少错误发
21、生的概率。在结果公布之前，他们也会测试样本是否存在潜在的系统性偏差。这些策略包括根据协议或通过受过专门训练的专家来采集样本。但是，即使只是少量的数据，这些规避错误的策略实施起来还是耗费巨大。尤其是当我们收集所有数据的时候，这就行不通了。不仅是因为耗费巨大，还因为在大规模的基础上保持数据收集标准的一致性不太现实。大数据时代要求我们重新审视数据精确性的优劣。如果将传统的思维模式运用于数字化、网络化的21世纪，就有可能错过重要的信息。,Car 情报局,如今，我们已经生活在信息时代。我们掌握的数据库越来越全面，它包括了与这些现象相关的大量甚至全部数据。我们不再需要那么担心某个数据点对整套分析的不利影响
22、。我们要做的就是要接受这些纷繁的数据并从中受益，而不是以高昂的代价消除所有的不确定性。,Car 情报局,Car 情报局,在华盛顿州布莱恩市的英国石油公司（BP）切里波因特炼油厂里，无线感应器遍布于整个工厂，形成无形的网络，能够产生大量实时数据。在这里，酷热的恶劣环境和电气设备的存在有时会对感应器读数有所影响，形成错误的数据。但是数据生成的数量之多可以弥补这些小错误。随时监测管道的承压使得BP能够了解到，有些种类的原油比其他种类更具有腐蚀性。以前，这都是无法发现也无法防止的。,Car 情报局,有时候，当我们掌握了大量新型数据时，精确性就不那么重要了，我们同样可以掌握事情的发展趋势。大数据不仅让我
23、们不再期待精确性，也让我们无法实现精确性。然而，除了一开始会与我们的直觉相矛盾之外，接受数据的不精确和不完美，我们反而能够更好地进行预测，也能够更好地理解这个世界。,Car 情报局,值得注意的是，错误性并不是大数据本身固有的特性，而是一个亟需我们去处理的现实问题，并且有可能长期存在。它只是我们用来测量、记录和交流数据的工具的一个缺陷。如果说哪天技术变得完美无缺了，不精确的问题也就不复存在了。因为拥有更大数据量所能带来的商业利益远远超过增加一点精确性，所以通常我们不会再花大力气去提升数据的精确性。这又是一个关注焦点的转变，正如以前，统计学家们总是把他们的兴趣放在提高样本的随机性而不是数量上。如今
24、，大数据给我们带来的利益，让我们能够接受不精确的存在了。,Car 情报局,长期以来，人们一直用分类法和索引法来帮助自己存储和检索数据资源。这样的分级系统通常都不完善。而在“小数据”范围内，这些方法就很有效，但一旦把数据规模增加好几个数量级，这些预设一切都各就各位的系统就会崩溃。一家加拿大的相片分享网站Flickr在2011年就已经拥有来自大概1亿用户的60亿张照片。根据预先设定好的分类来标注每张照片就没有意义了。恰恰相反，清楚的分类被更混乱却更灵活的机制所取代了，这些机制才能适应改变着的世界。图3-7 Flickr年度最受欢迎的照片之一,Car 情报局,当我们上传照片到Flickr网站的时候，
25、我们会给照片添加标签，也就是使用一组文本标签来编组和搜索这些资源。人们用自己的方式创造和使用标签，所以它是没有标准、没有预先设定的排列和分类，也没有我们所必须遵守的类别规定。任何人都可以输入新的标签，标签内容事实上就成为了网络资源的分类标准。标签被广泛地应用于微信、脸书、博客等社交网络上。因为它们的存在，互联网上的资源变得更加容易找到，特别是像图片、视频和音乐这些无法用关键词搜索的非文本类资源。如今，要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的。,Car 情报局,据估计，只有5的数字数据是结构化的且能适用于传统数据库。如果不接受混乱，剩下95的非结构化数据都无法被
26、利用，比如网页和视频资源。通过接受不精确性，我们打开了一个从未涉足的世界的窗户。我们怎么看待使用所有数据和使用部分数据的差别以及我们怎样选择放松要求并取代严格的精确性，将会对我们与世界的沟通产生深刻的影响。随着大数据技术成为日常生活中的一部分，我们应该开始从一个比以前更大更全面的角度来理解事物，也就是说应该将“样本=总体”植入我们的思维中。,Car 情报局,现在，我们能够容忍模糊和不确定出现在一些过去依赖于清晰和精确的顿域，当然过去可能也只是有清晰的假象和不完全的精确。只要我们能够得到一个事物更完整的概念，我们就能接受模糊和不确定的存在。,Car 情报局,相比依赖于小数据和精确性的时代，大数据
27、因为更强调数据的完整性和混杂性，帮助我们进一步接近事实的真相。“部分”和“确切”的吸引力是可以理解的。但是，当我们的视野局限在我们可以分析和能够确定的数据上时，我们对世界的整体理解就可能产生偏差和错误。不仅失去了去尽力收集一切数据的动力，也失去了从各个不同角度来观察事物的权利。所以，局限于狭隘的小数据中，我们可以自豪于对精确性的追求，但是就算我们可以分析得到细节中的细节，也依然会错过事物的全貌。,Car 情报局,1,关联物，预测的关键,第4节,这是因前两个转变而促成的。寻找因果关系是人类长久以来的习惯，即使确定因果关系很困难而且用途不大，人类还是习惯性地寻找缘由。相反，在大数据时代，我们无须再
28、紧盯事物之间的因果关系，而应该寻找事物之间的相关关系，这会给我们提供非常新颖且有价值的观点。相关关系也许不能准确地告知我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。在许多情况下，这种提醒的帮助已经足够大了。,Car 情报局,例如，如果数百万条电子医疗记录都显示橙汁和阿司匹林的特定组合可以治疗癌症，那么找出具体的药理机制就没有这种治疗方法本身来得重要。同样，只要我们知道什么时候是买机票的最佳时机，就算不知道机票价格疯狂变动的原因也无所谓了。大数据告诉我们“是什么”而不是“为什么”。在大数据时代，我们不必知道现象背后的原因，只要让数据自己发声。我们不再需要在还没有收集数据之前，就把分析
29、建立在早已设立的少量假设的基础之上。让数据发声，我们会注意到很多以前从来没有意识到的联系的存在。,Car 情报局,在传统观念下，人们总是致力于找到一切事情发生背后的原因。然而在很多时候，寻找数据间的关联并利用这种关联就足够了。这些思想上的重大转变导致了第三个变革，我们尝试着不再探求难以捉摸的因果关系，转而关注事物的相关关系。,Car 情报局,虽然在小数据世界中相关关系也是有用的，但如今在大数据的背景下，相关关系大放异彩。通过应用相关关系，我们可以比以前更容易、更快捷、更清楚地分析事物。,Car 情报局,所谓相关关系，其核心是指量化两个数据值之间的数理关系。相关关系强是指当一个数据值增加时，另一
30、个数据值很有可能也会随之增加。我们已经看到过这种很强的相关关系，比如谷歌流感趋势：在一个特定的地理位置，越多的人通过谷歌搜索特定的词条，该地区就有更多的人患了流感。相反，相关关系弱就意味着当一个数据值增加时，另一个数据值几乎不会发生变化。例如，我们可以寻找关于个人的鞋码和幸福的相关关系，但会发现它们几乎扯不上什么关系。,Car 情报局,相关关系通过识别有用的关联物来帮助我们分析一个现象，而不是通过揭示其内部的运作机制。当然，即使是很强的相关关系也不一定能解释每一种情况，比如两个事物看上去行为相似，但很有可能只是巧合。相关关系没有绝对，只有可能性。也就是说，不是亚马逊推荐的每本书都是顾客想买的书
31、。但是，如果相关关系强，一个相关链接成功的概率是很高的。这一点很多人可以证明，他们的书架上有很多书都是因为亚马逊推荐而购买的。,Car 情报局,通过找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。如果A和B经常一起发生，我们只需要注意到B发生了就可以预测A也发生了。这有助于我们捕捉可能和A一起发生的事情，即使我们不能直接测量或观察到A。更重要的是，它还可以帮助我们预测未来可能发生什么。当然，相关关系是无法预知未来的，他们只能预测可能发生的事情。但是，这已经极其珍贵了。,Car 情报局,除了仅仅依靠相关关系，专家们还会使用一些建立在理论基础上的假想来指导自己选择适当的关联物。
32、这些理论就是一些抽象的观点，关于事物是怎样运作的。然后收集与关联物相关的数据来进行相关关系分析，以证明这个关联物是否真的合适。如果不合适，人们通常会固执地再次尝试，因为担心可能是数据收集的错误，而最终却不得不承认一开始的假想甚至假想建立的基础都是有缺陷和必须修改的。这种对假想的反复试验促进了学科的发展。但是这种发展非常缓慢，因为个人以及团体的偏见会蒙蔽我们的双眼，导致我们在设立假想、应用假想和选择关联物的过程中犯错误。总之，这是一个繁琐的过程，只适用于小数据时代。,Car 情报局,在大数据时代，通过建立在人的偏见基础上的关联物监测法已经不再可行，因为数据库太大而且需要考虑的领域太复杂。幸运的是
33、，许多迫使我们选择假想分析法的限制条件也逐渐消失了。我们现在拥有如此多的数据，这么好的机器计算能力，因而不再需要人工选择一个关联物或者一小部分相似数据来逐一分析了。复杂的机器分析有助于我们做出准确的判断，就像在谷歌流感趋势中，计算机把检索词条在5亿个数学模型上进行测试之后，准确地找出了哪些是与流感传播最相关的词条。我们理解世界不再需要建立在假设的基础上，这个假设是指针对现象建立的有关其产生机制和内在机理的假设。,Car 情报局,建立在相关关系分析法基础上的预测是大数据的核心。这种预测发生的频率非常高，以至于我们经常忽略了它的创新性。当然，它的应用会越来越多。一个东西要出故障，不会是瞬间的，而是
34、慢慢地出问题的。通过收集所有的数据，我们可以预先捕捉到事物要出故障的信号，比方说发动机的嗡嗡声、引擎过热都说明它们可能要出故障了。系统把这些异常情况与正常情况进行对比，就会知道什么地方出了毛病。通过尽早地发现异常，系统可以提醒我们在故障之前更换零件或者修复问题。通过找出一个关联物并监控它，我们就能预测未来。,Car 情报局,在小数据时代，相关关系分析和因果分析都不容易，耗费巨大，都要从建立假设开始，然后进行实验这个假设要么被证实要么被推翻。但是，由于两者都始于假设，这些分析就都有受偏见影响的可能，极易导致错误。与此同时，用来做相关关系分析的数据很难得到。另一方面，在小数据时代，由于计算机能力的
35、不足，大部分相关关系分析仅限于寻求线性关系。而事实上，实际情况远比我们所想象的要复杂。经过复杂的分析，我们能够发现数据的“非线性关系”。,Car 情报局,多年来，经济学家和政治家一直认为收入水平和幸福感是成正比的。从数据图表上可以看到，虽然统计工具呈现的是一种线性关系，但事实上，它们之间存在一种更复杂的动态关系：例如，对于收入水平在1万美元以下的人来说，一旦收入增加，幸福感会随之提升；但对于收入水平在1万美元以上的人来说，幸福感并不会随着收入水平提高而提升。如果能发现这层关系，我们看到的就应该是一条曲线，而不是统计工具分析出来的直线。这个发现对决策者来说非常重要。,Car 情报局,如果只看到线
36、性关系的话，那么政策重心应完全放在增加收入上，因为这样才能增加全民的幸福感。而一旦察觉到这种非线性关系，策略的重心就会变成提高低收入人群的收入水平，因为这样明显更划算。当相关关系变得更复杂时，一切就更混乱了。,Car 情报局,大数据时代，专家们正在研发能发现并对比分析非线性关系的技术工具。一系列飞速发展的新技术和新软件也从多方面提高了相关关系分析工具发现非因果关系的能力。这些新的分析工具和思路为我们展现了一系列新的视野被有用的预测，我们看到了很多以前不曾注意到的联系，还掌握了以前无法理解的复杂技术和社会动态。但最重要的是，通过去探求“是什么”而不是“为什么”，相关关系帮助我们更好地了解了这个世
37、界。,Car 情报局,传统情况下，人类是通过因果关系了解世界的。首先，我们的直接愿望就是了解因果关系。即使无因果联系存在，我们也还是会假定其存在。研究证明，这只是我们的认知方式，与每个人的文化背景、生长环境以及教育水平无关。当我们看到两件事情接连发生的封候，我们会习惯性地从因果关系的角度来看待它们。,Car 情报局,看看这三句话：“小明的父母迟到了；供应商快到了；小明生气了。”读到这里时，我们可能立马就会想到小明生气并不是因为供应商快到了，而是他父母迟到了的缘故。实际上，我们也不知道到底是什么情况。即便如此，我们还是不禁认为这些假设的因果关系是成立的。普林斯顿大学心理学专家，同时也是2002年
38、诺贝尔经济学奖得主丹尼尔卡尼曼就是用这个例子证明了人有两种思维模式。第一种是不费力的快速思维，通过这种思维方式几秒钟就能得出结果；另一种是比较费力的慢性思维，对于特定的问题，需要考虑到位。,Car 情报局,快速思维模式使人们偏向用因果联系来看待周围的一切，即使这种关系并不存在。这是我们对已有的知识和信仰的执著。在古代，这种快速思维模式是很有用的，它能帮助我们在信息量缺乏却必须快速做出决定的危险情况下化险为夷。但是，通常这种因果关系都是并不存在的。卡尼曼指出，平时生活中，由于惰性，我们很少慢条斯理地思考问题，所以快速思维模式就占据了上风。因此，我们会经常臆想出一些因果关系，最终导致了对世界的错误
39、理解。,Car 情报局,与常识相反，经常凭借直觉而来的因果关系并没有帮助我们加深对这个世界的理解。很多时候，这种认知捷径只是给了我们一种自己已经理解的错觉，但实际上，我们因此完全陷入了理解误区之中。就像采样是我们无法处理全部数据时的捷径一样，这种找因果关系的方法也是我们大脑用来避免辛苦思考的捷径。在小数据时代，很难证明由直觉而来的因果联系是错误的。现在，情况不一样了，大数据之间的相关关系，将经常会用来证明直觉的因果联系是错误的。最终也能表明，统计关系也不蕴含多少真实的因果关系。总之，我们的快速思维模式将会遭受各种各样的现实考验。,Car 情报局,为了更好地了解世界，我们会因此更加努力地思考。但
40、是，即使是我们用来发现因果关系的第二种思维方式慢性思维，也将因为大数据之间的相关关系迎来大的改变。日常生活中，我们习惯性地用因果关系来考虑事情，所以会认为，因果联系是浅显易寻的。但事实却并非如此。与相关关系不一样，即使用数学这种比较直接的方式，因果联系也很难被轻易证明。我们也不能用标准的等式将因果关系表达清楚。因此，即使我们慢慢思考，想要发现因果关系也是很困难的。因为我们已经习惯了信息的匾乏，故此亦习惯了在少量数据的基础上进行推理思考，即使大部分时候很多因素都会削弱特定的因果关系。,Car 情报局,与相关关系一样，因果关系被完全证实的可能几乎是没有的，我们只能说，某两者之间很有可能存在因果关系
41、。但两者之间又有不同，证明因果关系的实验要么不切实际，要么违背社会伦理道德。比方说，我们怎么从5亿词条中找出和流感传播最相关的呢？我们难道真能为了找出被狗咬和患狂犬病之间的因果关系而置成百上千的病人的生命于不顾吗？因为实验会要求把部分病人当成未被咬的“控制组”成员来对待，但是就算给这些病人打了疫苗，我们又能保证万无一失吗？而且就算这些实验可以操作，操作成本也非常的昂贵。,Car 情报局,不像因果关系，证明相关关系的实验耗资少，费时也少。与之相比，分析相关关系，我们既有数学方法，也有统计学方法，同时，数字工具也能帮我们准确地找出相关关系。相关关系分析本身意义重大，同时它也为研究因果关系奠定了基础
42、。通过找出可能相关的事物，我们可以在此基础上进行进一步的因果关系分析如果存在因果关系的话，我们再进一步找出原因。这种便捷的机制通过实验降低了因果分析的成本。我们也可以从相互联系中找到一些重要的变量，这些变量可以用到验证因果关系的实验中去。,Car 情报局,可是，我们必须非常认真。相关关系很有用，不仅仅是因为它能为我们提供新的视角，而且提供的视角都很清晰。而我们一旦把因果关系考虑进来，这些视角就有可能被蒙蔽掉。例如，Kaggle是一家为所有人提供数据挖掘竞赛平台的公司，举办了关于二手车的质量竞赛。经销商将二手车数据提供参加比赛二手车数据，统计学家们用这些数据建立一个算法系统来预测经销商拍卖的哪些
43、车有可能出现质量问题。相关关系分析表明，橙色的车有质量问题的可能性只有其他车的一半。,当我们读到这里的时候，不禁也会思考其中的原因。难道是因为橙色车的车主更爱车，所以车被保护得更好吗？或是这种颜色的车子在制造方面更精良些吗？还是因为橙色的车更显眼、出车祸的概率更小，所以转手的时候各方面的性能保持得更好？,马上，我们就陷入了各种各样谜一样的假设中。若要找出相关关系，我们可以用数学方法，但如果是因果关系的话，这却是行不通的。所以，我们没必要一定要找出相关关系背后的原因，当我们知道了“是什么”的时候，“为什么”其实没那么重要了，否则就会催生一些滑稽的想法。比方说上面提到的例子里，我们是不是应该建议车
44、主把车漆成橙色呢？毕竟，这样就说明车子的质量更过硬啊！,考虑到这些，如果把以确凿数据为基础的相关关系和通过快速思维构想出的因果关系相比的话，前者就更具有说服力。但在越来越多的情况下，快速清晰的相关关系分析甚至比慢速的因果分析更有用和更有效。慢速的因果分析集中体现为通过严格控制的实验来验证的因果关系，而这必然是非常耗时耗力的。近年来，科学家一直在试图减少这些实验的花费，比如说，通过巧妙地结合相似的调查，做成“类似实验”。这样一来，因果关系的调查成本就降低 但还是很难与相关关系体现的优越性相抗衡。还有，正如我们之前提到的，在专家进行因果关系的调查时，相关关系分析本来就会起到帮助的作用。,在大多数情况下，一旦我们完成了对大数据的相关关系分析，而又不再满足于仅仅知道“是什么”时，我们就会继续向更深层次研究因果关系，找出背后的“为什么”。因果关系还是有用的，但是它将不再被看成是意义来源的基础。在大数据时代，即使很多情况下，我们依然指望用因果关系来说明我们所发现的相互联系，但是，我们知道因果关系只是一种特殊的相关关系。相反，大数据推动了相关关系分析。相关关系分析通常情况下能取代因果关系起作用，即使不可取代的情况下，它也能指导因果关系起作用。,Car 情报局,
