《大数据带来的四种思维.docx》由会员分享，可在线阅读，更多相关《大数据带来的四种思维.docx（7页珍藏版）》请在课桌文档上搜索。
1、大数据带来的四种思维作者:张义祯近年来大辘技术的快速发展深刻改变了我们的生活、工作和思维方式。大物居研究专家舍恩伯格指出，大数据时代,人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而抛却对精确性的追求；第三，人类通过对大数据的处理，抛却对因果关系的渴求，转而关注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑的智能，甚至智慧。总体蜂社会科学研究社会现象的总体特征，以往采样向
2、来是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大船居时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据,而再也不依赖于采样,从而可以带来更全面的认识，可以更清晰地发现样本无法揭示的细节信息。正如舍恩伯格总结道：我们总是习惯把统计抽样看做文明得以建立的坚固基石，就如同几何学定理和万有弓I力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这再也不是我们分析数据的主要方
3、式。”也就是说，在大数据时代，随着数据采集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态随得研究对象有关的所有数据，而再也不因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。如：照片到电影，一分钟一张，一秒钟一张，一秒钟24张成为了电影量变质变定律有时间阶段发展影响和空间相关关联影响离散思维向连续思维转换让我来告诉大家，美国有一家创新企业DeC。它可以匡助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜。预测产品的价格趋势。这家公司
4、暗地里的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后匡助数以十万计的用户省钱，为他们的采购找到最好的时间，提高生产率，降低交易成本，为终端的消费者带去更多价值。在这种模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，在几个星期前，被ebay以高价收购。再举一个例子，SWIFT是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据的分析。他们可以预测一个经济体的健康性和增长性。比如，该公司现在为全球性客户提供经济指数，这又是一个大数据
5、服务。辎雕在小数据时代，由于采集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论年及怠体上就会南辕W懒，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成为了挑战。舍恩伯格指出，执迷于精确性是信息缺乏时代和摹拟时代的产物。惟独5%的数据是结构化且能合用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，惟独接受不精确性，我们才干打开一扇从未涉足的世界的窗户。也就是说，在大数据时代，思维方式要从
6、精确思维转向容错思维，当拥有海量即嬲据时，绝对的精准再也不是追求的主要目标,适当忽稍微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。相关蜂在小数据世界中，人们往往执着并见象暗地里的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大辘时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以匡助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大翔居的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可以匡助人
7、们看到不少以前不曾经注意的联系，还可以掌握以前无法理解的复杂技术和社会动态,相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的浮现让人们抛却了对因果关系的渴求，转而关注相关关系，人们只需知道是什么，而不用知道为什么。我们不必非得知道事物或者现象暗地里的复杂深层原因，而只需要通过大物居分析获知是什么就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式?口固有偏见,才干更好地分享大数据带来的深刻洞见。固然，相关关系并非大数据洞察的终结目标。在不少情况下，一旦我
8、们完成为了对大数据的相关关系分析，而又再也不满足于仅仅“是什么”时，我们就会继续朝向因果关系的研究，寻求“为什么”，并且基于相关关系的分析，进一步寻求因果关系将会大大降低其分析成本。其实，因果关系就是一种特殊的相关关系。智能思维不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的浮现极大i雌动了自动控制、人工智育济晰器学习等新技术的发展，“机器人研发也取得了突飞猛进的成果并开始应该说,自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性发展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。但是，大数据时代的
9、到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面采集、逻辑判断和归纳总结，获得有关事物或者现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进秘以脑一样主动、立体、逻辑地分析第据、做出判断、提供见,那末，无疑&就具有了类I以类的智能思维能力和预测未来的能力。智能、智慧是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或
10、者系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的智慧。舍恩伯格指出，大数据开启了T三的时代转型。就像望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。大翔居时代将带来深刻的思维转变，大数据不仅将改变每一个人的日常生活工作方式,改变商业组织和社会组织的运行方式,而且将从根本上奠定国家和社会管理的基础数据，彻底改变长期以来国家与社会诸多领域存在的不可管理状况，使得国家和社会管理更加透明、有效和智慧关于大数据本身的价值已无需赘述，此处重点讨论关于大数据的3个思维变化
11、：L不是随机样本，而是全体数据；2.不是精确性，而是混杂性,特别是大数据的简单算法比小数据的复杂算法有效；3.不是因果关系，而是相互关系。大数据时代一书提醒读者，大数据是全数据，至少维度要全，这带来了观察和分析事物的角度变化，特别相对于传统IT系统数据,大数据强调了数据的外部性和实时性，这两个特性也使得证析提到的基于事实（EVidenCe）的分析成为可能，无非此书忽略了外部数据与企业内部数据结合的分析价值。比如，对于政府来说，分析大范围的公共卫生事件、传染病可以更快地利用大数据（比如微博）发现目前的情况，但具体要调度资源，还是需要结合小数据”的精确决策。第2点的核心观念关于大数据的简单算法来自
12、谷歌的洞见，也来自于Hadoop（一个分布式系统基础架构,由Apache基金会开辟）这种算法的核心理念。大数据的简单算法是一种统计学的逻辑，这个如同热力学的分析模式，热力学并不关心具体的份子运动，而是关心温度、体积、压强之间的宏观联系,关于这种理念的内在理解，建议读者从吴军的数学之美一书中获得，惟独真正理解了大数据基于统计学的思维方式，才干理解它的独特优势和局限。这种方式可以解决以往技术无法解决的大范围、实时性和并行处理等问题，并带来新的洞见，它用概率说话，并三环口人就细节叫真。这个来自互联网公司的观念是，希翼先解决80%的趋势问题,然后慢慢精细化。第3点，大数据关注是什么，而不是为什么，时常
13、网购的人会更容易体会。不少电商网站的推荐引擎具备这种能力，它能够在顾客买书的时候,推荐顾客刚好喜欢的其他书籍,顾客可能不知道为什么，其实网站也不在乎为什么，（为什么可以由学术专家慢慢分析）。但是网站根据成千上万甚至上亿人的统计学分析，就可以发现关联物，或者说大数据更擅长通过统计分析人类所不能感知的关联,并建议人采取行动。这个革命式的思维非同小可，以前啤酒+尿布的数据仓库故事数据整理、清洗转换和专家建模挖掘，其采购行为的关联性可能被Hadoop等算法轻易的发现。上述方式由于分析门坎低，已经成为一种常见的工具，并衍生大数据的云服务的商业模式，成为企业可以购买的“分析即服务(AnalytiCSasa
14、Services),国内阿里系正致力于这种模式的建立。正如周涛教授所言，大数据的核心问题在于预测。电子商务网站通过数据预测顾客是否会购买推荐的产品；信贷公司通过数据预测借款人是否会违约；执法部门用大数据预测特定地点发生犯罪的可能性；交通部门利用数据预测交通流量。但是，预测不是大数据时代才有的新问题，它是人类本能的一部份。心理学家认为，对世界一致性观点的需求以及对环境控制力的需求是人类的两个基本需求，以赛亚*伯林(ISaiShBerIin)曾经援引古希腊诗人的残简“狐狸多知而刺猬有一大知”将知识份子分为狐狸和刺猬两类。刺猬用一个宏大的概念解释所有现象，如约翰博士一般；狐狸知道不少事情，用多元化的
15、甚至相互矛盾的视角看待问题，狐狸也愿意包容新的证据以使得自己的模型与之相适应，如胖托尼普通。TotIoCk等人的研究表明，在现实的预测中，狐狸的表现要优于刺猬。在大数据时代，人们能够接触越来越多的信息，这些信息能否修订决策者已有的观念，对决策者的决策产生影响，这是大数据能否发挥价值的关键所在。有些刺猬类决策者，他们可能会故意无意忽略与其观念相左数据而只保留那些能够证明其想法的数据，在这里无论系统处理了什么规模的数据，这些系统投资也只是粉饰太平的装饰，没有太大意义。不少人都知道亚当斯密(AdamSmith)在国富论中所描述的市场中的“看不见的手”。在市场中，没有人掌握有关生产和消费的全局信息，但是人们通过市场交易对供需的行为作出反应，从而逐步更新价格，进而达到平衡。
