《互联网金融的结构化设计.pptx》由会员分享，可在线阅读，更多相关《互联网金融的结构化设计.pptx（66页珍藏版）》请在课桌文档上搜索。
1、大数据基础概念,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）,目录,“数据现在就像新型石油。数据就像原油一样，非常宝贵，但是如果未进行优化则毫无用处。”专家,“我们的经济是基于一种不仅可再生并且会自我生成的资源。用完不是问题，被淹没才是问题。”John Naisbitt,能力向消费者转移,数据竞争的压力,大数据的激增,商业模式驱动,社会在发生变革,Google,Facebook,腾讯
2、百度阿里彻底的改变了人们生活 你在读书，书在读你数据是一种资产，成为商品构成成分、是一种资源,4,全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据,在web 2.0的时代，人们从信息的被
3、动接受者变成了主动创造者,UGC时代到来,*Truthfulness,accuracy or precision,correctness,Volume多,Velocity快,Veracity垃圾*,Variety杂,Data at rest,Terabytes to exabytes of existing data to process,Data in motion,Streaming data,milliseconds to seconds to respond,Data in many forms,Structured,unstructured,text,multimedia,Data
4、in doubt,Uncertainty due to data inconsistency&incompleteness,ambiguities,latency,deception,model approximations,全新的计算时代,业务发展-DAAS模式精髓IT比业务反应更快！,BI，分析&多变量测试 太多噪音数据 事后诸葛 依靠猜测,重-设计重-发布新-平台每年每季每月,调整、商品化&it优化，业务改进 手动&高成本 仅提供前5%最热门内容 专家偏见,开发&QA 太多项目 茅盾的优先级 昂贵,批准&部署研究 优先级问题 错过截止日期 与市场脱节,系统自动升级,使用群体智慧,少量IT
5、参与,实时自动调节,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）,目录,何为大？数据度量,1Byte=8 Bit1KB=1,024 Bytes1MB=1,024 KB=1,048,576 Bytes1GB=1,024 MB=1,048,576 KB=1,073,741,824 Bytes1TB=1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes
6、1PB=1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB=1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes1ZB=1,024 EB=1,180,591,620,717,411,303,424 Bytes1YB=1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes,大数据的“大“,红楼梦含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB 约等于671部红楼梦1TB 约等于631,90
7、3 部1PB 约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）中国国家图书馆：2631万册1EB=4000倍美国国会图书馆存储的信息量600美元的硬盘就可以存储全世界所有的歌曲MGI估计,全球企业2010 年在硬盘上存储了超过7EB(1EB 等于10 亿GB)的新数据,同时,消费者在PC 和笔记本等设备上存储了超过6EB 新数据,专注于企业级大数据,集群容量 约3200台服务器 物理CPU 30000核 内存 100TB 磁盘 36000块 存储容量 60PB,阿里巴巴云梯一 数据规模(2012),集群负载 每天Job数 150
8、,000+道 每天hive query数 6,000+每天扫描数据量 7.5PB 每天扫描文件数 4亿 存储利用率 80%CPU利用率65%峰值80%,阿里巴巴是数据信息流制造业,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据能做什么方法（HOW）大数据有哪些潜在价值大数据有哪些关键的技术,目录,大数据约90%是机器数据,13,关系型数据、高度结构化、基于僵化模式财务记录、多维数据、数据计算月报，非实时事件,时间序列非结构化数据，无预定义模式由所有 IT 系统生成，大量不同类型的格式
9、巨量；快速导航和相关性最重要,由人与人之间的互动而产生包括电子邮件、即时通信、语音、视频和文本 储存在集中式公司服务器、文件共享和桌面中,机器产生的数据90%,商业应用程序数据2%,人为产生的数据8%,互联网络,Google机房硬件（几十万台服务器）,几百万平米米几百个数据中心,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）,目录,不断量化的宇宙,18,引爆大数据的原因,2023/4/
10、28,1946,1961,1970,1990,2000,2003,2008,2013,1960年代，数据与应用分离，数据库技术蓬勃发展，但重视事务处理,2000年后，互联网公司开启数据分析挖掘新时代,1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分,1990年代，提出数据分析挖掘,数据耦合时代,数据分析时代,数据库时代,大数据时代,从流程电子化到数据资产化1）数据更加丰富，有分析价值，从TB到PB2）分析工具更加强大，成本够低，MapReduce3）互联网商业上的成功，引起重视，麦肯锡报告,数据驱动,初始期-发展期-成长成熟期,过去,现在,随机样本 全体数据精确性 混杂性因果关系 相
11、关关系,21,数据成为资产,缺少数据资产不足以谈产业；缺少数据思维不足以语未来,数据资产评估模型,公司的价值与其数据规模、活性及其解释、运用的能力成正比价值=f（颗粒度，维度，规模，活性，关联度）x f（应用）,数据成为资产,不同行业数据资产特征对比,话说电子商务公司“银行”，银行搞电子商务；搜索巨头做电信业务，电信运营商搞应用商店。,Integration&Analytics(DW,MDM,),The unseen information(Big Data),Governance,Operational systems,信息社会的发展&企业内部管理的变革,C端用户应用的网络发展：目录式（ya
12、hoo）-搜索式（google）-分享式（FaceBook）-推荐式（个性化信息服务平台）B端企业内部管理变革小农生产-小规模生产-大规模生产-大规模按需定制-大规模个性化生产-大规模协同生产 营销管理变革 大众-分众-微众-个性化 粗放-精细化社会变革：(1)强调消费者已逐渐取得交易主权；(2)消费者需求差异日趋扩大；(3)数据增加、竞争加剧、互联网改变传统行业加快,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键
13、的技术（Tachnology）,目录,各IT厂家纷纷快速跟进大数据技术,“大数据”对信息处理设施和技术提出了更高的要求 全球主流IT厂家纷纷加大在大数据领域的投入，行业价值快速增长,大数据产业相关企业一览图,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）,目录,大数据涉及的关键技术,需求,技术描述,关键技术,海量数据分布式处理,Hadoop 生态系统,针对大量数据进行分布式处理的系统框
14、架,实时数据处理,Streaming Data,流计算引擎,非结构化数据处理,文本处理技术；自然语言理解；多媒体处理技术,文本内容分词与分析；图像、音视频分析,可视化交互界面,通过交互式可视化界面辅助用户进行分析,交互式可视化探索分析技术,智能数据分析,大规模机器学习技术,计算机模拟人类学习行为，包括特征提取、图形生成等,保护隐私数据与信息个体的对应关系等安全技术,高效存储和管理大规模数据,数据存储备份技术、数据放置和调度技术、数据溯源,存储、放置、调度大规模的数据,数据隐私保护,数据隐私防范保护措施与数据安全技术,大数据采集处理,大数据分析,存储、组织、管理,增强的全方位客户视图,安全/智能
15、扩展,数据仓库扩充,运营分析和优化,大数据探究,IBM大数据的五大关键用例,查找、可视化和理解所有大数据，从而改进决策制定,整合额外的内部和外部信息源，从而扩展现有客户视图（MDM、CRM 等）,分析各种机器数据以改进业务成果,实时降低风险、检测欺诈、监控电子安全,集成大数据和数据仓库功能以提高运营效率,大数据分析的广泛应用,Insurance,360 View of Domain or SubjectCatastrophe ModelingFraud&AbuseProducer Performance AnalyticsAnalytics Sandbox,Banking,Optimizing
16、 Offers and Cross-sellCustomer Service and Call Center EfficiencyFraud Detection&InvestigationCredit&Counterparty Risk,Telco,Pro-active Call CenterNetwork AnalyticsLocation Based Services,Energy&Utilities,Smart Meter AnalyticsDistribution Load Forecasting/SchedulingCondition Based MaintenanceCreate&
17、Target Customer Offerings,Media&Entertainment,Business process transformationAudience&Marketing OptimizationMulti-Channel EnablementDigital commerce optimization,Retail,Actionable Customer InsightMerchandise OptimizationDynamic Pricing,Travel&Transport,Customer Analytics&Loyalty MarketingPredictive
18、Maintenance AnalyticsCapacity&Pricing Optimization,Consumer Products,Shelf AvailabilityPromotional Spend OptimizationMerchandising CompliancePromotion Exceptions&Alerts,Government,Civilian ServicesDefense&IntelligenceTax&Treasury Services,Healthcare,Measure&Act on Population Health OutcomesEngage Co
19、nsumers in their Healthcare,Automotive,Advanced Condition MonitoringData Warehouse OptimizationActionable Customer Intelligence,Life Sciences,Increase visibility into drug safety and effectiveness,Chemical&Petroleum,Operational Surveillance,Analysis&OptimizationData Warehouse Consolidation,Integrati
20、on&AugmentationBig Data Exploration for Interdisciplinary Collaboration,Aerospace&Defense,Uniform Information Access PlatformData Warehouse OptimizationAirliner Certification PlatformAdvanced Condition Monitoring(ACM),Electronics,Customer/Channel AnalyticsAdvanced Condition Monitoring,大数据探究消除了结构化数据和
21、非结构化数据之间的隔阂,非结构化数据,内容管理系统,企业系统和内容存储,ERP,CRM,SCM,SOA、ESB、Web Service,每个系统都具有自己的且与众不同的结构,没有任何结构,Web RSS 订阅源社交媒体,大数据探究,20%,80%,全球总数据,非结构化,结构化,联合、发现和浏览大数据源,大数据治理和管理,探究和浏览您的大数据资产,安全连接到所有第三方存储库 提供统一搜索和浏览界面表面关系和主题评估数据确认数据的价值识别数据的用户 建立数据用法上下文 就数据进行协作 通过用户知识扩充数据创建数据的个性化视图识别现行用户和系统集成点利用数据使用所有数据来构建令人信服的应用程序,协作
22、,评估,发现,利用,高度相关，个性化 results,对众多 来源的评估,动态 分类,利用 结构化和非结构化内容,由社交协作增强,将内容组织为虚拟文件夹,基于结构化信息的优化,企业 位置,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）,目录,让数学家成为上帝吗？,38,数学世界,物理世界,精神世界,量化,量化,哲学,宗教,大数据让社会学成为科学？,39,人类的行为是随机的，不可预测的人
23、的行为是小概率事件人类需要的是随机的智慧,人类工作娱乐等活动具有间歇性，总是在长时间休息后突然爆发，然后沉寂人类93%的行为是可预测的自然界人类世界，符合幂律,大数据对对企业 ROI 潜能,提高生产效率,降低风险并提高合规性,利用现有资产,增加收入,消除数据壁垒利用现有研究和知识消除/引退未使用的系统从现有资产中抽取价值,降低培训成本提高员工保留率改善协作捕获部落知识消除冗余项目,为销售和服务员工提供最新且精确的信息增加追加销售和交叉销售 缩短销售周期增加客户生命周期价值建议,缩短监视和合规的时间推送相关法规更新/提醒支持定价、NDA 等等单一版本的真相避免处罚,海尔对于建立智慧的沟通协作模型
24、的,外部客户WebEmailQqphone,经销商销售 服务,内部员工 销售 市场 研发 服务,企业集团社交网络在企业3大基础应用销售商机获取产品建议聆听服务问题处理,支持沟通、市场、销售、服务、产品创新、招聘、品牌、知识管理等等,构建新的IT系统社交对于企业管理的发展,42,数据对企业KPI的的价值,43,分享传播产品服务体验,对企业的忠诚度,浏览页面数量,转化率,客单价,品牌价值,消费者流量,产品体验真实反馈,满意度,品牌的软性指标（长期）,经营的硬性指标（短期）,倒逼企业的人财物产供销体系，从新构建新的商业体系,消费者数据,销售额,Big Data,精准营销,银行本身拥有客户的大量数据，
25、通过对数据的分析可以获得很多信息，从而成为进行管理和营销的依据。但由于银行拥有的客户信息并不全面，这种分析有时候难以得出理想的结果甚至有可能得出错误的结论。,举例：银行数据：某位信用卡客户月均刷卡6次，平均每次刷卡金额500元，平均每年打3次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高、流失风险较低的客户。网络数据：通过查看该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。,44,Amazon,Amazon个性化推荐系统,商城个性化商品推荐部署机制,爱多评数字案例京东商城,用户评价分
26、析,用户评价,用户评论,图文分享,UGC,搜索,微博,口碑评价维、集、分一体化整合营销：通过的各种Web Apps,整合网站、电子邮件、网购渠道、微博、搜索引擎、移动客户端精准与规模结合、即时性与转化力结合、个性化与精准结合、社交与销售结合低成本高收益，而且收益持久，最重要的，被消费者需要和喜欢的感觉真好数据监测、分析、优化,移动,维护,分发：让老客户帮你赢得新客户,网络,邮件,:,:,:,集中,用户评价的效果是个积累过程，越早越好,传统广告与口碑营销ROI对比,传统广告,口碑营销（用户评价）,Big Data,品牌建设,举例：2011年4月，光大银行通过其官方微博发起了“95595酒窝哦酒窝
27、光大电子银行酒窝传递活动”，向网民征集酒窝照片，并由参与者向好友进行传递，征集的照片会组成一个笑容墙展示，一个月的时间里有超过740000人参与了活动，使得光大银行的客服电话号码一夜走红。,大数据时代，信息传播的方式、渠道、内容和速度都是前所未有的。传统上依赖信息不对称的品牌营销都将无所适从。大胆尝试、不断把搜索引擎的营销，社会化网络的营销，网络视频互动的营销、即时通讯的营销、论坛营销和微博营销等等应用到品牌建设当中和品牌的传播上。,49,个性化推荐云端服务it比业务的反应更快,BI，分析&经验决策 太多噪音数据 事后诸葛 依靠猜测,重-开发重-发布新-平台每年每季每月,业务、产品&人员协作
28、周期长&高成本 专家偏见,开发&QA 太多项目 茅盾的优先级 昂贵,批准&部署 优先级问题 计划实施 与市场脱节,SaaS部署实时更新升级,使用群体智慧,少量IT参与,实时自动调节,Big Data,业务拓展,麦肯锡公司在调查中发现，有些银行如果能有效地利用相关数据，就可以把接收他们贷款的客户份额增加一倍，贷款损失减少四分之一。,举例：ZestCash公司使用Mapreduce技术进行大数据分析，考察贷款人的数千个信息线索，从而造成了它独特的竞争力。对于一个无法进行某次还款的客户不论他是否主动解释，传统银行都认为他是高风险的，但ZestCash通过大量的数据调研与分析发现，如果这种客户主动解释
29、其原因，他们更有可能全额还款。,51,潜在客户,意向客户,目标客户,消费客户,潜在客户,Big Data,业务拓展,以往，传统商业银行投放信贷的原则是：“握着客户的手放款”。但面对即将到来的大数据时代，民生、中信、光大、兴业等多家银行在供应链金融领域发力，实现从“线下手工处理”到“线上多系统集成”的转变。,举例：华夏银行(600015)以“奥康”为核心企业，将资金支付管理系统对接“奥康”销售系统，根据订单信息为下游小企业代理商提供在线融资服务。代理商只需定点鼠标，资金支付管理系统即可根据订单金额发放一定比例的贷款。这种“一笔订单一笔贷款，线上发起随借随还”的便捷模式突破时间和空间限制，免去小企
30、业“跑银行、办手续”的负担，有效地降低了融资成本。,53,Big Data,客户服务,举例：新加坡花旗银行基于消费者的信用卡交易记录，有针对性地给他们提供商家和餐馆优惠，并且根据反馈不断学习提升推荐准确度。,目前网上的信息浩如烟海，如何利用内外部数据及时发现客户的需求并做好精准服务是非常考验银行自身技术段位的，这就需要建立更立体丰富的数据资源，打造一个立体化的社会化数据大厦。,54,Big Data,风险控制,举例：Wonga是英国一家小额贷款公司，他们利用海量数据挖掘算法来做一些贷款业务。Wonga对过去客户的各种碎片化信息进行数据获取与整理，用大量的数据串成了客户特征的全貌，同时根据不良贷
31、款等风险信号不断完善调整模型，有效控制风险。如今他已获得了5亿美金的年利润，其风险管理能力也获得业界的认可。,社会化媒体的互动，实时的传感器数据，电子商务以及其他新的数据源，正在给银行带来一系列的挑战。仅仅借助传统的解决方案，无法全面进行风险管理。大数据分析帮助银行了解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况，建立完善的风险防范体系。,55,Big Data,阿里巴巴阿里小贷,阿里小额贷款是指以借款人的信誉发放的贷款，借款人不需要提供担保。其特征就是债务人无需提供抵押品或第三方担保仅凭自己的信誉就能取得贷款，并以借款人信用程度作为还款保证的
32、。,阿里巴巴公司通过其掌握的电商平台阿里巴巴、淘宝网和支付宝等的各种信息数据，借助大数据分析技术自动判定是否给予企业贷款，全程几乎不用出现人工干预。,56,用5W1H了解大数据,为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）,目录,58,处理大数据在技术上面临的挑战,1、对现有数据库管理技术的挑战传统的数据库部署不能处理数TB 级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据
33、库的管理能力。如何构建全球级的分布式数据库(Globally-Distributed Database)，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。2、经典数据库技术并没有考虑数据的多类别（variety）SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。3、实时性的技术挑战：一般而言，像数据仓库系统、BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。,网络架构、数据中心、运维的挑战：,技术架构的挑战：,人们每天创建的数据量正呈爆炸式增长，但就数据
34、保存来说，我们的技术改进不大，而数据丢失的可能性却不断增加。如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发展的基石。,分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等,处理大数据的一些相关技术,存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pd
35、f、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储,解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）,用户行为分析,用户行为分析,大数据应用路线图,实施久经验证的创新之路,随着数据呈指数级增长，降低大数据成本,企业推进信息化必须切实推进资源整合,资源整合的本质是信息整合统一网络平台三网融合、大连接、大交互、万联网统一数据平台数据中心（大集中数据库、交换共享平台、信息资源目录、标准等）统一服务渠道和手段实现一站办理、一网连通、一号服务、一卡通行,消除对大数据认识的误区,大数据就是Hadoop应用。大数据是关于大量数据的应用 大数据主要是关于社交媒体数据的应用 大数据都是和技术相关的。大数据都是和分析相关的。一种解决方案能够满足所有大数据的应用需求。,驽驾大数据掌控未来,“集中群体智慧，激活人员动力”构建数据推动的商业体系,
