《智慧科技园区大数据云平台建设和运营整体解决方案 智慧科技园区信息化管理平台建设方案.docx》由会员分享，可在线阅读，更多相关《智慧科技园区大数据云平台建设和运营整体解决方案 智慧科技园区信息化管理平台建设方案.docx（102页珍藏版）》请在课桌文档上搜索。
1、智慧科技园区大数据云平台建设和运营整体解决方案议程智慧科技园区大数据云平台综述I智慧科技园区大蓼振云平台总鲜构I智慧科技园区大数据云平台演进路线I智慧科技园区大数据云平台实施计划d智慧科技园区大数据治理规划数据交易?等一等四通一平为开发商、企业进驻提供条件产业园区招商引资开放商余入，住宅、综合体等等建设产业园区，孵化企业大数据营商环境建设信用大数据建设大数据行政效能监督体系建设政府综合治税大数据系统建设提供大数据开发工具集数据治理数据标准、数据清晰、数据质量、数据目录建设，为数据挖掘打好基础。，拆迁传统城市建设无疑不是从征地、拆迁开始营商环境建设管委会建设政府办事大厅，工商,税务、审批一条龙服
2、务学校、商场数据集中构建城市数据引擎，做数据集中。与传统城市建设相比，我们“不拆,但是要迁”，要把符合共享开放要求的委办局数据都集中（迁移）到城市数据引擎，聚集新经济核心资源。双创平台筑巢引凤，招商引智ISV围绕大数据资源开发各种应用大数据创业、创新平台，用“数据”孵化高技术企业思路一：1、先数据资源整合（共享+治理+平台）“搭台子”2、大数据的应用和创新思路二：1、以业务逻辑清晰的大数据应用作为“抓手”，做好数据资源整合（共享+治理+平台）智慧科技园区管理分析类应用建设现状基本分析存在的问题关注的内容数据平台整体架构； 数据平台各层建设的标准; 较成熟的金融业数据模型; 数据质量治理； 元数
3、据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境基本的现状科技园区已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；智慧科技园区已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；科技园区数据仓库累积数据没有充分利用 缺乏面向整个智慧科技园区的统一、完整的数据视图； 缺乏支撑智慧科技园区日常业务运转的风险评估体系； 缺乏智慧科技园区客户360度视图，客户行为分析和预测无法实现； 缺乏面向金融业务运营管理的关键绩效指标体系；数据数
4、据应用数据管基础数据平台和Bl应用建设是未来一段时间的重点!通过数据平台和BI应用建设，智慧科技园区将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能统二制定目标和分百一定义报表工具：多种格式报表BI分析工具析模型行+列的简单定义方式-1.I5国面1#eSowv右数据推送平台已实现了，二厂主要零售及金融业务系统竟篇信1吃:数据清洗、整合，为未来J智慧科技园区数据平台提VTRWWSy?供了丰富的数据源。T=规划分析.一划分分析主型一y/-一部看技术麻一fPoP系统采购管理系统其他业务系统JZHHiaa/7关注集团主01.
5、F)?产指标,居学集团决策层查看职能部门的一业务经营情况.出%.集团职能管控层hl各级业务操作层网络数据、用户数据、应用数据的汇聚构成了我们的“大数据”。这些结构化、非结构化的数据的处理和建模形成对用户、服务、资源、终端等对象的洞察.这些洞察与市场营销、网络运维等业务流程的衔接将会给公司带来新的价值。采集、建模和应用运营改进建模分析数据采集改善市场I提升网络改善客户I创新商业运营效率I运维效率I满意度I模式洞察：用户/服务/资源/终端/网络数据话单XDR性能监测故障监测网络资源用户数据HSS信息BSS数据QSS数据终端应用数据内容DPl,WebSocialmedieAPPS价值流处理，实时的内
6、容智能！知，链略执行,连续更新批处理，事先定义的查询和模型非结构化的数据,，包括互联网日志、Web文本信息，非实时或准实时大数据2大数据1传统商业智能*11j11EgG官GIrsI图4SocialmcdaVideoAWoEmalTestsCDRDRNwrkDocmotsIngmBImagesTranactionadata1.实现数据共享通过数据平台实现数据集中，确保智慧科技园区各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集2 .加强业务协作中和整合，建立单一的产品、客户等数据的企业
7、级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础Qm出皿攵加打智慧科技园区业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为工促迸业务领新金融业务创新（客户服务创新、产品创新等）创造了有利条件通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基4 .提升建设效率础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率cg至我田注息从中长期看，数据仓库对智慧科技园区分散在各个业务系统中的数据整合、清洗，5 .改善数据质量有助于企业整体数据质量的改善，提高的数据的实用性B域。域M域DPI数据域业务平
8、台B域数据以客户关系、用户行为、产品信息等为主，支撑客户经营和产品营销I等O域数据以设备数据、告警信息和性能信息等为主，支撑网络监控、网络优化、用户投诉处理等：M域数据以财务、人力资源、供应链和办公信息等为主，支撑企业管理、企业办公信息化等DPl数据域以上网日志、内容构成、用户轨迹、网络信令等为主，可支撑流量经营、网络运维和增值服务等九大业务基地：基地数据以用户信息、用户行为信息等为主，可支撑个性化推荐、优化产品和服务等。WAP/短彩信：存储网络日志，可支撑定位网络及终端问题，业务平台IT系统网管系统CRM/BOSSerp管道彩铃平台游戏平台骨干网间出口Internet)-其它运营商J议程1智
9、慧科技园区大螂云平台综东智慧科技园区大数据云平台总体架构I智慧科技园区大数据云平台演进路线OI智慧科技园区大数据云平台实施计划5J智慧科技园区大数据治理规划I统一数据采集漏处理.流采集流计算III统一数据中心批量采集（云化ET1.）II!：存储与计算分布式存储计算集群IIIIIIII清单级数据处理IIIIMPPII网络爬虫IiII深度分析II数据挖掘IIIIIIII数据仓库IIIIII即席查询IIIIKPIII多租户管理及统一调度开放框架数据开放数据服务管理服务开发者管I一资源开放计算资源开放存储资源开放工具开放数据挖掘工具数据展示工具数据加工工具应用中心行业类数据产品平台类数据产品其他类数据
10、产品使用者决策人员经营分析师产品策划经理渠道经理片区经理集团客户经理大客户经理营业员数据治理数据标准管理元数据管理数据质量管理数据资产管理数据安全管理I平台运维运维数据采集监控告警分析系统运维安全管理设计者开发者运维者外部用户数据管控层元数据数据安全*数据质量企业内外部半结构化、非结构化数据暧寻隆寻!寻科技园区零售供应链金融入人贷系统基金系统.今年数据产生层源数据内容内部业务系统产生的结构化数据科技园区日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水智慧科技园区日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户
11、信息、金融产品信息、交易流水企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息源数据增量在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据科技园区和智慧科技园区业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式传输组件是根据数据源存储的不同分类而设计
12、的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能数据交换层设计目标保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失数据区数据交数据库数据交大数据交换组换组件换组件件NAS存储HadooP数据平台导入数据平台导出ET1.程元数据临时区临时区序区一丁【I-保证数据交换过程安全可靠科技园区系统智慧科技园区系统I据智慧科技园区大数据云平台总体架构一数据交换层NAS存储HadOOP集群元数据区O存储数据平台各个HadOOP集群的元数据信息，如：HDFS文件系统元数据数据平台临时数据区e集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据
13、，暂存在NAS临时数据区e金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ET1.数据处理程序区Je数据平台ET1.加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统1.ink建立映射数据交换层大数据SFTP/J2EEHDFS命令行+Mapredurce应批量采集：大数据源以SFTP协议批量传输数据文件在线访问：开发JaVa或C应用，调用大据源API,或以网络平台爬虫方式抓取源系统非结构化、半结构化数据定时抽取用户访问日志，加载到数据平台大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序,扫描用户微博，抓取用
14、户微博内容,社交圈信息，存入大数据区智慧科技园区大数据云平台总体架构交换绢件企业内部非结构化、半结构化数据，如：音频、视频、邮件、OfifiCe文档、抵押品扫描件等企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NASt旨定目录存储数据到数据平台大数据区指定HDFS日录6点成对岸MiCrCgCftSQ1.ServerMy5Q1.omongoDBPerl十Hive1.oad企业内部业务系统产生的结构化数据，包括两大来源：科技园区零售业务数据,数据存储在OraCle、SQ1.serVe
15、r、MySQ1.UMOnDB四类数据库智慧科技园区互联网金融业务数据，数据存储在MySQ1.数据库组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（1.Zo压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区PerW数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，PW执行文件级数据质量检查数据加载，调用HiVe1.Oad数据命令，加载到数据平台临时数据区的HiVeTable云数据推送平台连接供应链金融系统数据库，分析供应链金融MySQ1.数据库日志，识别增量数据，存储到金融平台NAS存储的指定目录，金融平台加载数据文件
16、到数据平台临时区HiVe表SqoopSqoop十HDFS命令行数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区Sqoop实现集市数据区与数据平台其他HadOoP数据区的数据交换Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交数据集市的数据按照据生命周期规划,统一将过期数据归档到历史数据归档区各个数据区数据归档智慧科技园区大数据云平台总体架构一一流程调度层批量处理流程批量敷据处理工作流
17、抽取fJR鬃年交换电件）ODS数据处Plh期）:主IB数则处理1一翘）sf5文件ntt核临时数区记聚松质量桧注【贴散检区基础数据汇总蛔预强预计接历数据追SEm主露饵区维襄处理瞅Ass理代KSSJW事表生成(73KS3UMA)XORe工DFSa取r内客并数据质量检查数据质量检查伴构化处理（MapReduce）大数据区整理出批量数据处理由流程调度层部署的自定义开发WOrkFlOW组件调度运行整个流程主要完成如下工作：1 .获取业务系统结构化数据，存入临时数据区2 .获取企业内外部非结构化数据,并进行结构化处理，存入主题或集市数据区3 .按照贴源数据模型整合数据（标准化、数据更新/追加）4 .按照主
18、题数据模型整合数据并流程调度朋务核心服务组件,元数据服务用服配置/命名管理数据交换流程流程调度&质量检核任关调度任务执行代S侦测器通知提醒曲监理一*2TZPTTETEEEEEP-瞰据归挡三1.-U1.F日志&审核演图例E三系统ET1.处理流程执行质量检查的ET1.任务理的ET1.任务Hakx数据收数据库数据区生成汇总5.数据加工计算后，结果交付到数据集市，支持分析类应用据处理流程实实W数区工作标化签公:数贴整新记录级究处理M数据联合数帙1迫i规范了数据管控过程中,各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。数据质量管理采用专门的技术平台支撑管控流程的自动化，发布管
19、控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。口稽核规则管理口数据稽核口质量报告元数据管理口业务元数据管理口技术元数据管理管理元数据分析管控综合管理口标准/规范管理口S管理孩仪表盘a数据使用者明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。智慧科技园区大数据云平台总体架构数据管控组织数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标
20、准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。典型的数据管控组织如下所示：信息管理委员会数据管控主导方数据管控经理数据管控参与方;产生部门数据主管时用有部门据准理员数标管方据量理员数质管D元据理数管员据全理员数安管9数据主管数据分析员协调人数据主管运维组织业务协调人数据分析口贝业务协调人数据分析员实施项目组岗位角色消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求;数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施数据质量要求业务规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求.J数据及时性要求I数据质量标准数据质量验证规则数据质量考核指标A不定期数据质量检查数据质量考评数据质量监控数据质量提升数据质量I分析报告J数据补录手工修正自动修正智慧
