《新型智慧城市解决方案指导手册全集.docx》由会员分享,可在线阅读,更多相关《新型智慧城市解决方案指导手册全集.docx(160页珍藏版)》请在课桌文档上搜索。
1、新型智慧城市解决方案编制:编制:编制:2Oxx年XX月目录第一部分5新型智慧城市解决方案5一、国家政策1二、市场分析2三、方案介绍2(一)新型智慧城市2(二)智慧城市运营中心(IOC)3(三)大数据平台6四、拓展策略IO(一)三类客户实现全覆盖、深挖掘10(二)三种商务模式支撑不同类别项目需求10(三)分层分级针对性开展市场拓展11第二部分12一以智慧城市运营中心IOC为例12概述14建设目标14建设内容141 .建设运行监测系统,实现城市动态监控142 .建设城市体征体系,实时掌控城市态势153 .建设调度指挥体系,协同联动办理事件154 .建设决策分析体系,辅助城市规划治理155 .建设数
2、据治理体系,实现数据互联互通166 .建设处理考核体系,全链跟踪事件过程167 .建设信息管理体系,实现信息统一发布168 设步骤169 调研定位162 .梳理规划163 .运营中心建设174 .数字挛生运营17项目建设方案17总体设计方案17支撑平台方案181、系统维护202、服务日志管理201、行政区划202、组织机构213、用户管理214、权限管理215、统一认证216、安全管理217、实名认证228、单点登录221、数据监控232、服务监控232.增量抽取:我们采用基于时间戳的增量抽取。26数据挖掘模块521、预处理522、分类523、聚类524、关联规则525、数值预测52生态环境5
3、7第三部分61中国移动通信集团政企事业部61一、形式评审(潜在供应商资格要求)62二、项目详细的技术需求62三、项目商务要求651、评标依据652、评标委员会的组成653、评标原则、评审委员会的权利和义务、评标工作纪律664、评审监督,685、评标办法、程序和定标标准686、比较与评价727、打分统分排名738、定标(确定中标候选人或中标人)73四、评标标准77评标办法、程序和定标标准772比较与评价803打分统分排名814定标(确定中标候选人或中标人)81第四部分83集成指导手册83一、拟在本项目中采用的项目管理方法论84二、项目实施管理策略86三、项目质量保证措施87四、配套保障措施89第
4、六部分100XXX(XXX)产业研究院100第七部分108XXX(XXX)产业研究院109一、功能测试109测试通过率趋势:Ill二、接口测试114三、验收证明118第九部分119XXX(XXX)产业研究院119一、产品介绍121二、产品功能121()整个平台122(二)概览122(三)智慧经济124(四)智慧双创124(五)智慧旅游125(六)智慧交通125(七)智慧环保125(八)智慧消防126(九)智慧社区126(十)智慧安防127第十部分127中国移动通信集团政企事业部128一、东城区智慧城市管理信息化建设项目(一期)2(一)背景2(二)实现步骤4(三)建设内容4(四)系统架构6(五)
5、商务模式12(六)现场照片12二、乌镇5G未来城镇运营中心建设项目(一期)14(一)背景14(二)建设内容14(三)系统架构17(四)商务模式19(五)现场照片19第一部分新型智慧城市解决方案专项拓展指导手册一、国家政策1二、市场分析2三、方案介绍2四、拓展策略10新型智慧城市解决方案可概括为“1+1+N”,即以智慧城市运营中心(IoC)为统一入口和载体,以数据为核心,面向各级政府、各部门、各条线的具体需求,打造N个智慧城市应用。一、国家政策20xx年4月,由发改委、教育部、科技部、住建部、工业和信息化部、国家标准委等26个部委联合成了新型智慧城市部级联合协调工作组,全力推动新型智慧城市的建设
6、。按照国家信息化“十三五规划”中的要求:到20xx年,新型智慧城市建设取得显著成效,形成无处不在的惠民服务,透明高效的在线政府、融合创新的信息经济、精准精细的城市治理、安全可靠的运行体系。自20xx年至今,我国智慧城市如火如荼开展。截至目前,全国共有500余个城市先后开展了智慧城市建设。我国智慧城市发展分为三个阶段:一是20xx年-20XX年,以部委和地方为主各自为政开展智慧城市建设,该阶段建设内容主要为宽带和基础设施,建设模式主要为政府投资;二是20xx年-20XX年,部级联合协调工作组联合推进智慧城市建设,建设内容主要为互联网+政务的应用,建设模式为政企合作、引入了PPP等新的投资模式;三
7、是20xx年至今,进一步明确了“数字中国”为目标的智慧城市的建设方向,建设内容转向利用大数据、人工智能、区块链、5G等新技术实现智慧政府决策、数字李生城市、数字经济发展等,建设模式也摒弃了简单的PPP模式、进一步探索可持续发展的政企合作新模式。二、市场分析国内智慧城市经过多年的建设,但仍有以下问题存在:数据资源共享有需求。城市政务信息系统整合共享工作较慢,在全面统筹新型智慧城市建设发展的层面缺少顶层设计,系统孤岛严重。城市管理服务提高有需求。城市在政务服务与城市管理公共服务方面取得一定成果,但在建设过程中普遍存在各部门协调不足、建设内容重复、建设成效有限的情况,城市亟需在电子政务、警务、国土、
8、市政设施、城管等领域加大统筹建设力度,实现无处不在的政务服务、精准精细的城市管理。惠民服务水平提升有需求。城市将智慧民生作为智慧城市建设的重点,在民政救助、医疗社保等重点民生领域实现率先突破并形成一批典型惠民应用。但普遍存在宏观布局与指导缺失、个别智慧民生应用建设无序、应用开发成本大、维护费用高、市民接受度与满意度不高等问题。产业转型发展有需求。城市产业体系发展尚未得到信息化手段的有效支撑,信息化驱动和引领产业发展的实效没有得到发挥。三、方案介绍(一)新型智慧城市新型智慧城市解决方案具体为“1+1+N”的架构,第一个“1”是指新型智慧城市运营中心(IOC),该平台是政府部门智慧城市的统一入口,
9、也是我公司参与新型智慧城市信息化建设的统一载体。第二个“1”是城市相关的大数据,既包括政府自身大数据的共享交换、也包括移动大数据辅助政务决策管理。“N”为面向各级政府、各部门、各条线的具体需求,开展的民生服务、城市治理、生态宜居、产业创新等N个新型智慧城市应用。智慈应用图1:智慧城市总体架构(二)智慧城市运营中心(IOC)智慧城市运营中心(IOC)是顺应国家智慧城市建设号召,面向城市管理者提供基于5G、物联网、人工智能、边缘计算和大数据技术的跨部门、跨系统的统一智能化管理平台,是实现城市治理体系和城市治理能力现代化的重要科学手段。中心以“统一标准、统一平台、统一出口、统一服务、统一运维”为建设
10、原则,实现善政、惠民、兴业的三大目标,从而推动智慧城市建设向高端、高质、高效发展。1 .产品功能(1)综合监测系统图1:智慧城市运营中心功能模块建设城市运行综合监测系统,采用2D、3D建模、虚实结合等技术,以政务数据、物联网感知数据、各垂直领域数据的融合为基础,实现城市运行体征、态势的监测分析呈现,为城市管理者提供城市运行的统一视图,可实时全面的掌握城市的运行态势。(2)事件管理系统事件发现iSK视兔监控事件分类人工分类日常件应急事件H-仲信息事件匹K主办单位梅办*位1协2位n事件分拨图2:事件管理系统运行流程通过公共感知资源、视频资源、政府治理资源、服务资源的有机整合,实现城市环境污染、交通
11、拥堵、公共安全等事件的实时发现、及时处置,促进城市有效治理。(3)联动指挥系统图3:指挥系统流程建立事前预警、事中联动、事后分析的联动指挥系统,通过事件预警、事件核查、态势分析、预案启动、现场指挥、事件总结等系统能力保障应急联动指挥的顺利进行。(4)辅助决策系统图4:辅助决策流程通过业务建模和数据分析,持续积累建立业务模型并预测结果,产出分析报告,为城市管理者在社会治理中提供科学、精细化的综合智库。2 .典型落地场景案例(1)乌镇5G未来城镇运营中心20xx年10月18日世界互联网大会期间,雄研院联合浙江移动为乌镇政府打造的“乌镇5G未来城镇运营中心”一期落地。采用5G、3D建模、虚实结合等技
12、术,融合政务数据、垂直领域 数据、运营商数据三大类数据,实现城市运行体征、态势的监 测分析呈现。(三)大数据平台中国移动有9亿+移动用户、L 5亿+家庭宽带、5亿+物联 网连接,实时产生人与物的海量、多样、高质量的大数据。移动大数据能够为智慧城市顶层规划、运营管理及产业发 展,提供精准、全面、实时、高价值的数据分析和决策支撑, 是公司切入智慧城市的核心竞争力。行业 客户应急部 公安 统计局城市规划交通委国土烫源保险公司服务 前台行业Dlem方案人口监测/常筛选受灾人1/ 场馆监测/观冬奥安保/人口标签潜在客户簿选驻、流动人口投递预警信息众跟踪分析分析/臾运娃氏/ICT集成业务 中台标准产品人口
13、分析I I区 I I城市规划治理一| I 5G政信 11 分准营销I保险电底中台通信数抿资源 OiBI外部数据芯源II标签体系城市网格疸联人口廖画蚂网爬虫/地域雌的短信/闪信/视频 短信图5:大数据平台架构1.三种模式产品服务面向智慧城市大数据市场需求,以中国移动大数据为抓手,打造数据融合、开放共享的智慧城市大数据平台及应用产品体系,对外提供全面的SaaS、DaaS.PaaS模式产品服务。(I)SaaS数据产品模式:提供标准化的大数据应用产品,行业客户直接在线访问应用或服务。适合需要长期或定期提供产品或数据服务的行业客户。(2) DaaS数据接口模式:提供开放的数据接口,行业客户调用接口,自行
14、建设应用。适合具备产品研发能力的行业客户。(3) PaaS合作服务模式:提供经过封装和脱敏的数据和云服务,联合研发数据产品,合作方取走分析结果数据。适合具备产品研发能力和市场拓展能力的合作伙伴。2.产品功能面向政府、公安、交通等行业客户,通过大数据为客户提供城市治理、规划决策、运营管理、产业发展等领域的数据分析和决策支撑,已形成热图、政务、信用等十一个成熟的产品体系,目前应用比较广泛的为热图、精销等以下七个产品。(1)大数据热图基于中国移动网络信令大数据,采用可视化平台展示,以圈定区域为单位,对外准实时提供该区域内客流人群变化情况。(2)大数据精销企业广告主向移动购买流量红包等信息化服务,通过
15、移动自有线上广告投放媒体渠道投放企业广告,用户点击参与广告主活动获取实时流量红包奖励,实现线上精销广告触达。(3)大数据终端采用统一的标准化终端分析模型,通过深度挖掘目标(手机)品牌的市场规模、销售渠道、竞争情况以及客户属性等信息,实现省级、市级范围的标准化手机终端大数据分析。(4)信用分析基于移动大数据高度融合,在充分保护用户隐私的前提下提供个人信用分数参考及数据验真服务,主要包括移动自有信用模型的和信用分(5)人口分析基于位置,对省级、地市级、区县级的人口规模、人流量、人群特征、行为特征等静态、动态群体标签进行统计分析,可实现城市人口、节假日人口、主题活动人口、医疗门诊人口等不同专题的标准
16、化人口分析。(6) APP分析基于移动的管道入口优势对APP上网行为进行分析,结合大数据标签能力研究目标APP的用户规模、市场渗透率、市场竞争情况、用户使用行为、用户画像等信息,可从整体APP市场、行业APP、单个APP三个层面进行多维度的深入分析(7)征信洞察基于中国移动政信平台面对政府机关、事业单位的公共服务和公益类服务推出的精准短信发送的大数据产品。3、典型落地场景案例(1) XXX冬奥安保项目基于城市大数据产品,利用5G+大数据等前沿技术,将基本治安要素与中国移动5G能力高效融合,践行“科技办奥”理念,实现了人群分布监控、重点区域监控、重点人群识别、应急短信发送等功能,助力冬奥会安保应
17、急及快速响应。该项目入选5G集团级龙头示范项目。(2) XXX省5G智慧博物馆项目基于5G移动大数据、5G小站定位,利用5G基站的多天线技术,定位算法技术,结合全新的人口数据挖掘、行为和通勤轨迹链分析算法,为XXX省博物馆管理提供进行全面的时间、空间、行为三维博物馆场馆内人口“画像”,支撑了博物馆的规划、管理、运营及决策。该项目入选5G集团级龙头示范项目。(3)中国数博会热图监控项目基于中国移动5G大数据,实时监控数博会各场馆内人群流动,实现展会人口的构成特征和行为特征分析,助力展会顺利举行;产品在数博会主展馆序厅大屏展示,获得国务委员王勇、河北省省长许勤、中国移动集团董事长杨杰、河北省工信厅
18、等领导的好评。(4) XXX大数据建设规划咨询项目本项目重点规划了大数据四大应用方案,包括城市治理、公共服务、生态宜居、创新经济,协助大兴区政府构建融合共享、全域动态感知的城市大数据服务平台,驱动大兴区城市数字化转型,成功协助北京移动公司中标。(5) XXX省“数字政府”领导驾驶舱项目按照XXX省政府“一朵云、一张网、一系统、一平台、一城墙”的要求,基于城市大数据产品的技术中台能力和模型能力,构建了实时的政务大数据可视化分析、决策、指挥系统,实现了各厅局直通、市县纵横、实时监测、政务服务、风险管控等能力,有效提升政府治理体系与治理能力现代化水平。(6)国家应急管理部精准应急闪信项目基于中国移动
19、信令大数据,针对户外旅行爱好者危险预警、重大自然灾害、突发灾害、山体滑坡等场景,精准筛选应急事件涉及人群,发送应急安保闪信,避免或减少重大人员及财产损失,提升公共服务水平,目前正在支持国家应急管理部进行重点省份的试点工作。四、拓展策略(一)三类客户实现全覆盖、深挖掘新型智慧城市的特点是统一规划、统筹管理、集约建设,客户为各级政府部门,包括以下角色:1.“一把手”:地市市长、区县县长/区长等领导,具有当地新型智慧城市建设决策权。由省公司或地市公司领导重点对接,能力推介、需求引导、专题交流、确定商机。2 .牵头部门:智慧力、数字办、发改委等政府职能部门。主要负责新型智慧城市的统筹管理和协调,具有审
20、批权。由省地市公司政企领导重点对接,提供咨询服务、确定项目。3 .建设单位:大数据局、工信局等政府职能单位。主要负责新型智慧城市项目的规划、设计、建设、运行,具有项目全生命周期的掌控权。由省公司或地市公司政企经理对接,提供规划、设计、建设、运维全过程响应。(二)三种商务模式支撑不同类别项目需求1.政府投资建设模式政府财政预算支出,项目进入政府当年财政预算,建设单位公开招标,中国移动应标,资产隶属政府所有,适用于公益性、涉密性项目(如政府大数据平台、共享交换平台等)。4 .政府购买服务模式中国移动投资建设,政府财政预算支付服务费用,项目进入政府当年财政预算,建设单位公开招标,中国移动应标,资产隶
21、属中国移动所有,适用于准经营性项目(政务云服务)。5 .市场化模式中国移动投资建设,政府提供政策支持,无需招投标,通过市场化运营获得收益,适用于纯经营项目(如智慧小区)。(三)分层分级针对性开展市场拓展一是积极与省、地市政府签署智慧城市战略合作协议。抓住各省、地市智慧城市规划到期更新的契机,以5G为敲门砖,发挥我公司在智慧城市咨询规划的专业能力,深度参与政府智慧城市顶层规划,与省、地市政府签署5G+智慧城市战略合作协议,开展智慧城市试点。二是攻关智慧办、数字办、发改委、数据局、工信局等单位,成为新型智慧城市的设计者和组织者。积极承担当地新型智慧城市顶层规划设计,实现从规划-项目-产品/方案落地
22、,每个省至少打造1个新型智慧城市运营中心“样板间”,打造1个城市的大数据“样板间,三是抓头部客户应用需求,实现新型智慧城市项目价值提升。总部正在与应急管理部、自然资源部、公安部、中央党校等多个部委开展战略合作推进,在应急响应、智慧环保、智慧执法、城市治理、智慧党建等领域形成了一系列解决方案,各省、地市积极与当地各相关委办局联系,实现解决方案复制落地。第二部分智慧城市建设方案以智慧城市运营中心IOC为例XXX(XXX)产业研究院20xx年11月目录1 概述141.1 建设目标141.2 建设内容142 项目建设方案172.1 总体设计方案172.2 支撑平台方案182.2.1 数据治理平台182
23、.2.2 可视化平台292.2.3 城市感知平台322.3 应用系统方案372.3.1综合监测系统372.3.2事件管理系统422.3.3联动指挥系统452.3.4辅助决策系统482.3.5运维管理系统58概述建设目标智慧城市运营中心方案建设目标应符合国际智慧城市战略规划,满足智慧城市建设的需求。智慧城市运营中心建设以需求为先,以提升公共服务能力为目标,聚焦慧政惠民的重点项目建设,让智慧成果惠及全民,让公众有直接的体验和感受;从解决实际问题入手,提供科学可执行的方案体系和保障体系,通过运营管理中心的建设使城市综合竞争优势明显提高,民生服务得到显著改善,城市网路安全取得显著成效,并能够引导城市管
24、理改革创新。智慧城市运营中心建设框架全面覆盖城市综治、交通、应急、环保、旅游、气象、安监、民政、工商、城管、公安、司法、人社等运行领域,融合城市业务、先进信息计算技术、海量数据,实现跨部门、跨地域、跨层次、跨行业的协同管理和数据共享。通过整个框架体系实现各领域数据的集中汇聚整合、治理分析,从而做到城市数据互联互通,并基于数据进行研究分析,发现内在规律和运行趋势,从而为领导管理者提供辅助决策支撑。智慧城市运营中心在业务范围、系统架构、系统功能、技术实现达到先进的理念,以城市管理、社会管理和应急管理的业务需求为导向,以实战应用为核心,实现对城市范围内的体征监测、事件监控、信息报告、综合研判、可视化
25、指挥调度、紧急救援、移动应急指挥、辅助决策等主要功能;建成“机制领先、信息灵通、研判精确、指挥高效、技术先进”的现代化城市智能运营中心。建设内容1 .建设运行监测系统,实现城市动态监控建设城市运行综合监测系统,及时全面的掌握城市的运行态势。城市运营管理中心应实现城市运行信息的全面整合共享和跨部门、跨区域、跨层级的信息互通和智能分析。城市管理可以对多部门、多单位的各类信息的态势有整理的掌握,从而以最有效的方式进行掌控管理。城市运行综合检测是对城市运行中的关键要素(空气、森林、气象、交通、水质、特种设备、重点人群、视频等)进行实时的监测,可以智能判断和预测城市运行中异常情况,做到提前预防、主动应对
26、,降低事件对城市运行的影响。2 .建设城市体征体系,实时掌控城市态势通过对各领域应用系统的城市运营各项数据的采集,将数据统一汇总到城市公共数据中心,运营中心通过公共信息平台共享接口服务,从海量数据中抽取各种的资源数据,依据运营中心的应用逻辑,梳理出与城市日常管理、应急管理相对应的支撑数据。如:城市人口年龄结构、性别比例、新增人数;法人数量、新增法人数量;城市经济情况、GDP;医院位置、数量、床位数量、空闲床位数;学校位置、数量、人数;重要企业事业单位位置、类型;城市环境指数、温度、风力、风向、天气情况;城市事件数量、未处置数量;扶贫人数、分布;景区游客数量等。3 .建设调度指挥体系,协同联动办
27、理事件建设统一的系统调度指挥体系,实现城市事件的快速响应与协同联动。协同联动系统统一接入预测预警信息和各部委上报的事件信息,以城市日常运行管理调度和重大事件联动指挥为核心,实现跨部门、跨区域事件的统一受理、统一分拨、协同调度、联合指挥、过程监督和考核评价,构建全面覆盖、反应灵敏、协调有序、联动高效的城市运行协同调度指挥系统,全面提升城市协同治理过程中快速响应、分析研判、动态管控、联动处置和事后评估的能力。4 .建设决策分析体系,辅助城市规划治理城市运营管理中心要充分分析、挖掘、发挥城市运行中海量信息的价值,通过城市动态监控数据,城市体征数据,结合空间大数据分析技术和专业分析模型,为管理者提供决
28、策依据和辅助分析服务,为城市领导者提供城市发展规划的综合智库,以此提升城市运营管理水平。5 .建设数据治理体系,实现数据互联互通城市运营管理中心集中整合治理、监控管理城市运行中数据资源,并通过实际需求面向社会共享开放,通过政府各部门、各企业、民众各界开发和共享应用,强化社会监督、推进政府透明,促进群体智慧和多方协同的价值塑造,激发市场活力,发挥数据在智慧城市中的战略作用。6 .建设处理考核体系,全链跟踪事件过程主要对城市管理的日常事件、突发应急事件进行处置的全过程监督跟踪管理和考核。实现投诉、上访、舆情、宜居、安全等相关事件的派遣,跟踪部门的处置情况。当突发应急事件发生时,通过应急指调度指挥系
29、统完成事前预案制定,事发预案快速启动。7 .建设信息管理体系,实现信息统一发布实现城市运营管理信息智能化发布,为市民提供更加及时准确的生活出行信息,主要包括预警信息,预测信息,告警信息等。同时向上级部门推送日常保送信息,以及重大突发应急事件。建设步骤1 .调研定位中国移动团队对领导进行系统的访谈,收集相关背景资料,对各项规划进行解读。对产业现状、景区现状、信息化现状有了总体认识,支撑了后期整体规划和运营中心建设。2 .梳理规划在调研定位的基础上,梳理规划,明确各项需求,提出了总体目标,设计总体架构。梳理规划将指导后期的运营中心建设。3 .运营中心建设以5G+AICDE构建泛在智能基础设施,建设
30、统一运营中心,赋能信息应用升级,统一接入,实现数据互通、应用互联。4 .数字李生运营实现所有物理部件的数字挛生;物理与数字挛生同步运行、闭环智能、智慧决策,实现的智慧、智能运营。项目建设方案总体设计方案城市运营管理系统依托城市一体化大数据中心,聚合各级政府部门、社会和商业服务机构的服务资源,通过各类智慧型应用对城市的综合监管提供全方位的服务内容和资源,将智慧城市运营中心打造成智慧城市建设的核心功能聚集地与展示平台,中心整体框架如下图所示:图1:整体架构图其中底层是利用城市云平台计算技术,实现虚拟化软硬件的资源管理与调度;数据层汇聚融合包括物联网感知数据、政府数据、互联网数据、社会数据等城市数据
31、,并完成对数据的治理、管理和监控;平台层通过对各类数据资源,应用大数据分析等信息化技术手段,构建数据可视化、数据分析、城市感知等支撑平台,统一为应急联动指挥、辅助决策、运维管理、城市运行监测等提供数据支撑和计算支撑。应用层包括联动指挥、辅助决策、运维管理、城市运行监测展示等四个方面的专题应用。支撑平台方案数据治理平台城市数据治理平台可依托市政务数据汇聚共享平台,汇聚分布在各委办局部门的离散数据,运管中心与汇聚共享平台建立数据对接通道来获取数据。运行综合管理中心数据平台支持接口上架方式将数据汇聚到市数据汇聚共享平台,并提供ETL同步工具对接市数据汇聚共享平台,将数据实时或定时同步至数据资源池。对
32、存储在“数据资源池”中的数据和市数据共享平台提供的APl接口,运管中心数据平台提供统一的数据共享服务接口,将数据通过文件下载、APl接口调用、消息订阅等多种形式实现城市运行综合管理中心各智慧应用的共享。数据治理平台通过与市政务数据汇聚共享平台的对接,对辖区内各种各类网络中不同信息节点的数据清洗、分析,形成涵盖城市管理、公共安全、产业发展、民生服务、生态环保的各个领域、各行业、各业务的数据集合。平台具有对这些错综复杂、数据结构各异的数据进行分类、清洗、抽取、挖掘、分析、汇集、共享、交换的功能。平台为城市运行监测系统等智慧应用提供信息与数据的展现、查询、调用、应用,为市各级行政主管部门领导在制定战
33、略决策、编制行政文件图2:数据治理平台架构设计数据标准规范:提供质量标准、编码标准、安全标准、共享交换标准、数据字典等一些列标准建设,为数据平台各环节执行提供规格依据;数据监控:对平台的数据生产全过程、数据服务、数据溯源流向进行监控;对用户行为和系统日志进行监控,保证数据平台每个节点的跟踪监管。数据汇聚:通过与市数据汇聚共享平台建立数据对接通道来获取数据,运行综合管理中心数据平台支持接口上架方式将数据汇聚到市数据汇聚共享平台,并提供ETL同步工具对接市数据汇聚共享平台,将数据实时或定时同步至数据资源池;数据治理:通过数据资源数据交换传输作为通道,实现数据的交换、数据采集、数据检测、数据清洗加工
34、、数据脱敏等功能,与已建汇聚共享平台对接,再通过本平台自身数据采集、检测、清洗、加工来实现市数据的整合工作;管理平台:质量管理包括检测规则和任务,对数据质量进行检测,提高数据质量;安全管理对数据进行脱敏保证数据安全性;数据资源管理包括数据目录、元数据目录、服务目录管理、通用管理、资源管理、服务管理等;组件管理包括基础组件、用户服务组件、系统管理和监控管理组件;展现层:通过统一的平台门户,为用户提供数据服务,包括数据展现、数据分析、信息推送、数据查询,提供友好的界面展示系统功能、接收用户请求,并以统一的API接口形式实现城市运行综合管理中心各智慧应用的共享。大数据平台管理大数据平台管理功能是支撑
35、平台的基础应用,保障系统安全、可靠运行。主要功能包括基础服务组件、系统管理组件、用户管理组件及监控管理组件等功能应用。基础服务组件实现把存储、数据库、中间件、分布式计算、搜索、消息推送等资源和能力以云服务的形式提供给用户,为各类应用提供云计算模式的存储和计算服务。系统管理组件包括系统维护、服务日志管理。1、系统维护系统维护主要完成系统功能管理、数据字典的维护。系统功能管理:系统功能菜单的管理维护,方便根据喜好调整系统功能菜单。数据字典:数据字典的维护管理。2、服务日志管理服务口志管理提供给系统管理人员进行查看服务管理库存储的服务管理系统的服务的日志,包括对服务情况、服务目录查看、对外提供服务调
36、用等记载的日志记录,并对这些日志提供相应的管理和维护功能。用户管理组件1、行政区划实名注册用户支持行政区划树的管理,支持中央、省、市、县、乡镇、村委会6级行政区划管理,能够较好的支持行政区划管理及导航的需要。一般注册用户已认证.证用户需填写个人姓名、身份证需上传本人持身份证照片号码,并验证手机号码资源官埋的布笠。3、用户管理用户基本信息管理包括账号管理、电子档案、用户关系管理及用户权限等功能。账号管理包括账号基本信息、头像信息、第三方账号绑定管理、提醒设置等;电子档案是用户在线的档案管理中心,用户可以上传、变更、删除个人的电子档案,上传的电子档案,经用户授权后,可供其他业务系统使用。4、权限管
37、理权限管理是将用户、角色、应用(组件)、访问资源四个主体形成的角色矩阵管理,将用户的访问权限控制在应用资源访问上。5、统一认证用户的认证分为三个级别,分别是一般注册用户、准实名制用户、和实名制用户。图3:用户认证流程6、安全管理安全管理中心提供账号安全设置功能,平台可根据用户的安全设置自动评估出用户的账号安全度,账号安全度低的用户可以通过安全设置提高自己的账号安全度,另外,为了检查账号是否有登录异常,用户可以查看自己的登录历史,一旦发现存在非本人的登录记录信息,用户可以及时修改密码。7、实名认证网络实名制就是指在现有网络环境中,用户不再实行匿名或自编名的方式发表言论,而是将用户的真实姓名、身份
38、信息与用户言论进行关联,必要时可以了解到作者的背景资料等信息。互联网环境的虚拟性、开放性和无强制性使得人们可以在网上无所顾忌,任意发布传播虚假、不良信息,网络实名制将使这种现象受到制约;网络实名制有利于清除网络上各种垃圾信息,增加信息的可信度和网民之间的信任度;还可以减少恶意的谣言、中伤、人肉搜索等给现实生活中的人带来的伤害。8、单点登录用户管理中心提供了多种单点登录集成方式,针对不同的业务系统可以根据实际场景选择相应的集成方式。单点登录为数据平台提供了统一的身份验证功能,实现一站式登录。目前,用户管理单点登录集成方式包括域内共享session方式、域内共享cookie方式、跨域SAML集成方
39、式及oauth单点登录方式。 共享session方式共享SeSSiOn方式适用于域内,并且技术实现相同的业务系统,如数据平台应用接入平台与数据平台用户云空间属于同一个父域,并且都是基于javaWeb技术开发的,应用接入平台就可以与用户云空间通过共享session方式进行单点集成。 共享cookie方式共享COOkie同样仅适用于域内,但是对于技术实现没有限制,ASP、.NET、javaWebPHP程序都可以通过该方式与数据平台用户云空间进行单点登录的集成。 跨域SAML方式跨域SAML单点集成对于是否跨域、技术实现是否相同均无限制,任何Web业务系统理论上都可以与用户云空间进行单点集成。 Oa
40、uth登录方式Oauth登录方式是第三方应用集成用户系统最常用的方式,基于oauth标准协议完成用户认证。监控管理组件1、数据监控采集监控对于ETL数据采集过程的每一步,提供可视化的在线监控系统。通过监控系统,可以查看所有正在运行的转换任务、故障历史等。监控记录中详细描述了数据采集的成功数目、失败数目,转换时长、日志明细等。 数据审计为实施防抵赖,对于用户在使用系统期间的关键操作进行审计记录,主要包括用户的数据上传记录、下载记录、修改记录、数据管理的关键操作步骤等,管理员可以根据需要实时查看审计日志,监控系统资源的使用情况,以防范和化解系统安全风险。2、服务监控服务监控完成服务系统中已发布服务
41、的服务调度、以及运行监控管理。监控管理中心是监控管理逻辑节点及部署在逻辑节点上面的项目、服务、组件及业务流程等运行状况的集中管理监控环境。通过监控管理中心,用户可以查看逻辑节点及部署在逻辑节点上面的项目、服务、组件及业务流程等运行状态、口志信息等,并能够对所监控的对象进行如启动/停止等控制。运行监控运行监控对服务目录中的所有服务进行数据和图形化的监控,包括对服务的启动/停止,对服务的状态,使用情况等进行监控,同时集成业务流程引擎、消息中间件、应用服务器等运行支撑环境的监控管理功能,实现整个服务管理系统的运行监控。服务调度实现对服务目录中所有服务进行调度的功能,包括:服务的中止、服务运行中的强制
42、退出、服务的定时关闭和启动、服务的条件触发等。大数据治理服务数据标准规范建立摸清信息资源的现状和特点。通过全面调查政府部门的业务、数据和信息化情况,掌握并理清信息资源的类型和属性,明确数量和当前状态,使信息资源目录发挥资源“台账”的作用。将信息资源细化,目录中的信息资源要细化到文档表单和重要指标项,今后通过目录的持续升级,最终细化到所有指标项,并对重要指标项建立统一规范。数据标准管理数据标准是基于对数据的梳理,整理出数据元对应的数据字段的格式标准。不同字段对应的数据元可以由系统自动识别和匹配,同时也可以做自定义设定。平台自动识别和匹配的格式标准也可以根据实际需求做个性化的设置和调整。数据资源管
43、理数据质量的好坏决定了数据价值的高低。高质量的数据可以保证数据应用、数据服务的质量。高质量的数据已成为组织最具价值的资产之一。数据的流通面临数据质量的问题,只有高质量的数据才能保证数据应用和服务的价值。针对信息资源的数据质量和数据安全,我们通过数据标准、数据检测、数据清洗、数据加工、数据脱敏等功能来提升数据的价值。数据脱敏敏感数据,又称隐私数据,常见的敏感数据有:姓名、身份证号码、地址、电话号码、银行账号、邮箱地址、所属城市、邮编、密码类(如账户查询密码、取款密码、登录密码等)、组织机构名称、营业执照号码、银行帐号、交易日期、交易金额等。数据脱敏又称数据漂白、数据去隐私化或数据变形。百度百科对
44、数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。这样,就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。大数据生命周期管理处理采集过来的数据,实现数据的清洗、转换、加载功能,一方面保障采集的数据能正确、完整、规范地加载到目的地;另一方面,实现数据整合过程中的异常处理机制,如:处理传输异常、数据加载异常、数据结构与质量异常等。数据处理是数据中心的核心内容,系统需提供基础数据服务,主要步骤包含数据抽取、数据清洗、数据转换和数据加载等功能。数据处理是数据比对整合系统的核心,作为一个面向服务的平台,数据清洗整合应用就是由多个数据服务
45、组成的,其中包括一系列预定义的基础数据处理,这些基础数据处理包括以下几个:数据抽取数据抽取就是从数据中心的中心库中获取业务数据的过程。数据来源为业务系统和文件系统,抽取方式为根据具体业务进行全量抽取或增量抽取,根据具体业务制定抽取的时间、频率、这些参数都是可配置的。抽取方式:1.全量抽取:该抽取方式一般在数据初始化的时候使用。将数据源中的数据原封不动的从数据库中抽取出来。2.增量抽取:我们采用基于时间戳的增量抽取。1)建立数据库连接2)定义一张数据字典表,定义需要进行处理的任务,其中主要包括业务数据库和目标数据库的表名、字段列表、以及条件等。3)对比源表和目标表的目前最大时间,抽取数据时间断为
46、【目标表的最大时间】一【原表的最大时间】4)根据设置的抽取频率循环抽取。数据清洗数据清洗指对前端抽取过来的数据进行清洗处理,包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。数据清洗的任务主要是进行不一致的数据转换、数据粒度的转换、数据去脏和一些转换规则的计算。其中不一致转换过程是数据整合的过程,侧重于将来源于不同业务系统的相同类型的数据进行统一处理;数据粒度转换需要对数据进行统一归整;转换规则计算按照设计的计算归则对数据进行重新计算。系统支持批量清洗和实时清洗,针对批量离线数据进行分布式并行清洗转换,针对实时数据进行不落地清洗转换。数据清洗主要是针对源数据库中出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行统一的处理,一般包括如:NULL值处理,日期格式转换,数据类型转换等等。在清洗之前需要进行数据质量分析,以找出存在问题的数据,数据质量问题具体表现在以下几个方面:正确性:数据是否正确的表示了现实或可证实的来源完整性:数据之间的参照完整性是否存在或一致一致性:数据是否被一致的定义或理解完备性:是否所有需要的数据都存在有效性:数