《城市社区嵌入式服务平台解决方案.docx》由会员分享，可在线阅读，更多相关《城市社区嵌入式服务平台解决方案.docx（75页珍藏版）》请在课桌文档上搜索。
1、城市社区嵌入式服务平台解决方案目录1 项目背景42 项目整体设计架构41.1 1总体架构41.2 数据流向51.3 逻辑处理（大数据治理一挖掘分析）51.4 业务处理61.5 标准规范建设61.6 窄带物联网建设71.7 城市社区嵌入式服务平台错误!未定义书签。1.8 8城市社区嵌入式服务平台错误!未定义书签。1.9 社区应用APP591.10 10总体步骤三阶段672.11地图制作672.12数据采集672.13机房环境682.14网络环境682.15硬件安装682.16短信号码申请682.17微信公众号申请682.18系统软件安装691.1 19应用软件安装692.20 数据倒入692.2
2、1 系统开通测试692.22 人员配置692.23 人员培训692.24 平台宣传692.25 正式运营703 运作模式704 项目测试及验收705 服务维护与保障机制705.1 维护方式及流程705.2 维护服务方式715.3 服务保证716 售后服务承诺726.1 1培训承诺726.2 培训对象及内容726.3 培训计划736.4 质保和售后服务承诺736.5 保修期的注意事项731项目背景社区是城市公共服务和城市治理的基本单元。记者26日从国家发展改革委了解到，国务院办公厅近日转发国家发展改革委城市社区嵌入式服务设施建设工程实施方案。方案提出，城市社区嵌入式服务设施面向社区居民提供养老托
3、育、社区助餐、家政便民、健康服务、体育健身、文化休闲、儿童游憩等一种或多种服务，优先和重点提供急需紧缺服务，确保便捷可及、价格可承受、质量有保障，逐步补齐其他服务。方案明确，工程覆盖各类城市，优先在城区常住人口超过100万人的大城市推进建设。综合考虑人口分布、工作基础、财力水平等因素，选择50个左右城市开展试点，每个试点城市选择100个左右社区作为社区嵌入式服务设施建设先行试点项目。到2027年，在总结试点形成的经验做法和有效建设模式基础上，向其他各类城市和更多社区稳妥有序推开，逐步实现居民就近就便享有优质普惠公共服务。O2项目整体设计架构2.1总体架构城市社区嵌入式服务平台由1个门户网站、1
4、个网格化管理平台(含30多个子系统)、GIS地图、无线移动终端(Andriod)等4个整体框架构成建设，实现创新型社会管理服务体系的科学化和人性化物联网网络层连接砌层和应用层随时随地的连接实现当前最熠的部分网络层主要层次接入网：无线/光纤各种类型的接入形式核心网：统一Ip协议上的大带宽的可靠网络业务支撑平台：业务统一管理部署和运营支撑网络层突破方向扩展规模，以实现无处不在业务可扩展的管理运营能力 .简化结沟，上不层面融合规华展带来IPV 6的发展动力 Ip统一的W降你突业务支撑平台 母用S送和业券的通道和联动控制逻用 实现不同建儒和业务统一营理、部客和扩展 针对客户提供用户自定义业务环境和接口
5、核心网络&业务网关.-IPM议的被朝核旃缗/S/接口 针对海量旃和位可靠性要求的拓扑和机制 边编业务控制实现业务想知、控制和第Ig转发接入网络.无送接入：4G5GLTEZWLAN/WiMax育送接入：的(PON)(XDSl)2.2数据流向应用层作用信息技术与行业专业技术结合实现广泛智能化应用的解决方案集合计算能力存储能力SaaSPaaSIaaS云计算的育义： 适应业务量瑁长 ：不确定性的弹性架 ：构体察：适应海量数生计：西发的架施： S湃 Kfi9 应 ：用提供和部署环埴 ；.ITSg杓和商业模& 智靛 三 日 智能通.JHifi.三.学宜第物联网的W展六大执壬次羔，中型应用生即冲浴方向2.3
6、逻辑处理(大数据治理一挖掘分析)电商交易政府多为摆 部ffiS S行敷 外效 产Si数据挖掘算法数据分析应用供应商 。赫：1P化腌网络(PTN/CE)2.4业务处理2.5标准规范建设针对城市社区嵌入式服务平台建设过程中涉及的基础数据采集、软件、硬件、集成服务、运维服务、运营服务，安全保密等方面，制定出一整套标准规范，使项目具备可推广性、可复制性、可扩展性、可持续性，标准规范涉及以下几部分。数据采集标准：定义数据采集类型、采集方法、存储格式等。(2)数据治理标准：定义城市社区嵌入式服务平台数据资产的数据模型、数据资产目录、数据服务管理等数据治理体系。应用集成标准：定义基于微服务架构的应用集成接口
7、标准。(4)硬件设备标准：定义设备参数、性能等。软件接口标准：定义数据访问、共享、交换等接口。(6)运维服务标准：定义项目运维服务级别与内容。(乃安全保密标准：定义项目的安全保密级别与安全保密措施。2.6窄带物联网建设城市社区嵌入式服务平台物联网采用窄带物联网(LPWAN)技术实现，LPWAN是为物联网应用中的M2M通信场景优化的，由电池供电的，低速率、超低功耗、低占空比的，以星型网络覆盖的，支持单节点最大覆盖可达15公里的蜂窝汇聚网关的远程无线网络通讯技术。该技术是近年国际上一种革命性的物联网接入技术，具有远距离、低功耗、低运维成本等特点，与W旧蓝牙、ZigBee等现有技术相比，LPWAN真
8、正实现了大区域物联网低成本全覆盖。2.6.1 系统架构0程投射应闲名籍安全边R图错误!文档中没有指定样式的文字。1社区综治物联网系统架构1.PWAN支持上与下双向数据传输。从下至上时，传感器件采集数据后，经LPWAN节点模块传输至LPWAN网关后，再经由视频专网上传到管理平台，实现与城市社区嵌入式服务平台物联网数据中心的对接。从上至下时，用户平台通过互联网经安全边界发送指令或信息给城市社区嵌入式服务平台数据中心，通过管理平台发送到LPWAN网关（通过视频专网），再通过物联网传输网发给与控制器件连接的LPWAN节点模块，从而实现对控制器件的控制。网络架构1.PWAN网络架构为星状网并发架构。如图
9、所示，一点对多点通信，多个从节点可同时与中心点通信，从节点可随机上报数据，节点可以根据外界环境和信道阻塞自动采取跳频和速率自适应技术，逻辑上网关可以接收不同速率和不同频点的信号组合，物理上网关可以同时接收8路、16路、32路甚至更多路数据，减少了大量节点上行时冲突的概率。该系统具有极大的延拓性，可单独建网，可交叉组网。图错误!文档中没有指定样式的文字。-2城市社区嵌入式服务平台物联网网络架构2.6.2 术架构系统主要分为四部分：LPWAN节点模块、LPWAN网关、LPWAN服务器、LPWAN管理平台，系统架构示意图如图所示。DevicesGatewaysNetwork Server图错误!文档
10、中没有指定样式的文字。3城市社区嵌入式服务平台物联网技术架构1.PWAN节点模块(NOde)1.PWAN节点模块，代表了海量的各类传感应用，在LPWAN协议里被分为ClassAClaSSB和ClaSSC三类不同的工作模式。CIaSSA工作模式下节点主动上报，平时休眠，只有在固定的窗口期才能接收网关下行数据。ClaSSA的优势是功耗极低，比如针对水表应用的10年以上工作寿命通常就是基于CiaSSA实现的。CIassB模式是固定周期时间同步，在固定周期内可以随机确定窗口期接收网关下行数据，兼顾实时性和低功耗，特点是对时间同步要求很高。2.6.3.1 CIaSSC模式是常发常收模式，节点不考虑功耗，
11、随时可以接收网关下行数据，实时性最好，适合不考虑功耗或需要大量下行数据控制的应用，比如智能电表或智能路灯控制。2.6.3.2 1.PWAN网关(GateWay)网关是建设LPWAN网络的关键设备，目的是缓解海量节点数据上报所引发的并发冲突。主要特点如下：(1)兼容性强，所有符合LPWAN协议的应用都可以接入；(2)接入灵活，单网关可接入几十到几万个节点，节点随机入网，数目可延拓；(3)并发性强,网关最少可支持8频点，同时随机8路数据并发，频点可扩展;(4) 可实现全双工通信，上下行并发不冲突，实效性强；(5)灵敏度高，同速率下比非LPWAN设备的灵敏度更高；(6)网络拓扑简单，星状网络可靠性更
12、高，功耗更低；2.6.3.3 (7)网络建设成本和运营成本低。2.6.3.4 1.PWAN服务器(SerVer)Server负责LPWAN系统的管理和数据解析,主要的控制指令都由服务器端下达。根据不同的功能，分为：网络服务器(NetWorkSerVer)与网关通信实现LPWAN数据包的解析及下行数据打包，与应用服务器通信生成网络地址和ID等密钥;应用服务器(APPlieationSerVer)负责负载数据的加密和解密，以及部分密钥的生成;客户服务器(ClientSerVer)是用户开发的基于B/S或C/S架构的服务器，主要处理具体的应用业务和数据呈现。263,4LPWAN管理平台(Cloud)
13、平台架构1.PWAN管理平台，为海量LPWAN节点模块、LPWAN网关以及整个网络提供管理服务，作为LPwAN数据的汇聚平台，为城市社区嵌入式服务平台物联网数据中心提供物联网数据并与之无缝集成。针对物联网设备提供完善的网元管理、数据管理、服务管理等功能。运维人员可以远程对设备进行设备实时在线状态监控、节点参数配置、网关软件升级、网络拓扑视图管理等。图错误!文档中没有指定样式的文字。-4管理平台（CIoud）架构263.4.2产品功能管理平台主要由网元管理、告警管理、网络分析、专题诊断、基础管理、用户管理、数据管理这7个系统模块组成。软件功能如下：物联网云平台网元拓扑告警管理网络分析专题诊断基础
14、管理用户管理数据管理图错误!文档中没有指定样式的文字。-5管理平台系统功能(1)网元拓扑将网元设备进行分类管理，并以在地图上进行展示，以了解设备的当前的各种状态信息(安装信息，位置信息，告警状态，设备类型等)，方便设备的维护。(2)告警管理告警管理模块，可查看所有当前告警设备状态和设备历史告警信息，可对设备告警规则和告警推送进行配置，配置后设备按照配置规则进行告警并将告警信息推送给相关人员，提醒相关人员进行处理。网络分析该模块功能用于分析设备的各项性能指标，选择不同的时间段和时间粒度，统计性能指标。通过设备性能指标的统计运维人员可分析设备性能是否良好，工作是否正常。(4)专题诊断专题诊断模块主
15、要用来对整个网络进行一些不正常现象的分析，其中包括节点丢包率分析，appEui收包统计，节点丢包分析。节点丢包率分析：统计一个应用下一段时间内所有设备的实收包数，丢包数和丢包率。appEui收包统计：统计一个应用下的所有节点发包数的和。节点丢包分析：统计分析单个节点的丢包率、离线时间、重传率、RSSI.SNR、收包统计等。通过这些单节点，和全局的分析，可诊断出网络故障。从而减少了网络运营人员的工作量，更快更好地排除和定位问题，并为网建网优提供更多参考。（5）基础管理基础管理又分为网关管理，节点管理和主站管理。网关管理：网关管理中可进行网关的注册、查看和修改已经注册的网关、查看网关日志流水。节点
16、管理：与网关管理类似可以进行节点的注册、修改节点信息查看和日志流水查看，除此之外还可以查看节点与网关间的链路关系。主站管理：主站添加、修改和删除功能。1）用户管理：通过对角色和用户的配置，实现对用户权限的管理。 系统用户的添加、修改和删除功能。 角色管理：系统用户角色的添加、修改、删除、配置（配置权限）。角色的权限可根据需要配置，可控制模块菜单级权限，也可控制按钮级权限。 用户配置：为系统用户配置角色。2）设备管理：用户可以查看自己的设备信息 用户列表：用户添加、修改、删除 网关列表：给用户绑定网关 节点列表：给用户绑定节点3）应用管理：添加应用后，将应用（appEui）的设备数据推送给应用接
17、收方。 应用列表：应用添加、修改、删除 接收列表：接收方添加、修改、删除 绑定应用：绑定接收方和应用4）数据运营推送日志：数据推送日志流水错误信息：数据推送失败信息日志流水API日志：接口调用情况日志流水2.63.4.3产品特点1）支持可服务和可运营通过管理平台，运维人员能随时掌握设备运行状态，更加快速方便地去定位和排除网络和设备故障，以保证网络和设备的正常工作。2）支持海量接入平台建立了设备与云端之间安全可靠的双向连接，以支撑海量设备的数据收集、监控、故障预测等各种物联网场景。使用云数据库，能在存储和处理海量数据，为海量设备的接入提供支撑。可根据不同需求对设备进行分批分级管理，避免了接入大量
18、设备后管理上的难度，同时提供了设备运维支持功能，为维护工作减少难度。3）支持弹性扩张轻松支持海量连接和并发消息接入，可随时弹性按需扩展物联网应用。4）支持公有云服务向外部用户提供多种服务。外部用户可通过互联网访问服务，并不拥有云计算资源。根据需要、易扩展的方式为客户提供所需数据服务，从平台将客户所需数据推送给客户。5）支持私有云服务在客户拥有基础设施情况下，在此基础设施上部署平台。可部署在数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所，私有云的核心属性是专有资源。这样客户就拥有了对云资源使用情况的极高水平的控制能力。这样使数据更加安全，服务质量更加稳定。6）丰富安全接入接口提供了
19、设备注册数据推送等安全接口，能避免伪装攻击、篡改攻击、防止数据信息泄漏。2.6.4网关设备2.6.4.1产品外观图错误!文档中没有指定样式的文字。-6产品外观2.6.4.210接口分布窄带物联网网关设备可配置2个RF天线接口、1个4G天线接口、1个Wifi天线接口、1个GPS天线接口、1个以太网接口、12V电源接口。图错误!文档中没有指定样式的文字。-7IO接口分布2.6.4.3 单元电路设计通信基站产品在硬件上支持1-2个8ChannelLPWANRF模块，各频段可灵活配置。云端网络的接入方式可同时支持3G/4G或有线以太网。支持DebUgCOM调试或模式配置，支持GPS/Beidou定位授
20、时模块。图错误!文档中没有指定样式的文字。-8单元电路设计2.6.4.4 网关供电方式设备出厂时电端线仅配一条5m长电源线，一端是航空防水接头形式，直接与基站POWer接口相连，另外一端裸线，安装施工人员根据现场环境选择接入外部DC12V电源端。图错误!文档中没有指定样式的文字。-9DC12V电源线2.7城市社区嵌入式服务平台2.7.1 平台架构物联网数据中心的建设实际上是基于一个大型的数据资源整合平台上结合具体应用系统接入的建设，以项目数据为基础,结合实际情况和业务数据资源,通过合理的分层次设计，将这些资源构建到一个庞大的数据库内进行统一整合调配。数据中心按照“存储灵活、数据集中、管理方便”
21、的主要思想进行架构，划分为基础环境层、警务公共数据库、数据整合及应用层三个层次，以及安全保障与标准规范体系、组织管理与运行保障体系、警务资源交换体系、警务信息资源目录体系四个体系组成，如下图所示：图错误!文档中没有指定样式的文字。-10数据中心体系架构图基础环境层：由物理设施资源与虚拟化资源构成。通过通讯网络、智能终端和时空基准等方式，建立资源信息获取、传输与关联的媒介，使物理设施资源通过虚拟化技术，有效支撑数据中心的正常运行，是系统的稳定性、扩展性与易用性的基本保隙。物理设施的核心内容主要包括网络、服务器集群、存储设备、运行环境等硬件资源和包括操作系统、数据库、中间件、GIS平台等软件资源，
22、由一定规模同构或异构的基础设施资源组成。通过虚拟化技术将基础设施层的各种异构资源进行整合，建立统一的计算资源池、数据存储池和网络资源池，形成一个整体，对外提供计算、存储、带宽等基础设施的通用服务接口。数据层：数据管理平台通过将管理各部门、社会公众关注的公开数据进行接入、清洗、融合与更新等一系列流程化的处理，汇集到数据中心。由数据管理平台提供数据及元数据管理与更新等功能，将警务部门的数据进行落地存储，并在此基础上进行数据的融合、挖掘，进一步形成面向服务的数据。资源管理平台由数据资源管理系统、服务资源管理系统共同组成，是对数据中心存储的资源数据进行全方位的管理与共享，资源共享平台包括数据交换共享平
23、台与资源目录服务系统,提供资源浏览、资源查询与资源管理等功能，还可以实现对数据资源、服务资源等各类资源按照统一的规则和机制进行的服务注册、发布和使用，通过用户的管理，同时以角色方式管理资源服务与功能的访问权限，用户可被赋予某种角色达到访问目的。业务管理：提供给外界的操作入口，可以由平台管理员、业务开发人员、业务管理人员、监控审计人员等不同角色的用户登录后对资源进行访问、管理、监控,还可以通过数据接口接入外部平台，实现数据的交换、共享。警务资源交换体系与警务信息资源目录体系是实现警务信息资源的适配、转换和传输、交换管理、流程管理、目录体系建设、运行和维护管理的基础保障，各平台的设计与实现均需遵照
24、其对应体系要求进行构建。安全保隙与标准规范体系和组织管理与运行保障体系是支撑数据管理平台、资源管理平台与应用运行的规范、制度与约束，是整个项目各系统正常运行的基础保障，各平台的设计与实现均需遵照其对应体系要求进行构建。数据中心系统从横向可划分为服务前置机层、数据中心和服务后置机三大层共同构成，其中服务前置机与各业务系统及相关前端采集设备进行通信，服务后置机对经过数据加工处理后与各业务系统或管理云网系统进行数据服务对接；从纵向上数据服务中心可划分为数据源层、数据引擎层和应用服务层三体系；从通信方面可划分为LPWAN通道、视频专网通道、专线通道、管理云网通道；从系统保障和防护体系上可划分为安全防护
25、体系、资源交换体系、运维管理体系和安全保隙体系；从数据治理方面可划分为数据运维管理、数据质量管理、元数据管理和数据安全管理；从安全风险角度系统可划分为各专线网络通道、内网通道和防火策略及身份认证体系构成；从服务能力方面可划分为数据输入对接服务、数据输出对接服务和订阅发布服务。2.7.1数据交换与服务对接本方案结合业务需求和系统对接特征，采用基于前后置机数据隔离方式做数据交换与服务对接。前端数据采集，通过LPWAN专线、视频专线和专线网络三种传输通道连接至数据中心，为保障数据中心安全和高性能并发数据处理，数据中心并不直接与前端设备或系统进行连接，而是通过前置服务器进行连接。前置服务器提供相关数据
26、接口和契约，同时在接收到数据之后，并对收到的消息及时回应和反馈。前后置服务器与数据中心采用物理隔离式连接方式，即数据中心服务器为内网服务器，前后置服务器为专网连接线路。同时为最大限度保障数据服务中心安全，数据中心服务器采用基于iptables和ebtables防火策略和通过前后置服务器MAC与IP地址，进行双层线路限制，同时启用白黑名单限制和异常操作黑名单限制，对发生恶意攻击或强制连接服务器进行最大限度限制和跟踪获取其信息，以备运维需要。同时从网络安全角度前后置服务器可作为数据中心两道防火墙，前后置服务器本身也启用基于iptables和ebtables防火策略和通过前后置服务器MAC与IP地址
27、，进行双层线路限制，最大化限度保障服务器网络安全。图错误!文档中没育指定样式的文字。-11数据交互从数据服务和对接层面划分，前置服务器主要用于前端设备和采集系统与数据中心的输入对接，后置服务器主要用于数据中心，经过相关数据加工处理后，与各业务系统的通信。同时数据中心从服务能力上来讲，提供三种服务：一是基于前端设备和前端系统采集的数据进行数据进入和输出服务；二是提供数据中心数据的订阅服务发布服务；三是提供消息主动投放和推送服务。与此同时，前后置服务器与各业务系统间通信采用以json格式为主体的数据传输，并同时采用https基于x.509证书的对称非对称型自定义证书加解密方式对传输数据进行加密，以
28、防止协议还原和数据传输过程中将数据发生篡改，最大限度保障数据传输和应用安全，同时结合业务和线程特征，数据传输通道采用基于vpn虚拟网络专业方式,并启用自定义证书加解方式，以最大化证数据传输安全。2.7.2数据源层数据中心与各业务系统和前端采集设备进行数据对接，通过专有网络和vpn虚拟专网进行数据传输，数据中心数据源层采用结构化和非结构化存储方式，进行数据的初步存储。其中从业务特征上划分，业务基础属性信息包括人车物等相关信息采用结构化数据进行存储，对海量数据采用非结构化数据存储，如门禁刷卡信息、车辆信息、GPS信息、人脸数据信息等。其中从业务上可以划分为：基础数据信息、人车物固定属性信息、MAC
29、地址采集信息、音视频数据信息、人脸识别数据信息、管理云网数据信息、消防数据信息等。其中数据源层，对于前端采集设备和业务系统进行数据输入对接时，需要按照数据中心的规范要求和格式进行传输，形成第一次对各业务系统的数据进行清洗。另外，管理专线或管理云网数据不做任何清洗，对其进行原始数据下载和数据预订，后经数据引擎处理，对数据进行加工清洗。图错误!文档中没有指定样式的文字。-12数据中心源层结构2.73数据引擎处理层从层次结构上数据引擎可以划分为数据获取层、数据存储层、数据管理层、数据集市层和数据服务层。其中数据获取层采用分布式ETL数据处理技术，基于多线程和GPU并发处理的任务调度器，以及通过技术手
30、段实现时序化处理的数据模型结构和数据处理监控器共同组成。2.7.4数据获取和数据存储层数据获取层为数据中心最为基层的数据处理阶段，通过本层的数据处理形成对源数据和基础数据的初步整理和加工，形成上层所需数据结构，如在本层中将源数据层中的结构化数据与非结构化数据进行按业务特征进行规划整合，将管理云网数据与现有数据进行整合和核碰，为下一阶段形成数据集市提供基础数据。图错误!文档中没有指定样式的文字。-13数据获取与数据存储在数据获取层中，一方面对源数据层数据按照业务规则进行数据清洗，另一方面根据业务特征和数据量等角度对前端采集设备和系统投入的结构化和非结构化数据进行二次组合，如将门禁等单一化信息与结
31、构化数据进行有机融合，形成能够满足业务系统需要的整合数据，本次过程为数据中心对数据所采集数据进行第一次清洗，同时也对数据形成二次分库处理，如根据业务特征需求针对不会发生变更的数据存储高效检索与查阅的非结构化数据库中，对可能涉及数据修改和变更的数据，存储临时非结构化数据库。因本项目数据量较大，传统数据系统已无法满足本项目海量数据需求，同时需要通过技术手段和业务规则对现有非结构化数据存储系统进行更改和优化，以达到本项目海量数据存储与检索需求。2.7.5数据集市和数据服务层本方案结合业务特征和数据存储特征，数据中心针对数据源采集和与各应用系统数据信息搜集后，进行二次数据清洗和处理，形成数据中心数据仓
32、库模式，同时结合业务特征将数据形成结构化与非结构化有机融合的大数据存储体系。为满足性能需求，数据中心根据业务类型划分同时针对清洗后的数据，形成数据集市和专题数据，针对需求应用系统只根据数据需要即可实时提取，同时对需要数据中心二次处理汇总的数据，采用服务订阅与发布机制，经后置服务器进行主动数据投放。数据集市主要包括人车屋专题数据、门禁综合专题数据、消息综合专题数据、管理云网专题数据、音视频专题数据、人员核碰专题数据、人脸识别专题数据等为满足特定业务特征的专题数据。本专题数据为保证最大化的服务性能与服务能力，采用读写分离机制，即数据中心采集的原始数据，在经过二次加工后处理后，形成专题数据库。抓紧数
33、据库，有数据应用服务中心，统一对外提供和暴露接口契约，为各应用系统服务。数据处理模型：，I数据清洗，专题数据，读写分离- 服务应用图错误!文档中没有指定样式的文字。-14数据处理模型2.7.6服务应用层为保障各业务系统和应用系统能够及时获取数据中心加工处理后的数据，数据中心引入订阅发布机制和主动投放模式，以便于信息投入的及时性。在本方案中，数据中心提供四种通信机制模式服务：一是被动推送服务，即各应用系统根据接口规范将相应数据主动发送至数据中心；二是数据中心提供相应接口由各应用系统主动根据接口规则获取数据；三是数据中心提供订阅发布服务，即应用系统根据业务需要订阅数据中心相关数据，当数据中心产生新
34、的数据后，主动通知对方,并将相关数据主动推送至订阅方；四是根据业务系统接口规范，数据中心将加工处理后的数据主动调用应用系统接口，将新产生的数据主动投放至对方，以满足应用系统需求。主动投放U被动投放订阅发布，订阅发布，被动投放一数据中心主动投放订阅发布七订阅发布七图错误!文档中没有指定样式的文字。-15基于订阅发布和主动投放的服务层应用2.7.7数据治理服务数据治理管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。本项目中，特别是数据ETL处
35、理与专题数据库形成等核心数据处理程序和业务较多，采用基于数据治理管理模型对本项目数据进行统一化管理，从数据产生及消亡整个生命同期进行管理，一方面提高系统数据的质量；另一方面保证数据的安全与完整性。数据治理服务质量管理划分为安全管理、元数据管理、数据质量管理和运维管理四方面。其中安全管理从数据安全管理、应用安全管理、网络安全管理四方面进行数据安全的全方位管理；元数据管理从元数据应用服务、元数据管理功能和元数据基本维护功能进行管理，数据质量管理从评估报告管理、问题处理流程、数据质量监测、规则配置进行数据化的管理；运维管理从数据运维报告、备份与恢复服务、定义与变更管理、数据字典管理服务等角度进行数据
36、运维化的管理。数据运维管理数据运维管理主要是数据字典的管理、数据的定义与变更、数据的备份与恢复以及周期性生成的数据运维报告管理。在本项目中，基于行业字典及数据字典，系统采用统一化管理，通过统一化管理，既方便系统集成统一化调用，又通过数据治理管理手段进行统一化管理。针对项目中可能发生的数据的定义与变更、数据备份及恢复等通过系统数据检测手段，进行细粒度周期性检查，如每天增量备份等，待系统发生异常现象一方面系统进行自检，另一方面系统紧急发出警报同时记录所有系统行为的全过程操作，以便于问题排查和最大限度的降低风险。数据运维报告是依据系统规则配置，周期性输出项目数据统计信息，从不同维度了解和掌控系统数据
37、运维状况，能够更好服务于系统的运行。数据质量管理数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。在本项目中，数据质量管理主要是由数据规则配置、数据问题处理流程、数据质量检测和数据评估报告构成。其中为保障系统数据完整性与安全性，系统采用规则配置模板进行数据集成与交互服务的格式校验，另一方面采用数据流程化处理手段，对发生数据问题等异常现象时，采用数据路由规则模式进行数据的校验与回退，同时系统周期性对本项目产生的数据进行质量检测，对发现
38、或可能产生的异常现象及时进行警报，并周期性形成评估报告，以便于系统的安全稳定运行。元数据管理元数据管理包括业务词汇表的发展，数据元素和实体的定义，业务规则和算法以及数据特征。最基础的管理是管理业务元数据的收集、组织和维持。在本项目中，元数据管理主要分为元数据模型配置、元数据基本维护、元数据管理服务与元数据应用服务四大类。其中模型配置为对本项目中元数据管理的核心要素，无论是业务产生数据还是集成对接，本项目中对元数据包括原始数据进行存档归类，一方面通过模型配置文件进行特征数据提取并ETL处理，另一方面对形成的元数据本身进行应用管理服务。如通过ETL数据处理后，送入专题数据库等。数据安全管理数据安全
39、管理主要是对数据通讯传输安全、数据应用安全保障等角度的管理。其中在本项目中无论是平台应用服务中心还是与第三方系统集成对接过程，都采用双向自定义证书加解密码措施，进行数据传输安全的管理，同时针对平台服务中心及消息服务总线和消息队列等模块，都采用基于https等协议进行提供交互服务，即最大化保障数据安全。272平台系统功能描述物联网数据中心可分为数据汇集接入子系统、数据清洗转换子系统、数据资源管理子系统、服务资源管理子系统、数据共享交换子系统、资源目录服务子系统、数据分析子系统。物联网数据中心据集系充 数汇子经据洗换系笳数清转子”据源理系充数资管子纵务源理系充服资管子综源录系充 资目子综据析系充
40、数分子绿据享换系充数共交子绿图错误!文档中没有指定样式的文字。-16物联网数据中心功能组2.7.8数据汇集接入子系统数据汇集接入子系统主要是提供一系列的数据接入适配器和消息队列服务，将各种不同来源、不同格式、不同方式的数据体接入进来，以消息队列的方式放到后续环节。2.5.8.1文件接入提供Excel格式、Shape文件等标准格式的数据导入功能，支持空间地图数据。用户可通过数据上传的方式将数据导入到数据中心。2.5.8.2物联网消息流接入物联网实时消息可通过消息队列的方式导入到数据中心，数据中心提供数据主题订阅模式的高并发消息流接入。2.5.8.3数据库表接入提供外部数据库表的数据映射导入功能，
41、可支持Oracle、Postgres等常用数据库。2.58.4Web服务接入支持外部标准Web数据服务的接入方式，支持JSON数据协议，通过定制相关的数据转换器来实现Web服务的数据接入。2.58.5分布式消息队列提供分布式发布订阅消息系统，具有分布式、分区和可复制特性，可同时为发布和订阅提供高吞吐量；支持多订阅者，当失败时能自动平衡消费者；可将消息持久化到磁盘，因此可用于批量消费。2.7.9数据清洗转换子系统数据清洗转换子系统提供数据转换、数据融合功能，将物联网实时传输的数据进行清洗、过滤、加工、融合和转换功能。转换系统可通过数据融合工具、转换工具等，实现空间与非空间数据的接入/抽取、清洗、
42、转换和装载逻辑。2.5.9.1数据转换将物联网、视频网推送来的带有时空属性的不同标准数据转换为管理标准的物联网时空数据格式。它能实现各类格式的数据相互转换，并提供简便与更具特色的数据转换方式，进行单一或批量数据集的转换。2.5.9.2数据抽取提供时间、地名、人名、事件等自动抽取功能，可从非结构化文本中抽取结构化信息，用于后续处理。2.5.9.3数据融合定义数据源与数据融合方案,制定标准数据的加工过程如：数据清洗、数据过滤、数据加工、数据排序、转换等，并对加工过程进行质量监管，保障数据质量。2.5.9.4数据关联可将不同数据以数据键关联的方式进行合并，形成新的数据集，提升数据的可用性。2.5.9
43、.5冲突处理当不同来源的数据发生冲突时可自动检测，提供数据编辑界面出来供用户手工处理，减少数据无效性。2.5.9.6数据加载可将数据抽取、融合和清洗后的数据加载到数据库中，支持空间数据和非空间数据。2.7.10数据资源管理子系统对数据中心的各类资源进行管理，提供数据资源和服务资源的组织和服务。数据资源管理是数据中心进行数据组织的大管家。外部数据通过数据融合平台将数据装载到公开数据库，经过编目组织、数据质检和挖掘分析后，可进行数据资源的对外共享。2.5.10.1数据存储提供常规业务数据和空间数据的存储管理，包括：实有人口、实有组织、实有房屋、实有车辆、警务业务数据、地图瓦片、地名地址、POI、带
44、有时空标签的数据流（如：轨迹点）、道路、居民区等数据。对于数据量流入大的数据可提供分表机制，以实现高效吞吐。2.5.10.2元数据管理提供数据字典，可对数据仓库中的各类数据表、字段定义描述标签和中文名称,并提供以数据标签为中心的数据资源全库检索。2.5.10.3数据浏览提供表格、统计图表、地图散点图、热力图、气泡图、轨迹动态图等多种数据可视化方式，可直接对数据仓库中的数据进行浏览查询。2.5.10.4数据备份可针对数据消息队列和在已存储的数据体采用数据库和文件形式的数据备份功能，供数据容灾恢复或历史数据查看。2.5.10.5数据迁移恢复提供数据迁移恢复功能，提供数据库的整体导出和导入功能；提供
45、消息流分区复制、分区存储和重新发送功能。2.5.10.6异常审计对数据库访问的频繁程度、数据库连接时长、消息发送频率、消息包体大小等异常进行监控和审计，避免数据中心受到攻击。2.5.10.7访问授权对数据中心的访问进行授权管理，可分配不同角色，支持用户分组管理。2.5.10.8状态监控对数据中心的网络状态、数据库运行状态、集群服务器的CPU/内存情况等进行全面监控，并可设置状态报警，便于管理员及时发现和解决问题。2.7.11服务资源管理子系统服务管理是用于发布资源管理系统中目录数据和数据中心的数据实体，为专题应用提供数据发现与获取的渠道。服务管理系统提供服务创建、停止、更新等功能。同时还提供服
46、务运行状态监控、操作日志记录等服务运维管理功能。2.5.1L1服务发布提供服务发布功能，可录入服务的相关元信息，包括：服务类型、服务名称、服务端口、服务URL、访问用户、服务访问形式、服务描述标签集、服务访问示例等，便于后续服务查询和调用。2.5.1L2服务管理提供服务元信息存储、服务查询和服务活动探测功能，便于整个物联网系统的运营管理。2.51L3操作统计提供服务调用频率、响应时间、失败率、用户访问等操作统计日志等功能。2.5.1L4服务代理提供服务安全代理，将真实内网服务地址进行屏蔽，提供更好的数据中心安全保障，并且在代理端提供负载平衡能力，提高Web服务的可用性。2.5.1L5服务查询提供服务的元信息检索功能，用户可给予关键字来对服务名称、服务描述、功能标签等进行查询，获取所需的服务。2.5.IL6异常告警与审计对数据服务访问的频繁程度、相应时长、失败率、IP地址进行异常监控和告警，并提供用户审计功能，便于及时发现异常攻击。2.7.12资源目录服务子系统资源目录服务以目录方式实现资源共享，是数据中心实现信息资源共享的有效手段，使用目录体系可以以更灵活的方式实现更多应用单位、更多资源的接入与共享。资源目录服务即是一种数据中心的数据管理方式，也是一种数据共享模式,在目录式共享中，各应用单位对各
