《某省环保厅项目云平台技术方案建议书.docx》由会员分享，可在线阅读，更多相关《某省环保厅项目云平台技术方案建议书.docx（57页珍藏版）》请在课桌文档上搜索。
1、某省环保厅项目云平台技术方案建议书1831项目云平台技术方案建议书目录1 系统总体概述31.1 系统基本功能31.2 系统建设的要紧设计思想与设计目标、设计原则41.3 系统的要紧技术特点41.4 系统总体构架51.5 CStor云存储系统简介61.6 CProC云处理平台简介91.7 系统设计性能111.7.1 数据流量处理能力111.7.2 数据存储读取能力111.8 系统功能132 系统设计实施与关键技术方法142.1 CStOr云存储系统142.1.1 技术架构142.1.2 工作原理162.1.3 管理机制172.1.4 关键技术182.2 CProC云处理平台202.2.1 数据立
2、方(DataCUbe)202.2.2 任务监控器(JobKeeper)222.2.3 CPrOC数据处理242.2.4 Zookeeper可靠性262.3 八大环境监控子系统282.3.1 饮用水水源地监控系统282.3.2 流域水环境监控系统302.3.3 空气环境监控系统312.3.4 辐射环境监控系统322.3.5 重点污染源监控系统332.3.6 机动车监控系统342.3.7 危险废物监控系统352.3.8 风险源监控系统362.4 平台安全402.4.1 云处理平台信任保护402.4.2 基于多级信任保护的访问操纵442.4.3 云处理平台安全审计472.4.4 云处理平台安全网关5
3、03 项目管理与实施533.1 项目开发周期533.2 项目实施533.3 客户受益541系统总体概述1.1 系统基本功能“1831”生态环境监控系统建设工程，是建设一个全省联网资源共享的生态环境自动监控平台，实现对全省生态环境的现代化监管，系统于生态省建设，为管理与决策提供参考与根据。系统集饮用水水源地监控、流域水环境监控、空气环境监控、辐射环境监控、重点污染源监控、机动车监控、危险废物监控、风险源监控八大子系统于一体，在省、市、县组建三级环境监控中心，通过一套环境监控管理办法，达到自动监控、科学管理、合理决策的生态建设目标。系统的各子系统基本功能与构成如下：饮用水水源地监控系统能够对省内1
4、11个集中式饮水水源地水质进能监测、汇报等。流域水环境监控系统能够对全省252个河流水质进行实时监测，预警与保护。空气环境监控系统能够实时检测分析全省环境空气质量，确定空气污染程度。辐射环境监控系统能够对全省529个放射源辐射环境进行实时监控、实时查询分析。重点污染源监控系统能够实时监测全省集中式污水处理厂与污水处理情况与燃煤电厂的鼓风机电量。机动车监控系统能够实时监控全省分析机动车尾气的污染情况。危险废物监控系统能够监控危险废物的情况，与对废物管理部门采集的数据进行实时分析。风险源监控系统能够监控全省环境风险源，并对风险源进行分析。1.2 系统建设的要紧设计思想与设计目标、设计原则设计思想:
5、自动监测设备将采集到的实时监测数据上报到省环保厅云存储系统存储。八大监控子系统操作平台向省环保厅云处理平台发出查询请求，云处理平台通过并行计算高效快速的从云存储系统查询数据并分析汇总，向各监控子系统提供查询的数据。设计目标：使用云计算、物联网与信息网格技术，对在用的业务系统进行分析，确定那些信息需要从原系统中抽取出来进行集成，然后建立一个基于云存储的、可扩展，具有统一规范数据格式的中心数据库，将各业务系统核心数据抽取到中心数据库进行数据集成；利用云计算平台的强大处理能力进行数据的处理与挖掘；最后，在中心数据库上开发建立包含企业信息全寿命管理(即从企业登记开始到企业注销的全程信息管理)、数据精确
6、分析、处置决策、趋势分析等在内的应用，并为其它系统预留数据调用接口，最终建成一个涵盖在用系统数据，支持全局信息管理分析与应用的监控系统。设计原则：(1)技术领先，性能优异系统将使用国际先进的云存储与云计算技术，并在此基础上提供高效的查询与分析处理。(2)数据安全可靠系统将使用多种容错技术保证存储的数据安全与故障的自动恢复。1.3 系统的要紧技术特点实时性：平台在高效率并行分布式软件的支撑下，能够实时完成数据入库、分析与管理工作。海量数据入库不可能出现数据堆积现象，各类分析与查询工作基本都在秒级完成，具有前所未有的高效性。高可靠性：基于对云计算可靠性深厚的研究积存，完全解决了当前分布式计算平台易
7、出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不可能出现丢失数据的现象。可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，能够做到与云计算平台的无缝对接，根据计算与存储任务动态地申请或者释放资源，最大限度地提高资源利用率。高性价比：使用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节约成本。在目标性能与可靠性条件下，可比传统的小型机加商用数据库方案节约10倍左右的成本。全业务支持：使用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各类类型
8、的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘与商业智能分析业务。1.4 系统总体构架江苏省环保厅1831项目要紧包含八大环境监控子系统：饮用水水源地监控系统、流域水环境监控系统、空气环境监控系统、辐射环境监控系统、重点污染源监控系统、机动车监控系统、危险废物监控系统、风险源监控系统。这八大环境子系统共同构成一个完整的环境监控系统，它们都是充分利用现有监测设备,与省环保厅联网后，数据信息汇聚存储至省环保厅云存储系统中，然后再由省环保厅云处理平台负责对数据进行索引、分析等处理，并向八大系统的应用层提供APl调用，快速反馈分析的结果。前 Za /4 JU重点污染源监控系统饮用水源地监控
9、子系统机动车监控系统流域水环境监控系统危险废物监控系统空气环境监控系统风险源监控系统辐射环境监控系统数据中心省环保厅CStOr云存储系统省环保厅CPrOC云处理平台数据采集图表1系统不思图以数据为中心，数据从最底层的数据采集层中采集到，将这些数据传输到数据中心，同时进行数据索引、分类、分割、清理等操作，将遵循一定规范的数据与索引数据同时实时存储到云存储系统中，在云处理平台上提供数据接口，并与最上层的前台应用层交互数据。1.5 CStor云存储系统简介cStor云存储系统是南京云创存储科技有限公司自主研发的、具有自主知识产权的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包含软件与硬
10、件，是一个海量的云存储平台。Ss!=!图2CIOoo系列云存储产品存储机柜与传统的大规模存储系统相比，CStor针对绝大多数数据密集型应用的特点从多个方面进行了优化,从而在一定规模下达到成本、可靠性与性能的最佳平衡。CStor靠着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、在线自动伸缩、易用通用等诸多压倒性优势，获得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐，产品代理与销售商已进展到数十家。目前，CStor云存储系统已成熟应用于安防视频监控、刑侦、广电、交通、电信、医疗、政务等诸多领域，性能卓著，表现出色，从未出现故障，得到用户一致称赞。南京政务云数据中心云创机器图3部署在
11、南京政务云数据中心云创机器下图4为一简单的CStor云存储系统部署示意图。用户层应用服务层云存储服务层主元数据服务器备元数据服务器存储节点/服务署点/服务节点上节点/服务节点n 存储节点/服务节点2存储节点/服务节点4图4CStOr云存储系统部署示意图CStor云存储系统使用了分布式的存储架构，元数据服务器使用主备双机容错的方式管理各个存储节点，文件分散存储在各存储节点上。客户端与元数据服务器间只有操纵流，数据流直接在各存储节点间交互。因此，系统的整体吞吐率随着存储的规模的增大是线性增加，直到达到带宽的饱与利用。1.6 eProc云处理平台简介云存储层包含公司自主研发的云储存系统cStor与a
12、pache开源云储存系统HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含JobKCePCr与MapReduce；最后的监控协调层则包含zookeeper与Chukwa来实现对整个系统的实时监控与数据管理。下图为eProc云处理平台架构：应用层监控协调层处理层JobKeeper业务层ZookeeperHbase数据立方Chukwa存储层cStorIIDFS虚拟资源层通过数据立方，能够对元数据进行数据分析、清理、分割。对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名也由此而来。数据立方是独立于CPlPC云处理平台的技术架构，用户能够选择性使用数据立方，也能够单独
13、使用HbaseJive等技术框架,通过数据立方或者Hbase,能够将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型数据库一样，上层应用无需修改，完全符合用户原先操作习惯。关于非结构化数据，eProc云处理平台使用公司自主研发的超安存算法，对这些数据块进行分割，散乱存储到云储存系统上，然后使用分布式并行处理，对数据进行实时处理，eProc云处理平台的处理性能随着节点的增多而成倍数增长。eProc云处理平台拥有下列特点：1.对任意多关键字实时索引2 .支持类SQL复杂并行组合查询3 .分布式万兆实时数据流秒级处理4 .高可靠性，系统无单点，确保意外情况下，系统的正常运行以上特点由云创公司
14、自主研发的下面几大功能来提供保证，分别是数据立方，分布式数据处理,调度均衡器、数据传输接口等。数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据结构，该结构成功解决了海量数据的快速索引与查询问题，使得百亿条记录级的数据能够秒级处理。分布式数据处理是云创公司研发的处理海量数据的处理框架，用于对大规模数据集的并行处理。处理能力能够通过增加或者减少机器达到动态调整。使用先进的容错技术，确保处理任务的可靠性，即使在特殊情况下，如机器宕机、断网的情况下，确保处理任务的实时性与准确性。调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内的单点问题，确保某机器的应用程序状态在宕机
15、或者断网时，可将状态从特殊机器转移到其他机器上，中间无数据丢失。数据传输接口是云创公司通过多年积存，专门针对地面数据传输研究出高性能可靠文件传输协议，使用并行流水线方式、将传输与存储作联合优化，并支持多点中继高效传输。通过多项实地远程传输试验，结果说明该技术的传输效率在lGb/s光纤线路上达到了带宽的80%左右，处于国际最高水平。几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度快，处理结果准确。1.7系统设计性能171数据流量处理能力下列是各部分处理能力统计：数据存储查询系统器配置：8核CPUX2,主频2GHz以上，内存32G,硬盘8X2TSATA处理能力：折合数据入库流量8
16、0Mbs应用分析系统器配置：8核CPUX2,主频2GHz以上，内存32G,硬盘8X2TSATA处理能力：折合处理并发访问量1000次/s1.7.2数据存储读取能力原始数据存储使用云存储平台，分布式文件系统存储系统。性能指标：存储量指标单系统应支持PB级存储容量。吞吐量指标Infiniband网络上文件读、写性能:(1)写文件性能NetworkI/Olocalhost(KBs)2012/5/301个客户端写250G文件，文件平均写性能为932MBs,峰值为1.9GB/秒。(2)读文件性能NetworkI/Olocalhost(KBs)-2012/5/31ODSEI as 二 WV Wl 3 EI
17、El 006 EI 06ET BsT WI K 二 美工 SE * 二 ZSEl ZST Zs工 Z6ET ZSET Zs:ET Z%EI Zs 二 *二 二二 O 20Totsl-Write(-ve)Totil-Weid2001个客户端读250G文件，文件平均读性能为852MBs,读文件峰值为1.2GBs上述性能测试数据是1个客户端、8个存储节点的测试结果，由于本次测试受测试资源影响，没能完全测出Infiniband最优性能。但在8个存储节点上，文件写性能达到932MBs,写峰值为1.9GBs,读性能达到852MBs,读峰值为1.2GBso吞吐量是指在没有帧丢失的情况下，设备能够同意的最大速
18、率。吞吐量根据应用系统读写方式与应用系统读取存储内容大小分成四个指标。分布式文件存储系统按照32个节点并发500个用户计算，单节点8块2T大小的硬盘情况下，每个节点指标具体内容如下表所示：表8分布式文件存储系统吞吐量指标编号读写方式存储内容大小总吞吐量指标(MBps)平均吞吐量指标(MBps)1100%读250GB24000482100%写250GB20000403100%读100KB23000464100%写100KB1900038图表分布式文件存储系统吞吐量指标系统响应时间指标千兆网络环境下，局域网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于20msO1.8系统功
19、能数据存储：通过云存储平台存储海量数据。实时查询：通过业务层APl支持应用层的实时查询，根据应用层的要求查询有关数据返回给应用层。定期汇总：根据用户定制要求定期汇总有关数据到数据库中，以备历史数据的查询与报表的统计。状态监控：能够实时监控自动监测设备与中心系统器的运行状态，提供设备运行数据并存储到数据库，以备历史数据的查询与设备运行的分析。历史查询：对存储在云存储中心的历史数据进行查询2系统设计实施与关键技术方法2.1 cStor云存储系统ClOOO系列产品使用CStor分布式云存储文件系统对数据进行集中式海量存储与统一管理，其技术架构与关键技术在下面的章节中分别全面介绍。2.1.1 技术架构
20、cStor云存储文件系统使用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它使用包含元数据管理服务器(MaSterServer)与数据存储节点服务器(ChunkServer)与客户端节点的结构构成一个虚拟的海量存储卷,如下图所示。用户挂发券户斌客户端1客户潴2客户端3客户端4客户端N卷配置节点参数配置卷管埋节点主卷管理服务罂备卷管理服务器存储参数配用用户配额管理QoS管理告警配造卷A王元数据管理节点J卷B主元数据管理节点2卷C王元数据管理节阪3存储空间监控爸元数据管理节点J岳元数据管理节点2岳元数据管理节点3设备状态监控数据节点1数据节点1数据节点2数据节点2数据节点3数据节点N数
21、据节点3数据节点N程序状态监控网络状态监控证盘状态监控流量监控 全)巴.)图2-1CStor云存储系统架构其中，MasterSerVer储存系统的元数据，负责对整个文件系统的管理，MaSterSerVer在逻辑上只有一个，但使用主备双机镜像的方式，保证系统的不间断服务；ChunkServer负责具体的数据存储工作，数据以文件的形式存储在ChunkServerChUnkSerVer的个数能够有多个，它的数目直接决定了cStor云存储系统的规模；客户端即为服务器对外提供数据存储与访问服务的窗口，通常情况下，客户端都部署在ChUnkServer,每一个块数据服务器，及时存储服务器也是客户端服务器。对
22、每一个节点，CStor云存储系统提供的管理监控中心都能够对其进行管理，包含设备运行状态、磁盘运行状态、服务在线情况与特殊告警等功能；另外，网管监控中心还提供有如FTP账户添加等客户端管理与配置工具。这种分布式系统最大的好处是有利于存储系统的扩展与实现，在小规模的数据扩展时，只需要添加具体的ChUnkSerVer即可，而不需要添加整套设备。下图2-2为cStor云存储系统部署示意图。应用服务层云存储服务层图2-2CStor云存储系统部署示意图cStor云存储系统所有的节点均通过网络的方式连接起来，其中存储节点使用廉价的计算机节点，运用自习惯副本管理技术进行容错。所有存储节点同时担任对外服务功能，
23、客户端分别挂载到不一致存储节点访问云存储系统。通过增加或者者减少存储节点的方式，即能够对存储系统进行在线伸缩，由于使用了自习惯副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。下面简单的介绍下cStor系统的工作原理与管理机制。2.1.2工作原理关于cStor云存储的用户来说，通过cStor客户端能够将海量云存储系统映射成一个本地海量磁盘（Windows客户端）或者者映射到一个目录（Linux客户端），关于此磁盘或者者目录的读写操作，即可实现云存储系统数据的读写。同时，由于CStor文件系统支持POSIX接口规范，关于目前通常的应用不需要做二次开发即可使用。下面全面的介绍一下
24、cStor云存储系统的实际读写过程。下图2-3是cStor客户端向系统中写数据的流程图。3.记录元数据并同步到备份元数据服务器元数据服务器元数据服务腓其全面过程是：1）CStOr客户端向元数据服务器发起数据写请求；2）元数据服务器根据其管理的存储节点的工作与使用情况，根据负载均衡的原理，在有关存储节点上创建一些新的数据块;3）有关存储节点服务器创建成功，将结果返回给元数据服务器；4）元数据服务器一方面备份与同步此元数据信息，另一方面将有关存储节点信息返回给客户端；5）客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据；6）存储节点接收数据并存储到相应块，同时也向其
25、他存储节点发起备份；7）当本地写与备份均成功后，存储节点将成功信息返回给客户端；8）客户端收到成功信号后，即完成数据的存储。下图为CStor客户端读数据流程图如下所示：控帆流元数据服务器元数据服务器图2-4 CStor客户端读数据流程数抠流总的来说，CStor云存储系统的操纵流与数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正有关。2.1.3管理机制cStor云存储系统使用的是一种基于网络的管理工具，称之为cStor网管监控中心，要紧用来对CStor云存储系统进行远程监控与管理，其具体功能包
26、含:1）提供存储机架的虚拟化管理；2）能够监测到每个节点服务器的运行状态（包含主备元数据服务器与存储节点服务器的内存、CPU、系统盘的利用情况等）；3）磁盘的运行状态与使用情况监控；4）cStor服务的启动与关闭；5）所有服务器的重启、关闭；6）卷管理服务器的设置与账户管理；7）FTP账户的批量添加与删除等。2.1.4关键技术2.L4.1负载自动均衡技术cStor使用中心服务器模式来管理整个云存储文件系统，所有元数据均储存在MasterServer上，文件则划分为多个chunk存储在不一致的ChunkServer上。MasterServer保护了一个统一的命名空间，同时掌握整个系统内Chunk
27、Server的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据ChunkServer的磁盘使用情况、网络负担等情况，选择负担最轻的ChunkSerVer对外提供服务，自动均衡负载负担。另外，当某有一个ChunkServer由于机器故障或者者其他原因造成离线时，MasterServer会将此机器自动屏蔽掉，不再将此ChunkServer提供给客户端使用，同时存储在此ChUnkServer上的数据也会自动的备份到其他可用的ChunkServerJt,自动屏蔽ChUnkSerVer故障对系统的影响。2.1.4.2高速并发访问技术客户端在访问cStor时，首先访问MasterSe
28、rver节点，获取将要与之进行交互的ChunkServer信息，然后直接访问这些ChunkServer完成数据存取。cStor的这种设计方法实现了操纵流与数据流的分离。Client与MasterServer之间只有操纵流，而无数据流，这样就极大地降低了MasterServer的负载，使之不成为系统性能的一个瓶颈。Client与ChunkServer之间直接传输数据流,同时由于文件被分成多个chunk进行分布式存储，Client能够同时访问多个ChunkServer,从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与ChUnkSerVer的数量呈正比。2.1.
29、4.3高可靠性保证技术关于元数据，CStor通过操作日志来提供容错功能，当MaSterSerVer发生故障时，在磁盘数据储存完好的情况下，能够迅速恢复以上元数据。为了防止MasterSerVer完全死机的情况，CStor还提供了MaStCrSerVer远程的实时备份，这样在当前的MaSterSerVCr出现故障无法工作的时候，另外一台备MaSterServer能够迅速接替其工作。关于ChUnkSerVer,cStor使用副本的方式实现容错。每一个ChUnk有多个存储副本（默认为两个），分布存储在不一致的ChUrIkSerVCr上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利
30、用率等。关于每一个ChunkServer,务必将所有的副本全部写入成功，才视为成功写入。在其后的过程中，假如有关的副本出现丢失或者不可恢复等状况，MaSterSerVCr会自动将该副本复制到其他ChUrIkSerVCr,从而确保副本保持一定的个数。在有多个ChUnkServer的情况下,任意缺失一个节点,数据都不可能丢失,而且随着ChunkServer数目的增多，整个系统的可靠性越大。2.1.4.4高可用技术系统中的所有服务节点均是通过网络连接在一起，由于使用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点与元数据节点间通过注册管理机制自习惯管理，实现自动伸缩。元数据
31、服务器使用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点使用冗余备份机制，多个存储节点情况下，任意缺失一个节点，数据不丢失，服务不停止。2.2eProc云处理平台数据处理是对数据的采集、存储、检索、加工、变换与传输。数据是对事实、概念或者指令的一种表达形式，可由人工或者自动化装置进行处理。数据的形式能够是数字、文字、图形或者声音等。数据通过解释并给予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以懂得的数据中抽取并推导出关于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程与自动操纵的基本环节。数据处理贯穿于社会生产与社会生活
32、的各个领域。数据处理技术的进展及其应用的广度与深度，极大地影响着人类社会进展的进程。2.2.1 数据立方(DataCUbe)我们以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就构成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCUbe)”。如下图所示：字段X索引T2索引A-V一数记求X：数据文件在HDFS上的绝对路径+文件中的偏移量数据立方(DataCUbe)是一种用于数据分析与索引的技术架构。它是针对大数据(bigdata)的处理利器，能够对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后
33、，能够大大加快数据的查询与检索效率。数据立方的原理：由一个或者多个管理节点，一个或者多个处理及存储节点(数据节点)构成，系统在数据建立与查询时，分布式建立与应用数据立方索引结构，在数据建立及存储时，对规范化的数据设定1个或者多个关键字字段，将不一致的关键字字段分别建立索引，每张不一致的索引生成一张独立的B+树结构，多个B+树结构垛叠在一起，与全局数据表形成一个完整的数据立方结构。利用数据立方存储索引结构，可方便快捷的在海量数据云处理系统中准确检索定位数据。B+树的插入仅在叶结点上进行。每插入一个(关键码-指针)索引项后都要推断结点中的子树棵数是否超出范围。当插入后结点中的子树棵数大于m时,需要
34、将叶结点分裂为两个结点。它们的双亲结点中应同时包含这两个结点的最大关键码与结点地址。此后，问题归于在非叶结点中的插入了。在非叶结点中关键码的插入与叶结点的插入类似，非叶结点中的子树棵数的上限为叫超出这个范围也要进行结点分裂。在做根结点分裂时，由于没有双亲结点，就务必创建新的双亲结点，作为树的新根。这样树的高度就增加一层了。基于B+树的字段索引当有新的记录到来时，我们要将新的数据记录对应的一条索引记录插入到所有的字段索引中，这时要采取一定的写入策略。当新的记录积存到nl条或者通过一定时间tl时，关于存储在MemCaChe中的字段索引，能够将这些数据记录对应的索引记录一次性批量写入；当新的记录积存
35、到n2条或者通过一定时间t2时，能够将这些数据记录对应的索引记录一次性批量写入HDFS(固态磁盘)上的索引文件。对B+树的查找类似于二分查找，关于In阶，叶子节点中记录个数为n的B+树来说，其查找的时间复杂度为O(Iogm+(n+l)2)0因此关于值匹配与范围查找来说，有很快的速度。此外，由于对值按照大小顺序进行了指针链接，因此m阶B+树还能够进行对值进行顺序查找。我们对重要字段建立索引，存储在HDFS(固态磁盘)上。将最近常用的字段索引加载到MemCache中，同时删除最不常用的字段索引以节约空间。全面来说，关于每次查询，系统统计每个字段索引被调用的次数，关于被调用次数最多的那些字段索引就被
36、加载到MemCache中，而在MemCache中被调用次数最少的某些字段将被删除。数据立方是凌驾于数据存储层与数据库系统之上的，通过数据立方解析后，能够大大增加数据查询与检索等业务，能够让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。2.2.2 任务监控器(JObKeePer)JobKeePer调度平台是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。JobKeeper云调度技术架构图C
37、PrOC分布式并行计篥框架业务层禊频处理应用J 其他设计应用存储层Oracle MySQL DB2 cStor HDFS应用层应用层是一组用于管理与结果反馈的显示组件。用于显示任务的处理情况与集群中机器的活动情况，同时其也是一个上层应用与底层服务的对接平台。是整个系统面向用户与开发人员的基础承载。业务层是关于应用层的有关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。数据处理层是独立的数据处理程序，是对不一致需求数据的统一处理方案,他的运行与监控的工作将由JobKeeper调度平台进行统一的配置管理。存储层是用来存储数据存储层的处理结果集或者者其他中间结果
38、集的单元。虚拟化资源层是将实体的机器进行虚拟化，形成更大范围的服务集群。JobKeeper调度平台提供了一套基于Web的管理化界面，能够实时的观察各个处理节点的任务运行状态，与任务列表的分配情况，机器的负载情况等。用户在管理系统界面上能够完成所有的工作，如新任务的添加，任务的手动调度与集群日志的查看与分析等。JobOOl argsJob2 argsJob3 args应用层提交处理任务列表和任 务处理程序的人口参数任务控制节点 (MasterNode)下发任务列表和人口参数JobOOl args(Job002 argsJob003 args(任务处理节点 (TaSkNOde) ,1标记出新添加或
39、者停止处理的任务并时标记任务进行调度任务处理程序 (TaskProgram)任务处理节点与管理节点之间保护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表，并与本机正在处理的任务列表进行比对，完成有关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的与管理节点相互联系，那么管理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任务的重新分配与执行。2.2.3 eProc数据处理CPrOC云处理是云创公司研发的处理海量数据的处理框架,特点是实时性高。主从式的管理节点监控着所有处理节点(slave),并同意
40、任务，分配子任务，监控任务与处理各类特殊情况。处理节点(slave),同意子任务，监控子任务，向主节点汇报任务。结构如下图所示:eProc云处理是eProc云处理平台分布式的核心。该架构内部避免了大多数分布式系统内部存在的单点问题。里面的两个管理员节点（主节点与备节点）对整个集群进行着管理，通过先进的调度监控器解决了管理节点的单点问题与数据同步问题，确保在主节点特殊情况下，主从节点的切换不丢失管理数据。eProc云处理内部使用高效的数据结构CProcJob,保护每个任务与子任务的状态，并严格按照任务状态转移表进行任务状态切换。在eProc分布式数据处理的过程中，系统使用下列三个原则：1 .数据
41、尽可能的本地性原则在任务提交后，管理节点根据数据所在位置分配处理，这样在每个处理节点上要处理的存储介质上的数据块就在本地，直接操作本地文件，避免了数据的移动，极大地减少了网络IO负载，缩短了处理时间。2 .数据分布的平衡性原则eProc并行处理架构能够周期性地对存储介质上的数据进行保护，保持存储节点上所存储的数据量的平衡，减少因数据负载的不平衡而导致的处理负载的不平衡。3 .调度任务公平的原则公平调度是一种多用户的给予作业（job）资源的策略，它的目的是让所有的作业随着时间的推移，都能获取与权值相应的共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它作业被提交上来时，系统会将任务空闲
42、处理单元赋给这些新的作业，以使得每一个作业都大概获取到与权值相应的处理时间。这个特性让短作业在合理的时间内完成的同时又保证了长作业的服务质量。公平调度器按资源池（pool）来组织作业，默认情况下，每一个用户拥有一个独立的资源池。在SIaVe处理节点上设置有同时运行的任务个数上限，若未达到上限，则就产生了空闲处理单元。当集群上出现空闲处理单元时，调度按两步进行，首先空闲处理单元在作业池之间分配，其次在作业池内的作业间分配。2.2.4Zookeeper可靠性ZooKeeper可为分布式应用建立更高层次的同步（SynChrOniZatiOn）、配置管理（configurationmaintenanc
43、e）群组（groups）与命名服务（naming）。在编程上，ZooKeeper使用的数据模型风格很像文件系统的目录树结构，简单来说,有点类似WindOWS中注册表的结构，有名称，有树节点，有Key（键）/Value（值）对的关系，能够看做一个树形结构的数据库，分布在不一致的机器上做命名管理。Zookeeper的基本工作结构如下图所示。ZooKeeperService图表1Zookeeper基本工作结构图Zookeeper分为2个部分：服务器端与客户端，客户端只连接到整个ZooKeePer服务的某个服务器上。客户端使用并保护一个TCP连接，通过这个连接发送请求、同意响应、获取观察的事件与发送心
44、跳。假如这个TCP连接中断,客户端将尝试连接到另外的ZooKeeper服务器。客户端第一次连接到ZooKeeper服务时，同意这个连接的ZooKeeper服务器会为这个客户端建立一个会话。当这个客户端连接到另外的服务器时，这个会话会被新的服务重视新建立。启动Zookeeper服务器集群环境后，多个Zookeeper服务器在工作前会选举出一个Leader作为主服务器。在后续工作中，假如这个被选举出来的主服务器失效，而剩下的ZOOkeePer服务器会感知这个事件，并在活着的ZOOkeePer集群中重新选出一个Leader作为新的主服务器，选举出Ieader的目的是为了能够在分布式的环境中保证数据的
45、一致性。查询索引创建、KPl数据统计、CDR专题数据处理、与各类查询分析处理任务的处理将需要调度与使用处理集群上的一组服务器节点进行并行任务的分发与负载均衡处理。而负责并行任务调度与分发的节点可能会出现单点故障，继而引起整个处理系统无法正常工作。因此，需要设计一个单点失效恢复机制，以保证查询分析处理的可靠性，与正确的并行处理任务分发与负载均衡处理。在具体实现上，我们将使用Zookeeper基于处理集群完成统一的操纵与实现。基本设计与实现方法是，将处理集群中所有的处理节点都纳入Zookeeper的管理,选择其中3个处理节点注册为Zookeeper的服务器节点负责并行处理任务的调度与分发节点，Zo
46、okeeper将自动在这3个服务器节点中选举一个主服务器节点。当主服务器节点出现故障时，Zookeeper将能自动从剩下的2个服务器节点中重新选举产生一个新的主服务器节点来接管失效的主服务器。以此，将能保证并行处理任务的分发与调度处理不可能出现单点失效。Zookeeper能感知当前所管辖的节点中任何节点的失效并作出相应的处理。当Zookeeper保证有一个负责并行任务分发调度的主服务器工作后，该主服务器将能在Zookeeper中所保护的当前有效的处理节点中选择一个空闲的节点，并把一个处理任务分发给该节点；当多个处理任务到达时，主节点将能有效地将处理任务分发给不一致的处理节点，从而实现并行处理任务在整个集群节点上的负载均衡。查询分析任务发分服务器Zookeeper服务器图表基于Zookeeper的查询分析处理单点失效与2.3八大环境监控子系统下面对每个监控系统进行分析，要紧介绍各个系统的架构及功能。2.3.1饮用水水源地监控系统目前，江苏省共有万吨以上集中式饮用水水源地Ill个，但都未与江苏省环保厅联网，为确保群众饮用水安全，省环保厅要求各水源地务必联网自动监测、汇报。为此,饮用水水源地的监测数据进行实时汇聚传输到省环保厅云存储系统,并对得到的水质数据在省环保厅云处理平台进行实时分析处理，处理后得到的结果会通过云平台
