智慧城市大数据建设方案.docx

《智慧城市大数据建设方案.docx》由会员分享，可在线阅读，更多相关《智慧城市大数据建设方案.docx（13页珍藏版）》请在课桌文档上搜索。

1、智慧城市大数据建设方案1 项目概述1.1 建设背景在信息化时代背景下，数据资源的多寡、数据质量的高低直接 决定着各类 社会主体的运作效率，数据分析应用能力也影响着管理者决策的方向，对数 据的全面搜集和有效挖掘利用已经成为当今世界各国信息化建设的重要内容。自2016年以来，在智慧城市顶层设计总规的指导下，开展了业务、 资源、系统、基础设施等方面的顶层设计，提出要加强数据中心建设工作，搭建 数据中心辅助决策平台，进一步提升数据 整合、共享和分析 决策能力，并通 过数据架构体系的理论研究和网格化社会服务信息化系统的建设，积累了大量 人、地、物、组织、房屋、地下空间的基础资源数据和协同业务数据，为数

2、据分析决策、数据共享应用奠定了数据基础。鉴于以上背景，提出了构建数据中心的整体规划，整合郑州市现有数据库和系 统资源，建设统一规范的人、组织、地、物等基础信息库；建设各政府部门之 间准确、完整、规范、清晰、权则结合的基础数据信息共享交换平台，实现基础 数据信息高度共享和综合应用；通过基础数据和业务数据的整合集中、统一管理， 为科学决策提供强大的数据支持；建立和健全数据标准规范体系和数据安全体系, 建立一个统一规范、集中部署、安全规范、充分共享的基础信息数据中心。其 中数据中心平台是整体规划的重要核心系统，通过本项目建设，为政务部门和 社会公众提供数据共享服务，保障政府决策的科学性、有效性和规范

3、性，提升 政府管理能力和公共服务水平。1.2 建设目标以现有业务系统资源 为基础，梳理制定数据资源标范，构建人口、地点、物件、 组织和经济五大资源库，实现基础信息的集中、统一与规范管理，实现资源元 数据及资源目录管理，提供数据对外共享服务，为政府统计分析及决策支持提 供数据支撑，为政务部门和社会公众提供基准数据服务，保障政府决策的科学 性、有效性和规范性，提升政府管理能力和公共服务水平。2 需求分析自2012年以来,经过网格化社会服务信息化工作，目前在数据资源方面已经 建 成了相互关联的人、地、物、组织、房屋、地下空间基础数据库的建设，整合 了 120多万条基础数据，其中常驻人口 953,99

4、8条、流动人口 220,444条,境 外散居人口 8,108条、地21,881条，物信息3,925条、组织信息31,469条。 并且，实现了人户信息的IO0%关联、人房信息的80%关联。总体上看， 初步建立起了支撑网格化社会服务管理的基础信息资源体系，同时还完成了网 格化社会服务管理基础数据的动态更新系统建设，为基础数据更新的日常化、业 务化奠定了夯实基础。在业务掌控方面，每天动态更新的4000多条民情日志 和社会事件信息。鉴于以上基础，已经具备了建设统一规范的人、组织、地、物等基础信息库。 通过建设数据中心平台，将 实现 基础信息的集中、统一与规范管理。本项目以人口、地点、物件、组织和经济数

5、据资源为核心，结合现有数据 资源梳理元数据及数据资源规范，建设统一的数据资源库，提供 数据资源 管理和对外数据共享服务的两方面技术支撑。3 总体方案概述3.1 总体设计3.1.1 总体架构本项目应按数据中心建设的总体要求，以构建权威、完整、准确的数据资 源库为核心，以数据标准规范、数据管理和共享服务为重点，充分挖掘数据 的应用价值和服务效能，进行整体优化设计和资源库建设。从资源的管理生命周期及数据加工过程视角来看，项目的总体架构分数据 提供层、数据整合层、数据资源层、数据应用层和应用访问层。数据提供层：现有系统已积累的数据资源，如网格系统数据库。数据整合层：对分散在各个系统的数据源进行提取、清

6、洗、整合，完成数据的汇 总、校核和质量检查，存在问题的数据向数据源反馈。数据资源层：存放整合后数据资源，作为对外提供服务的核心生产库。资源应用层：提供数据管理和数据共享服务应用，可以对资源元数据、资源目 录进行管理，对外提供数据接口服务。应用门户层：提供web应用平台和在线服务接口，提供系统数据的访问。3.1.2 技术架构本项目是一个以数据管理和数据服务为核心的，技术要求高的大型应用系 统，系统的设计既要切实保证整个系统的安全性，同时也要确保系统的开放性、 可扩展性、先进性和跨平台性，以满足用户对复杂业务逻辑可定制和可管理的个 性化开发需求。根据架构设计的总体技术路线，本方案将采用基于分布式组

7、件技 术的多层应用体系结构、模块化的设计方法的技术架构。系统技术架构遵循J2EE标准，以成熟的技术平台解决方案为基础进行开发， 客户端基于RIA富客户端开发,应用服务共分为Action、IABO、A1.BO、DAO 四层，其中Actio层为统一代理。3.1.3 数据架构数据架构设计将达到如下两个目标：1、为将来的数据设计提供确实可行的依据。2、从总体上进行分析，避免数据设计中出现的盲目行为。在进行本系统的设计时，遵循以下基本原则： 高性能：数据中心数据库的特点是计算量大，因此在设计中必须保证满足系 统的业务需求，做到高性能，因此在硬件和软件选型方面需进行多方面的考虑。 集中运算、集中存储、统一

8、备份：保证系统的安全性。 优化系统结构：按照任务的特点对硬件资源进行选择和系统的架构。 系统的可靠性和安全性：系统必须是具有大很强的可靠性，并且充分考虑到 安全防范措施。 系统的可管理性：系统必须是可管理的，而且管理粒度必须达到一定程度, 以减少维护工作量。 系统的可扩展性：保护用户的投资，保证系统的可扩展能力。3.1.4 部署方案系统运行环境，考虑配置 采用集群模式。其拓扑图如下:3.2 安全设计本系统将按照信息系统安全等级保护3级要求进行建设，定级模式的组合 (A3S3G3 ),要求按照信息系统安全等级保护基本要求及信息系统 等级保护安全设计技术要求等相关国家标准，进行项目建设。3.2.1

9、 数据库安全保障数据库安全和日志服务是两个相互关联的过程。数据库中数据的保护一方面通过 应用程程序的完整全面来避免系统维护人员和业务科室人员不直接操作数据库 中的表，另一方面就是现在基于C/S/S和B/S/S系统架构下，把数据库的直接 操作封闭在应用层，来加强保护，还 有一个是就通过日志来保护，通过日志一 方面保证操作的可追踪性，另一方面保证操作的可逆性。在此说明系统上如何通 过日志服务进行数据保护的。对 需要日志跟踪的表设定为口志，在独立表空间和用户下自动建立该表的对应 的日志表，保护对该表的所有插入、修改、删除历史住处，基本信息和原表相同， 但加入：USERID操作员编号 pkg_a_co

10、mm。 Fun_A_GetUser1.D();TRANSNO交易发起流水号 pkg_a_comm Fun_A_GetTrans1.D()交易发起时，对此操作员产生一个流水号，保证在这次交易过程中所有修改的表 都使用同一个流水号，便于完整的按操作事务方式的恢复；Btransno一一冲正交易流水号(如下图的更新方式)0PTDATE一一修改日期0PTTYPE 一一修改类型通过日志引擎把所有的对该表的操作前结果保存在日志表中，因为整个日志跟踪 是基于数据库操作的，所以无论是系统管理员直接的数据库操作还是操作员通过 应用程序操作的数据库，都能完整的保存操作痕迹和回退方法。3.2.2 应用系统安全设计3.

11、2.2.1 应用系统安全设计策略展现平台采用安全的WEB应用的B/S/S三层结构，取消了客户机直接访问数 据库服务器的可能。为最大程度地保证系统安全，结合三层结构的特点及本系统 的实际需求，设计了 三横三纵的网状安全方案。三横是指用户表示 层验证、业务逻辑层验证、数据服务层验证；三纵是指安全传输、安全审 计、限时限地安全访问。1、用户表示层验证用户表示层验证主要包括两方面内容：第一、用户身份认证；第二、数据合法性 验证。用户身份认证主要是解决用户能否接入系统？用户能看到什么？用户 能操作什么？ “ ；数据合法性验证主要是解决“如何保证用户提交的数据都是合 法的？ 下面分别加以描述： 用户身份认

12、证(1)用户身份认证是应用安全的关键，因为多级业务管理模式下用户属于哪 级的哪个经办机构或管理机构决定了其所能操作的功能的范围及业务数据的范 围，同时用户身份是功能授权的基础。(2 )预留利用基于证书的用户身份认证进一步保障系统的安全。(3 )采用多级功能权限管理，上级机构为下级机构授权，每级机构可以将自 身拥有的权限授予本级用户或下级机构。(4 )功能权限分为功能授予的权限与功能使用的权限，功能授予权限表示拥 有者可以将该功能授予他人，功能使用权限表示拥有者可以使用该功能。用户只 能看到自己所在角色组所拥有的菜单。(5 )对不同业务、不同操作设置不同的安全级别和操作权限，并配合制定相 应的使

13、用管理制度。 数据合法性验证(1 )我公司的多层框架系统采用自主版权的统一企业应用平台作为开发支撑 平台，企业平台提供了所有常用界面层控件，这些控件本身具备录入校验功能。(2 )我公司在多层系统开发中遵循一个约定：尽量将数据合法性验证在界面 层完成，只有必须拿到业务逻辑层才能完成验证的数据才会到中间层再处理。 也就是说要将非法数据扼杀在摇篮里”，从而减少系统不必要的压力，提高 系统的业务办理效率。2、业务逻辑层验证业务逻辑层验证主要包括两方面：第一是由系统统一处理的，对经过加密和签名 的数据项进行统一的解密和签名验证处理；第二是各业务环节自行处理的业务约 束边界的处理，如黑名单是否地方局已经解

14、锁等。 安全审计利用数据库的审计功能记录什么人在什么时间做了什么事，对于安全级别比较高 的数据在日志做要做,密印处理”，防止操作者抵赖，提高操作者的责任心。3.2.2.2 应用系统安全层次1、身份认证用户在前台界面必须键入其用户名以及口令来证明其是否是合法的用户，只有合 法的用户才能登录到应用系统。2、多级权限控制系统有很多的功能模块组成，即使对合法用户，也不能操作所有的模块，而是根 据用户的工作部门、工作性质授予相应的功能模块；对同样的数据可以设置不同的操作权限：查询权限、录入权限、审核权限、审批 权限；3、应用逐级授权机制本系统权限设计支持逐级授权，上级可以向下一级授予上级拥有的权限，并且

15、下 一级不能看见上一级的数据，而上一级可以看见下一级的数据，这样的逐级授权 机制满足业务经办要求。4、应用系统日志 日志管理跟踪记录用户登录系统的信息，操作的业务模块以及操作的重要库表的 信息，包括用户名称、操作的模块，对重要库表的操作类型（增、册IJ、改）、字 段操作前和操作后的数值等。通过日志管理，在发生误操作时可以方便的进行回 退处理，而且也可以跟踪一些业务操作员的违规操作。3.2.2.3 应用软件权限设计应用软件权限管理包括模块级权限、数据级权限和操作级权限。1、模块级权限模块级权限可以通过角色实现上级权限控制，下级权限需要从上级权限获取权限。 当调整上级权限时，自动实现对下级权限的调

16、整，换句话就是说当从上次权限中 取消一个权限时，下级权限中也同样被取消相同的权限。2、数据级权限数据级权限通过对域的控制来实现。这里讲的“域实际上是数据域的概念。首先 通过对数据域的定义将数据按照域的不同划分成不同的范围，当某操作员被分配 属于该域时，该操作人员就获得了该数据域的数据操作权限，该操作员不能对其 他数据域中的数据进行操作。3、操作级权限 操作级权限通过对模块中操作按钮进行按照功能ID进行定义来控制，系统 功能ID按照权限可以分为插入、更新、删除、查询四个级别。在B/S/S架构中， 业务操作员对应功能ID的获得通过权限管理中对应模块级功能ID的控制来 进行。当操作员登录系统时，获得

17、对应功能ID列表，并保存在本地Cache中。 当操作员对相应模块进行操作时，系统检查对应功能ID级别以判断对此模块的 操作权限。通过操作级权限的控制，系统中所有数据都可以通过权限进行控制， 实现所有数据都可以查询、修改、删除,减少后台人员在数据库中手工修改数据。4 建设任务1.1 数据资源规范以现有业务系统数据资源为基础，提取每类资源的数据指标，按人口、地点、 物件、组织和经济分类整理，分析合并形成业务元数据，整理元数据名称、类型、 长度、数据单位、来源部门、备注说明等数据项。结合元数据及现有业务系统的数据结构，对每类数据资源进行分析，抽取形成业 务资源对象基本模型和业务主题模型，细化具体模型

18、对象的指标名称、指标类型、 指标长度、计量单位、代码标识符及备注等属性。1.2 五大资源库1、 人口库，依托人口规范模型 构建人口资源库，管理包括 常住人口、流动 人口、散居社会境外人员在内的所有人员基本信息和业务主题信息。2、 地点库，依托地点规范模型构建地点资源库，管理社会管理区域内需要 关注的重要场所、部位等地点位置。3、 物件库，依托物件规范模型构建物件资源库，管理社会管理区域内需要 关注的重要设施、物品等物件信息。4、 组织库，依托组织规范模型构建组织资源库，管理从事市场活动的经济组织、机关事业单位、街道社区组织、社会团体等组织信息。5、 经济库，依托宏观经济规范模型构建经济资源库，

19、管理以统计经济信息为基础的金融、税收、统计等经济数据。1.3 数据资源管理根据数据资源的业务类型、来源部门等多维度对数据资源进行灵活编目，实现数 据资源的有效管理，包括资源分类、元数据、数据集、资源目录、数据查询等功 能。1.4 共享服务管理提供在线和离线接口形式，对外提供人、地、物、组织、经济信息的共享服务。5 系统测试方案5.1 系统测试任务根据对招标文件的理解以及其他 数据中心项目经验，公司 认为本项目测试任 务按项目阶段共分为四部分：1、开发阶段测试：在系统开发阶段，我公司将首先完成系统的自测工作，包括 U1.测试、功能测试、性能测试、安全性测试等工作内容；2、单元验收阶段测试：在该阶

20、段测试加入用户参与，并在搭建的测试环境下完 成相关单项验收测试任务；3、系统集成阶段测试：该阶段测试由我公司配合用户共同完成，该阶段测试任 务主要包括集成测试、性能测试、安全性测试等，在该阶段会进行大量的回归测 试；4、验收阶段测试：验收测试是部署之前的最后一个测试操作。验收测试的目的 是确保各项工作准备就绪，并且可以让最终用户将其用于执行软件的既定功能和 任务。5.2 系统测试目标1、确保功能完整。通过测试确保系统所实现的功能达到其设计规范并满足用户需求，确保核心业务 流程的正确性，确保功能模块的完整性。2、确保系统可用。通过测试修改来降低用户学习、操作和理解系统的难度，如安装简单方便、容易

21、 使用、界面友好等；3、确保系统可靠。通过测试系统在规定时间和条件下所能维持其正常的功能操作、性能水平的程度, 来确保系统运行的可靠性。4、提高系统性能。通过测试系统实现各功能所需的计算机资源（包括内存大小、CPU占用时间等） 的有效程度，来改进提高系统性能。5、检查系统容量。通过测试系统的接受力、容纳或吸收的能力、及各项功能的最大量或最大限度（如 系统能承受多少并发用户访问、系统可以承受的人数等），来检查系统所能容纳 的最大量、所能表现的最大值。6、量化系统指标。系统的某些特性（含当前状态和理想状态），可以通过一些量化的数据指标来描 述。系统测试的目的之一就是获取这些数据指标，通过具体的数值

22、来评价整个性 能体系。7、强化可维护性。通过测试当环境改变或软件发生错误时，进行相应修改所做努力的简易程度，来 界定可维护性的高低水平。这项测试重点在于强化可维护性，提高系统灵活性， 对于经历周期性更改的产品或快速开发的产品很重要。8、确保高兼容性。兼容性是指软件从一个计算机系统或环境移植到另一个系统或环境的容易程度， 或者是一个系统和外部条件共同工作的容易程度。兼容性表现在多个方面，如系 统的软件和硬件的兼容性、软件的不同版本的系统、数据的兼容性。高兼容性是 系统生命力的重要特征之一。9、测试可扩展性。可扩展性是指将来功能增加、系统扩充的难易程度或能力。通过测试可扩展性， 来界定系统设计框架

23、的优劣程度，解除用户后顾之忧。5.3 主要指标性能在业务网环境下通过压力测试考察各关键业务功能点在较大并发业务量的情 况下的平均业务响应时间，以及系统的资源消耗情况。通过分析压力测试所得到 的数据来确定系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大的服 务级别，并对系统中性能表现不理想的功能模块与代码进行进一步的分析与定位, 以便找到并排除系统的性能瓶颈。系统性能测试内容性能指标平均响应速度信息浏览操作平均响应时间小于2秒简单操作平均响应时间2秒左右复杂操作平均响应时间小于5秒容量和吞吐量简单并发操作用户数50人左右5.4 测试分类和测试方法5.4.1 功能性测试功能测试是验收测试中的

24、主要内容。该系统建设项目功能测试要包含以下项目： 单个模块的查询等操作；数据的输入与输出；数据处理操作；基础数据定义的精 度；计算的准确性，如各种指标是否准确；数据共享能力；身份验证和权限管理； 报表的打印输出等等。功能测试要注意以下几点：第一,测试项目的输入域要全面。要有合法数据的输入,也要有非法数据的输入。 如，在测试基础数据的定义时，若规定是数字，则既要输入数字进行测试，也要 输入字母、空格等非数字进行测试。数字包含整数、负数、小数，因而还要输入 这些不同的数字验证数字的精度。第二，划分等价类，提高测试效率。在考虑测试域全面性的基础上，要划分等价 类，选择有代表意义的少数用例进行测试，提

25、高测试效率。第三，要适时利用边界值进行测试。第四，重复递交相同的事务。第五，不按照常规的顺序执行功能操作。第六，执行正常操作，观察输出结果的异常性。如，删除某条记录对排序的影响； 执行流程审批后，单据的状态是否改变。5.4.2 性能测试性能测试主要测试软件的运行速度和对资源的消耗。通过调整该系统建设项目所 依赖的软硬件配置、网络拓扑结构、用户数、数据量和服务请求数来测试软件的 移植性、运行速率、稳定性和可靠性。可借助1.oadRunner之类的企业级自动 化测试工具来辅助测试，通过极限测试来分析评估软件性能。5.4.3 界面测试该系统界面要符合现行标准和用户习惯。软件企业可以形成自己的特色，但

26、要确 保整个软件风格一致。界面测试要从友好性、易操作性、美观性、布局合理、分 类科学、标题描述准确等方面入手。界面测试要重点掌握以下几点：第一，背景和前景的颜色是否协调，颜色反差是否用得恰当。第二，软件得图标、按钮、对话框等外观风格是否一致，美观效果所要求的屏幕 分辨率。第三，窗口元素的布局是否合理，并保持一致。第四，各种字段标题的信息描述是否准确。第五，快捷键、按钮、鼠标等操作在软件中是否一致。第六，窗口及报表的显示比例和格式是否能适应用户的预期需求。第七，误操作引起的错误提示是否友好、是否易于理解。第八，活动窗口和被选中的记录是否高亮显示。第九，是否有帮助信息，菜单导航能否正常执行。第十，

27、检查一些特殊域和特殊控件能否运行。5.4.4 兼容性测试通过硬件兼容性测试、软件兼容性测试和数据兼容性测试来考察软件的跨平台、 可移植的特性。该系统兼容性测试应注意以下几点：第一，根据系统的可移植性，选择不同操作系统。第二，选择不同层次的硬件配置和软件配置，一般选用最低、中等和最高三种配 置进行测试，验证系统对软硬件环境的兼容性。第三，用不同版本的不同浏览器、分辨率、操作系统分别进行测试不同操作系 统、浏览器、分辨率和各种运行软件等各种条件的组合测试。5.4.5 文档测试文档是软件的重要组成部分，也是软件质量保证和软件配置管理的重要内容。文 档测试主要通过评审的方式检查文档的完整性、准确性、一

28、致性、可追溯性和可 理解性。系统至少要具备需求定义、开发设计、测试评审、项目管理、用户应用 这五类文档，具体而言，应包含GB8567-88中规定的14种软件文档。在文档测试时，要特别注意以下几点：第一，确定文档的重要性和项目文档需求，比如，在验收阶段，用户文档（用 户手册、操作手册、维护手册文件）显得特别重要，需要认真评审。第二，检验文档完整性，主要是文档的种类和内容的完整性。第三，检验文档的一致性和可追溯性，主要是：软件的设计描述是否按照需求定 义进行展开的；应用程序是否与设计文档的描述一致；用户文档是否客观描述应 用程序的实际操作；关于同一问题的描述是否存在不同的说法。第四，检验文档的准确

29、性，主要是文档的描述是否准确，有无歧义，文字表达是 否存在错误。第五，检验文档的可理解性，主要审核文档是否针对特定的读者群体，表达是否 详细。5.5 测试工具为了保障测试质量，提高测试效率，我公司在测试过程中，广泛的应用国际上主 流的测试工具，一般而言，我们将测试工具分为白盒测试工具、黑盒测试工具、 性能测试工具、测试管理工具等几个大类，本项目仅采用性能测试工具。5.5.1 性能测试工具我公司使用的性能测试工具为Mercury1.nteractive公司的1.oadRunner , 1.oadRunner是一种适用于各种体系架构的自动负载测试工具，它能预测系统行 为并优化系统性能。1.oadRunner的测试对象是整个企业的系统，它通过模拟实 际用户的操作行为和实行实时性能监测，来帮助您更快的查找和发现问题。6 实施进度安排6.1 进度目标工期紧任务重是本项目的一个突出特点，为保证项目的工期和工程质量，我公司 将结合国内一些大型信息化项目的建设经验，提供丰富的业务原型供用户参考, 保证在要求的工期内完成系统的开发测试和系统上线实施，系统上线后，进行系 统上线试运行，在试运行的时间里，将根据用户的使用反馈信息，对系统功能进 行提升和完善，待试运行完成后，对项目进行验收。