《生态环境数据治理和分析服务技术方案.docx》由会员分享，可在线阅读，更多相关《生态环境数据治理和分析服务技术方案.docx（11页珍藏版）》请在课桌文档上搜索。
1、生态环境数据治理和分析服务技术方案(一)数据治理服务1、规范数据工作A(I)持续对新接入/共享的数据、接口进行梳理，按照国家回流、内部归集、市州上报、横向共享、跨省共享、外部采集等维度，梳理生态环境厅新接入/共享的所有数据，最终形成体系完整、架构清晰的数据、接口清单，并持续维护。数据清单可以表格、导图等形式体现。 (2)持续对接入数据源头进行梳理，对数据来源的类型、更新频率、地址、端口、用户、密码等进行梳理，形成文档并持续进行更新。 (3)持续对数据共享对象进行梳理，对目标的类型、共享频率、共享方式等进行梳理，形成文档并持续进行更新。A(4)持续对数据加工任务进行梳理，梳理数据流向，对数据来源
2、、各个层级中间表、结果表进行映射，并形成文档。A(5)对新增数据调度任务进行梳理，基于中台工具，梳理调度任务的数据源、调度频率、调度依赖关系、产出物等，形成文档，提高数据调度效率和准确性。 (6)对数据指标与统计口径进行梳理，梳理各类共享、加工任务，梳理各类指标对应的统计口径，包括清洗治理过程、数据血缘关系等，形成文档等可见成果。A(7)规范数据治理流程并形成文档，同时围绕环境业务数据，提供5类及以上环境质量及污染源数据质量规则。 (8)提供详细的数据治理工作方案，对四川省生态环境厅数据治理要求、治理内容、现有问题以及下一步工作进行详细描述。2、强化数据支撑A(I)数据采集1)采集范围根据实际
3、工作要求，对接各类外部数据并进行接入，包括但不限于国家、市州、外部厅局等数据，并持续更新维护外部数据的相关信息，保障外部数据接入持续、稳定开展。2）采集方式充分利用数据中台现有的结构化数据、非结构化数据以及时序数据的采集功能，开展数据采集工作。对采集策略进行配置管理，包括采集策略的添加、修改、删除和查询操作，生成采集任务，并由任务调度管理模块进行集中调度控制。3）数据清洗在数据采集时进行基本的数据清洗，根据数据实际情况自定义规则，发现与解决在数据抽取过程中可能产生的异常错误信息。 （2）数据加工1）工作范围完成各类专题数据的优化与加工，包括大气、水、排污许可证、环评、监测等数据的优化与加工。完
4、成日常业务处室数据需求，提供实时数据、离线数据加工能力，提供结构化、非结构化数据的加工能力，形成各类数据成果并及时反馈。完成各类临时需求任务，包括部级上报数据、横向厅局共享数据、市（州）回流数据、各类外部数据的加工等。2）加工方式基于数据中台整体数据架构（ODS、DWD.TDS等），将处理后的数据进行关联，形成中间表、结果表并分层进行存储；梳理数据链路，明确数据流向。3）数据标签根据生态环境业务处理规则，新增各类标签，并在对应的数据层进行存储。支持标签分类管理，基于标签的类目管理功能，进行长期的维护与更新。 （3）数据共享 ）共享数据层建设根据共享的APl接口数据需求，建立统一的数据出口存储数
5、据库，监测每日共享数据的准确性、完整性、服务正常运行，处理异常情况问题。2)共享服务根据共享需求，设计对应的API,对外开放数据APl共享服务，创建共享APl服务，提供共享APl使用说明文档，并共享至对应的部门，包括部级下发、生态环境厅内部共享、横向厅局共享，市(州)共享以及其他等。3、日常技术运维A(I)日常巡检定时对各项数据任务关键参数、运行状态进行检查，并与准确值进行对比，比较发现问题并及时处理。对数据中台采集任务所依赖的数据源进行连通性检查，数据源连通问题通常为网络不通、数据库迁移、数据源信息更新等，需要定时查看，确保其数据连通状态正常。对数据中台各项数据调度任务进行检查，对数据源、数
6、据文件应到未到，应调未调，运行超时，调度异常等各类情况进行检查并及时进行处理。对非结构化数据归集任务进行定期检查，包括同步任务运行状态、存储空间、运行效率等进行定期检查，并对发现的问题进行及时的处理。对各类数据共享服务及任务进行检查，包括各类共享接口、中间库、访问链路等情况进行定期巡检，并对发现的问题进行及时处理。 (2)异常处理及时对日常数据加工、数据采集、数据共享等任务出现的各类异常问题进行响应，查找异常原因并进行处理。整理常见问题Q&A,将异常问题、解决方法整理为对应的文档，持续更新,支撑运维工作更高效开展。 (3)性能优化根据具体业务需求，数据量大小、数据源更新频率、数据库实际情况等数
7、据特征，对数据存储、数据库、数据表、数据加工任务、数据共享与接入接口进行性能优化。 (4)数据库、服务器维护对共享服务器以及共享数据库、OSS数据存储服务进行日常维护，包括存储容量、计算资源使用率、吞吐量等日常运维，对超过阈值的任务进行及时预警。 (5)数据专题维护需要对生态环境厅现有的排污许可专题、环评专题、非结构化数据专题、时序数据库、政务数据归集进行持续性维护，保证专题的正常运行，在不增加功能点的前提下提供数据的持续更新。 4、技术支持技术支持主要通过线上与线下结合的方式，为数据相关方提供技术指导与技术支持，解决相关的疑难杂症，解答各类业务问题以及数据问题，搜集相关方需求等。支撑范围如下
8、：支撑国家回流、内部归集、市州上报、横向共享、跨省共享、外部采集各类场景下的日常需求沟通与技术支持。支撑业务处室各类数据类需题，解答相关问题。支撑日常临时需求，包括提数，导数。支撑项目相关的其他技术类需求。(二)数据分析服务1、固定污染源全生命周期数据分析专题目前，生态环境厅已对污染源企业用电量数据、自动监控数据等进行了整合,实现了数据的接入展示等监管功能，但未进行针对性的数据治理工作，导致数据质量不高、展示效果不佳等问题，需要进一步对固定源数据及全生命周期监管信息进行治理分析，具体内容如下： (1)涉源数据治理基于已有固定源数据并横向拓展其他涉污染源数据，进行二次梳理和加工，形成以源为核心的
9、数据专题库，实现对污染源基本信息、排污许可、环评、监测、信访投诉、证后监管、信用及其它相关数据的治理。固化固定源数据治理过程,包括固定源主数据结构定义、固定源主数据整合治理规则，并保证数据动态更新。包括但不限于以下数据:1）污染源基本信息：企业名称，统一社会信用代码、组织机构代码、行政区划、经营场所、经营范围、法人等信息；2）排污许可：大气污染物排放信息、水污染物排放信息、固体废物管理信息、噪声排放信息等；3 ）环评：项目名称、项目地址、项目规模、建设内容、相关的环评机构等信息；4 ）监测：自动监测、自行监测、第三方监测等；5 ）信访投诉：信访投诉以及相关的处罚信息等；6）证后监管：执行报告、
10、双随机一共开数据等；7）信用：环境信用评价、信用中国数据等；8）其他：重点排污单位标记、诉讼风险等。 （2）基于标签的档案分类查询可基于固定源的标签库的建设，选择不同标签查询固定源档案信息。1）标签库建设：基于固定源数据基础，构建固定源基础特征标签库、排放特征标签库、监管特征标签库，通过标签，一方面让数据变得可阅读、易理解，方便业务使用；另一方面，通过标签类目体系将标签组织排布，以一种适用性更好的组织方式来匹配未来变化的业务场景需求。2）标签查询：提供按照基础特征、排放特征、监管特征标签对固定源档案进行查询功能，可实现单个标签快捷查询和多个标签筛选查询功能。 （3）全生命周期轴构建提供企业模糊
11、查询以及精准查询，通过输入企业关键字、统一社会信用代码、准确企业名称来对企业进行查询。以时间为维度，覆盖所有涉源数据，构建企业全生命周期时间轴。基于权限及用户管控，提供下载与导出功能。 （4）报表服务1）统计分析利用报表灵活、高效、输出形式丰富等特点，解决对污染源数据多维度分析的需求，统计分析的结果以报表或图形化的方式展示，并支持导出、打印等功能。实现按行业、流域、区域、年限统计污染源数量、许可排放量、实际排放量等分析，同时实现业主单位提出的其他统计分析要求，以及临时统计分析工作。2)空间分析实现点位空间维度上的信息展示，展示形式可包括聚合、热力、点位分布三种，可按照区域、行业、流域、污染类型
12、等维度对点位进行分类，其中点位分布展示需要包括点位详情和明细页面的查询功能。3)周边专题查询接入国、省控空气站点数据和实时监测数据，融合专题库数据与监测处调查数据，可围绕国省控站点三公里范围显示相关污染源数据。 (5)数据使用整理归集的数据除在专题使用和展示外，需要制作标准接口，提供对外共享服务。2、数据综合服务专题数据综合服务专题，包括数据现状、数据专题、数据预览、数据目录等，面向业务提供多维度数据服务，一方面解决业务部门找数难、用数难的问题，二是将数据工作具象化，推动生态环境工作数字化转型。A(I)数据总览依托数据中台数据提供可视化数据总览，动态展示总数据量、本月新增数据量、总治理量和本月
13、治理量，展示数据来源、支撑系统、资源目录总量、数据共享总量和数据专题。 (2)数据目录树梳理面向业务梳理数据清单目录树形结构，按照环境要素、组织机构、环境业务等纬度形成数据资源目录。提供数据目录树中各个数据项、子分类、大类的增、删、改等日常维护功能；支撑数据项和子目录归属的分配。 (3)数据概览与详情针对各业务与数据维度中的单个数据项，构建数据概览页面以及数据详情页面。数据概览页面展示数据来源、更新时间、所属分类以及标签、数据条数等基本信息。数据详情页面展示具体数据内容。数据概览以及数据详情页面需与数据目录分类展示进行关联。 (4)数据检索提供按各种分类以及关键字进行模糊查询、精准查询。提供标
14、签以及数据分类检索，点击对应的数据分类即可展示该大类下的所有数据项目。A(5)数据专题集成将已经建成的数据专题集成至综合服务专题中，包括排污许可专题、环评专题、固定污染源全生命周期、非结构化数据等专题页面。 (6)权限管控支持数据对目录子类、大类进行权限管控，根据不同角色定制不同权限，构建数据权限管控体系。权限管控体系需与生态环境厅4进行对接。A(7)数据审批实现数据资源统一申请、审批管理，通过录入申请部门、申请人、联系电话、申请时间、使用场景、使用时间等信息。根据数据归属权限，交由数据所属业务部门进行审核。3、专题开发技术要求(1)性能要求指标项指标值一般查询统计类服务响应时间响应时间不超过
15、3秒复杂查询统计类服务响应时间不超过6秒不间断性7X24小时不间断系统内在线事务处理的响应时间不超过3秒跨系统在线事务处理的响应时间不超过5秒界面操作响应不超过3秒最大并发数100（2）部署环境依托省级政务云进行部署，所需网络资源、计算资源、存储资源等由政务云进行提供，包括项目运行所需要的网络设备、服务器、操作系统与存储设备等基础设施。（3）信息技术创新环境需要满足信息技术创新总体要求，兼容跨平台部署和使用，并支持四川省政务云体系和信息技术创新环境。包括服务器、桌面终端、操作系统、数据库、浏览器、应用插件、办公软件和版式套件等，且在信息技术创新环境下能稳定流畅运行，功能正常使用，查询统计、数据
16、获取、文件调看等反馈时间满足性能要求。（4）保障性要求1）应提供一致、美观、简洁的图形用户界面风格，并符合用户操作习惯。2）对普通用户的操作界面应该以B/S方式实现。3）应支持同时打开多个功能窗口以对不同任务进行并行的操作。4）应支持在一个业务过程中的所有功能界面都有返回上一操作的功能。5）应支持通过键盘即可完成一个界面窗口内的主要操作。6）应支持采用分页机制显示列表数据，并显示记录数目、当前页和总页数。对于复杂的信息结构应合理组织信息的显示。7）执行用户提交的请求而无法返回时，必须明确提示。8）功能菜单应进行合理的分类组织，通过隐藏或设置为不可用来控制权限。9）应提供在线操作手册或在线帮助。
17、10）用户登录后，系统应能主动向用户提醒待处理任务，并能快捷进入待处理任务。11）应采用增量备份和全备份相结合的方式定期备份重要的数据。数据库需要保证7X24小时无间断运行，应保障数据库的安全性、完整性、并发控制和故障数据恢复。12）应支持连续7X24小时不间断地工作。在业务处理高峰时，各主机的内存利用率应该不大于70%,CPU平均空闲率不低于30%。13）任一构件更新、加载时，在不更新与上下构件的接口的前提下，不影响业务运转和服务；任一构件发生故障或与数据库发生异常时，系统不能崩溃，应给出告警信息。14）应支持负载均衡能力，支持应用部署在多台服务器上，避免应用系统的单点故障。15）可以通过运
18、行更多的实例或者采用分布式处理来支持更多的用户。可以通过线性的增加硬件、云资源、实例个数或者分布式处理点来扩展处理性能，处理更多的数据量，更好的在不增加响应时间的前提下支持更多的业务处理。16）应该不需改动或尽可能少的改动就可以在UNIX.Linux及国产化操作系统下方便的移植部署。17）必须对于存储设备、备份设备及各种网络设备具有完全无关性。18）必须支持在不同数据库平台的移植并支持国产化数据库。移植时不应修改业务逻辑构件，应尽可能少地修改直接操作数据库的信息服务构件。19）用户界面可兼容IE、ChromeXFirefoX及国产浏览器O（5）专题开发网络安全要求1）密码安全信息系统构建中不允
19、许以明文方式保存用户密码或系统使用的各类密码。采用不可逆的加密方式保存此类密码，系统应该支持国密、商密等加密算法。系统使用的各类密码应严格遵循省厅信息安全规范要求，禁止使用弱口令密码或者系统缺省的密码。信息系统必须强制实现操作员口令安全规则，如限制口令长度、限定口令修改时间间隔等，保证其身份的合法性。2）等级保护要求按照信息系统安全等级保护基本要求第三级防护要求进行建设（提供承诺函原件）。3）其他安全要求提供完善的审计功能，对重要数据的每一次增加、修改和删除都能记录相应的修改时间、操作人和修改前的数据记录。验收前，需对信息系统应用程序、承载计算环境（服务器、虚拟化环境）、数据库、中间件等进行脆
20、弱性评估，开展渗透测试与复核验证工作，杜绝中高危漏洞风险，提供第三方渗透测试报告（或者风险评估报告），依据报告内容完成风险整改并提交整改报告。信息系统部署上线及后续维护等环节，需全面杜绝弱口令、空口令或未授权访问等安全风险，持续进行弱口令排查。同时，需按照省厅漏洞风险整改时限要求完成漏洞风险整改工作。（6）专题开发整合共享要求1）基于生态环境一体化业务应用大系统构建生态环境厅已建设一体化业务应用大系统，数据专题是在大系统的基础上做进一步的功能完善，相关建设标准和规范需遵循一体化业务应用大系统的建设思路。必须遵循四川省生态环境厅生态环境业务中台规范中的相关规范标准和要求，进行统一规划、统一布局、
21、统一设计、统一风格。集成可以以iframe应用，挂件等方式进行集成，并支持直接对共享系统发起信息通知，除了传统的整体应用接入方式外，也可以按照业务场景拆分为业务切片进行接入，整体使用iframe方式拆分为业务切片接入应用。前端框架要求：使用VUe,React;前后端应彻底分离；配置要求：网页安全配置应允许异域名嵌入；X-Frame-OPtiOnS响应头配置应设置为ALLow-FROMuri； 权限体系要求：接入应用权限体系应支持省厅4A系统体系。 其他要求：挂件需要使用原生开发，也支持react框架。 开发方完成应用开发后，按大系统要求明确对接方式，提供接入链接,图标等必须信息给到大系统即可。
22、2）基于生态环境业务中台的开发专题的技术架构应采用微服务架构，生态环境业务中台的底层支撑平台提供了从开发、部署到治理的完整的微服务解决方案。语言要求：基于JAVA语言开发；环境要求：开发的微服务程序符合JAVA标准，可以基于EDAS容器部署。微服务框架要求：要求新接入应用采用的微服务框架为：SpringCloud.ApacheDubbo以及HSF中其中一种。JDK要求：支持所有版本的JDK。3）电子政务综合管理平台集成遵循生态环境厅电子政务综合管理平台的系统集成规范和对接要求，和电子政务综合管理平台进行集成。4、人员要求驻场人员：项目执行期间，需要4名数据分析工程师常驻环境信息中心工作，其中2名技术服务工程师由信息中心直接管理，该2名工作人员需要严格遵守信息中心的各项规章制度，并完成信息中心交办的其他工作，接受甲方的工作内容安排和考勤。另外2名技术服务工程师，负责数据治理服务包括的工作内容。专题开发人员：专题开发阶段需额外安排相关数据专家、模型专家、开发人员，驻场可参与专题开发，但不可全权交由驻场人员进行开发。注：“”项为实质性要求，不允许负偏离，否则作无效处理；“”项为重要参数，共28项；项为一般参数，共14项。
