《政务信息化后评价指南.docx》由会员分享，可在线阅读，更多相关《政务信息化后评价指南.docx（17页珍藏版）》请在课桌文档上搜索。
1、政务信息化后评价指南1范围本标准规定XX省政务信息化后评价的原则、内容、方法、程序和机构。本标准适用于策划、组织、实施各种类型XX省政务信息化项目的后评价工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T236912009项目管理术语GB/T256472010电子政务术语GB/T250692022信息安全技术术语3术语和定义GB/T236912009、GB/T256472010、GB/T250692022界定的以及下列术语和定义适用
2、于本文件。31项目后评价postprojectassessment;postprojectevaluation对已结束项目的目标、执行过程、结果、效益、作用和影响等进行分析、总结和评估的活动。GB/T303392013,定义3.139项目应用机构PrOjeCtoperationorganization项目建设主体机构，或项目使用、运营的主体机构。GB/T303392013,定义3.2?4项目评价机构pr。Jeetassessmentorganization;projectevaIuationorganization实施项目评价的主体机构。4符号和缩略语1.F,逻辑框架法(IogiCaIfram
3、eworkapproach)CE,综合评价(ComprehensiveEvaluation)AHP,层次分析法(AnalyticHierarchyProcess)Cl,一致性指标(ConsistencyIndex)RI,随机一致性指标(RandomIndex)CR,一致性比例(ConsistencyRatio)5基本原则S1独立性XX省政务信息化后评价工作应由具备相应能力的独立第三方机构单独进行,不应受项目利益相关方的干扰。K3客观性XX省政务信息化后评价过程应以事实为依据，客观反映项目决策、项目管理、运行维护和应用的实际状况，在可靠的文件及明确的数据基础上，实事求是地得出评价发现与结论。K1
4、针对性应针对XX省政务信息化项目的具体特征选择评价方法，综合考虑项目级别、类型、规模、复杂程度等要素，确保分析和结论的科学、适当、实际。S4结构性应针对XX省政务信息化项目，综合考虑项目实体业务结构和数字化功能结构，集合公共管理与IT技术等多视角，做好科学解读和综合研判。6 XX省政务信息化后评价方法A1基本方法XX省政务信息化后评价主要采用定性和定量相结合的方法，包括综合评价法、逻辑框架法、层次分析法、成功度评价法，以及国际国内通行的其他方法等。具体项目的后评价方法应根据项目特点和后评价的要求，选择一种或多种方法对项目进行综合评价。A0综合评价法综合评价法即多指标综合评价方法，是指使用比较系
5、统的、规范的方法对于多个指标、多个单位同时进行评价的方法。综合评价一般采取主客观结合的方式，评价指标的选取和指标权重设置是关键。该方法采用的计算方法需要考虑的问题比较复杂，但因其综合性和系统性的显著特点在实践中广泛应用。计算机的普及降低了综合评价的计算方法复杂度，增强了评价作用。h1逻辑框架法逻辑框架法是一种设计、计划和评价的方法，通过投入、产出、具体目标、宏观目标四个层面对项目进行分析和总结。从确定待解决的核心问题入手，向上逐级展开，得到其影响及后果，向下逐层推演找出其引起的原因，得到“问题树”，并将描述的因果关系转换为相应的目标关系，得到“目标树”和对应的“规划矩阵”。逻辑框架汇总了项目实
6、施活动的全部要素，并按宏观目标、具体目标、产出成果和投入的层次归纳了投资项目的目标及其因果关系。A4层次分析法层次分析法是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标（或准则、约束）的若干层次，然后采取求解判断矩阵特征向量的方法获得每一层次的各元素对上一层次某元素的优先权重，最后用再加权求和的方式递阶归并各目标对总目标的最终权重，以作为目标（多指标）、多方案优化决策的系统方法。S成功度评价法成功度评价法也叫专家打分法,是依靠评价专家组的经验,对照项目立项阶段所确定的目标和计划，综合测评项目各项指标的评价结果，对项目的成功程度做出定性的分析。7 XX省政
7、务信息化后评价程序8 1基本程序根据XX省省级政务信息化项目管理办法（川办发（2021）49号），XX省政务信息化后评价包括前期准备、应用机构自评、实施评价、评价报告撰写、评价结果应用五个阶段。XX省政务信息化后评价程序如图1所示。前期准备r.项目应用机构自评1/实施评价r.1/评价报告撰写F1评价结果应用确定评价对象编写并提交自评报告收集基础资料撰写初步报告评价结果反馈成立评价小组提交相关文件资料审核基础资料修改初步报告问题整改制定评价工作方案现场评价提交正式报告评价结果应用收集项目基础资料综合分析评价建立档案形成评价指标体系制定评价相关文本图1XX省政务信息化后评价程序79前期准备前期准备
8、主要工作包括：确定评价对象、成立评价小组、制定评价工作方案、收集项目基础资料、形成评价指标体系、制定评价相关文本等。71项目应用机构自评项目应用机构根据自评报告范本，编写并提交自评报告，并按要求提交相关文件资料。74实施评价实施评价阶段的主要工作包括：收集基础资料、审核基础资料、现场评价、综合分析评价等。74评价报告撰写评价报告撰写阶段主要工作包括：撰写初步报告、修改初步报告、提交正式报告、建立档案等。76评价结果应用评价结果应用阶段主要开展评价结果反馈、问题整改以及评价结果应用三方面的内容。8XX省政务信息化后评价指标1评价指标体系框架XX省政务信息化后评价指标可划分为管理维度和成效维度，评
9、价基本指标应包括投资决策与建设管理、运维水平、应用效果、项目效益等四个方面，其中：管理维度具体分为投资决策与建设管理和运维水平两个方面，成效维度具体分为应用效果和项目效益两个方面。XX省政务信息化后评价指标体系框架如图2所示。应用程度管理和政务服务效能J信息资源共享及数据归集效果图2XX省政务信息化后评价指标体系框架A5投资决策与建设管理8.2.1 项目投资决策项目投资决策主要根据项目实施完成的实际情况，对项目立项决策事项进行评价。8.2.2 项目建设管理项目建设管理主要评价项目建设实施管理的水平。8.2.3 资源利用水平资源利用水平主要对项目系统实际运行过程中通信、计算、存储等资源实际使用率
10、与建成的能力进行比较评价。8.2.4 2.4业务应用集约化发展水平业务应用集约化发展水平主要评价项目系统与内外部其他信息系统的协同开发的程度，以及集约化共性平台的协同共享情况。A1运维水平8.3.1项目运行情况项目运行情况主要评价项目实际运行的情况。8.3.2运维组织保障运维组织保障主要评价项目运维的资金、组织和队伍的保障水平。8.3.3网络安全保障网络安全保障主要评价项目运行维护过程中的网络安全保障水平。A4应用效果8.4.1应用程度应用程度主要评价项目对业务的支撑力度、系统功能应用频次及受益者满意程度。8.4.2管理和政务服务效能管理和政务服务效能主要评价项目对政务目标的实现程度、业务办理
11、效率提升及改善程度。8.4.3信息资源共享及数据归集效果信息资源共享及数据归集效果主要评价信息数据质量以及信息数据开放共享水平。ft4项目效益8.5.1社会效益社会效益主要对项目系统使用以后产生的社会效益进行评价。8.5.2经济效益经济效益主要对项目系统使用以后产生的经济效益进行评价。8.5.3应用前景应用前景主要评价项目创新能力以及应用的可持续性、可推广性。9XX省政务信息化后评价机构后评价机构应具有明确的法律地位，应有文件描述其职能和从事技术相关应用咨询的能力范围。Q）独立性后评价机构应独立于所涉及的各方，不应是其评价项目的设计方、集成方、供应商、监理方和运维方，也不应是上述任何一方的授权
12、代表。O，公正性开展后评价的人员应不受可能影响其判断的来自商业、财务和其他压力的影响，应严格执行工作程序确保评价的结果不受评价机构意外的人员或组织的影响。保密性评价机构应确保对后评价活动过程中获得的信息保密。附录A（规范性）评价指标体系评价指标体系的详细情况如表A.1所示。表A.1评价指标体系一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明1投资决策与建设管理评价项目投资决策以及项目建设管理的水平和能力。1-1项目投资决策根据项目实施完成的实际情况，对项目立项决策事项进行评价。1-1-1规划衔接评价项目的立项实施是否符合相关政府规划及法律法规的要
13、求。1-1-2技术方案评价项目技术方案的先进性以及与批复文件技术方案的差异。1-1-3自主可控水平评估项目应用自主可控软硬件的情况，以及项目批复文件及实际建设情况的差异。1-2项目建设管理评价项目建设实施管理的水平。1-2-1招标采购评价项目招标采购方案中技术参数设置的合理性。1-2-2验收整改评价项目验收整改情况及效果。1-2-3档案管理评价项目实施、运行、维护过程中档案规范管理情况。1-3资源利用水平在项目系统运行时，通信、计算等资源实1-3-1请求响应能力利用率评价项目确定的系统请求响应能力和利用率的目标实现程度。_级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编
14、号三级指标三级指标说明际使用率与建成的能力进行比较评价。1-3-2计算处理能力利用率评价项目确定的业务计算处理能力和利用率的目标实现程咬。1-3-3数据存储能力利用率评价项目确定的信息系统数据存储能力和利用率的目标实现程度。1-4业务应用集约化发展水平评价项目系统与内外部其他信息系统的协同开发的程度，以及集约化共性平台的协同共享情况。1-4-1外部协同程度评价项目与承担单位外部的其他信息系统之间协同开发的程度。1-4-2内部整合程度评价项目与承担单位内部的其他信息系统之间协同开发的程度。2运维水平评价项目系统的运维能力和保障水平。2-1项目运行情况评价项目实际运行的情况。2-1-1系统可用性评
15、估项目系统完成要求的功能的能力。2-1-2系统可靠性评估项目系统在运行过程中的连续正常运行情况。2-1-3系统可升级性评价项目系统升级与更新频次。2-2运维组织保障评价项目运维的资金、组织和队伍的保障水平。2-2-1运维制度保障评价项目维保期到期后，申请维保资金规范性、合理性等。2-2-2运维队伍保障评价运维服务在岗人员、技术能力，及使用方对第三方服务商的监督制度建立及落实情况。_级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明2-3网络安全保障评价项目运行维护过程中的网络安全保障水平。2-3-1等级分级保护水平评价系统达到的信息安全和信息系统等级
16、或分级保护等级。2-3-2信息安全技术保障评价项目系统运行信息安全保障防护能力的有效性。2-3-3信息安全管理保障评价项目系统运行安全管理规范实施的有效性。2-3-4密码应用安全性评估评价项目密码管理体系的有效性。3应用效果评价项目满足业务需求的能力和信息资源共享的水平。3-1应用程咬评价项目对业务的支撑力度、系统功能应用频次及受益者满意度。3-1-1功能应用率评价项目实际应用的系统功能模块的覆盖率以及使用频率。3-1-2用户覆盖率评价项目实际应用机构/用户数量的情况。3-1-3受益者满意度项目系统受益者的满意程度。3-2管理和政务服务效能评价项目对提升政务效能的贡献度。3-2-1公共服务普惠
17、改善程度评价项目对改善公共服务普惠成效的贡献。3-2-2机制秩序改善程度评价项目实现秩序类公共事务管理转型，改善竞争、博弈及合作活动秩序，维护协同机制健康的贡献。3-2-3业务流程和质量评价系统使用后的业务办理流程和业务办理质量提升情况。_级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明3-3信息资源共享及数据归集效果评价信息数据质量以及信息数据开放共享水平。3-3-1数据标准化评价信息系统中的数据是否符合相关标准和数据规范，或者项目制定了新的标准规范，以及标准规范的使用程度。3-3-2数据一致性评价项目系统内部以及与其他系统之间对同一业务对象的描
18、述在编码、格式、含义等方面的一致性。3-3-3数据时效性评价项目系统在数据采集、加工、计算和展示方面的及时性，是否在规定时间内更新信息。3-3-4数据共享接口部署率评价项目确定的部门间数据共享接口的部署情况。3-3-5提供共享数据信息量评价项目提供给其他部门的数据信息量及共享数据方式。3-3-6提供数据服务次数评价项目为其他部门（单位）提供数据服务的情况。3-3-7数据共享机制及应用平台评价项目数据共享机制建设及实际利用数据处理支撑平台的情况。3-3-8信息资源利用率评价项目实际利用外部系统的数据的次数和频度。4项目效益评价项目建设的经济4-1社会效益评价项目系统使用以后产生4-1-1促进政府
19、职能转变评价项目促进政府职能转变方面的效益。_级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明社会效益以及应用前景。的社会效益。4-1-2提高办事效率评价项目提高办事效率方面的效益。4-2经济效益评价项目系统使用以后产生的经济效益。4-2-1提高工作效率评价项目提高工作效率方面的效益。4-2-2节约行政成本评价项目节约行政成本方面的效益。4-3应用前景评价项目创新能力以及应用的可持续性、可推广性。4-3-1项目创新能力评价建设应用后形成的创新点。4-3-2项目试点示范推广评价项目的试点示范推广应用情况。4-3-3表彰获奖情况评价项目取得的表彰获奖情
20、况。附录B（资料性）采用层次分析法计算评价指标权重示例8.1 层次分析法基本原理层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成元素，并按照元素间的相互关联影响以及隶属关系将元素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问题归结为最低层（供决策的方案、措施等）相对于最高层（总目标）的相对重要权值的确定或相对优劣次序的排定。具体到本计算示例，得到XX省政务信息化后评价结果（用得分表示）是总目标，投资决策与建设管理、运维水平、应用效果、项目效益等四个一级指标为组成元素。本计算示例采用层次分析法计算各评价指标的权重。8.2 采用层次分析法计算评价指标权重步骤（1）建
21、立层次结构模型将决策的目标、考虑的元素（决策准则）和决策对象按它们之间的相互关系分为最高层、中间层和最低层，绘出层次结构图。最面层是指决策的目的、要解决的问题。最低层是指决策时的备选方案。中间层是指考虑的元素、决策的准则。对于相邻的两层，称高层为目标层，低层为元素层。（2）构造判断矩阵在确定各层次各元素之间的权重时，采用一致矩阵法，即不把所有元素放在一起比较，而是两两相互比较，对此时采用相对尺度，以尽可能减少性质不同的诸元素相互比较的困难，以提高准确度。如对某一准则，对其下的各方案进行两两对比，并按其重要性程度评定等级。b表示对于上层元素而言，下层元素bj和b/相对重要性的数值，表B.1列出9
22、个重要性等级及其赋值。按两两比较结果构成的矩阵称作判断矩阵。判断矩阵具有如下性质：判断矩阵元素bU的标度方法如下表B.1所示。表B.1比例标度表元素i比元索j量化值同等重要1梢微重要3较强重要5强烈重要7极端重要9两相邻判断的中间值2,4,6,8(3)一致性检验对于上一步构造的判断矩阵，需要检验其一致性，以保证后续做出的排序和决策是可靠的。判断矩阵B=(bl7)nn一致性是指满足条件bikbky=bijG,AJ=l,2,m,它反映了两两比较判断之间是协调一致、不矛盾的。由于实际问题的复杂性和不确定性，特别是涉及的元素较多时，构造的判断矩阵可能不完全满足上述一致性。为此，提出了判断矩阵只要满足“
23、满意一致性”，就可以进入下一步操作。具体的“满意一致性”计算方法：对每一个判断矩阵求其最大特征根入ms及一致性指标：r.(入maxn)再计算一致性比例：Clcr=r1其中，应是平均随机一致性指标，它与n有关，如表B.2所列。表B.2平均随机一致性指标值n123456789RI000.580.91.121.241.321.411.45当CRVO.1时，认为判断矩阵具有“满意致性”，是可以接受的；否则需要对判断矩阵进行适当的修正。（4）层次单排序根据判断矩阵，计算下层各元素对上层元素的影响性排序（权重），称为层次单排序。设当前层对应的判断矩阵为B=（b0）nxn,有多种方法进行单层次排序。本计算示
24、例选用特征根法，即计算判断矩阵B的特征根和特征向量，将最大特征根入max对应的特征向量进行归一化后作为排序权重，即层次单排序的结果。（5）层次总排序将层次单排序结果进行合成，以得到各层元素特别是最底层元素对总目标的影响权重，这称为层次总排序。其计算过程如下：假定上层有In个元素A,42,Mm，己得到该层次的总排序权重为a1,a2,am；下层有n个元素B1,B2,Bn，且B2,8n对Ajo=I,2,m）的单排序权重为C1,C2,cR（当下层元素B，与上层元素A/无关时，取c0=0），则下层元素B,B2,，Bn,对于总目标的总排序权重向量B=（匕2,）bQ按以下方法计算加=羽IajcW=1,2,。
25、B.3采用层次分析法计算评价指标权重示例（1）建立层次结构模型根据XX省政务信息化后评价指标体系框架，建立目标和一级指标的层次模型如下图B.1所示。本计算示例只计算级指标的权重。图B.1XX省政务信息化后评价指标体系框架（2）构造判断矩阵通过咨询专家意见，我们构造判断矩阵如下表B.3所示。表B.3判断矩阵判断矩阵元素a01投资决策与建设管理由运维水平。2应用效果项目效益4投资决策与建设1.000.500.330.50管理Ql运维水平与2.001.000.501.00应用效果3.002.001.002.00项目效益42.001.000.501.00(3)一致性检验根据前面的公式，计算过程如下：因为n=4,查表B.2,选取平均随机一致性指标值R/=0.9。计算最大特征根入rnx=4.00747o计算一致性指标C7=0.00249o计算一致性比例CR=0.00277oCR小于10%则说明满足一致性要求，打分的主观性是可以接受的。(4)层次单排序根据判断矩阵计算特征向量和权重，得到指标Q1,a2,a3,a4对应的权重向量为/二(0.1222,0.2273,0.4233,0.2273)。采用同样的方法，可以计算每个二级指标相对于一级指标的权重，以及每个三级指标相对于二级指标的权重。最后可以计算每个三级指标的总排序权重。
