《数据治理服务解决方案[24页Word].docx》由会员分享，可在线阅读，更多相关《数据治理服务解决方案[24页Word].docx（24页珍藏版）》请在课桌文档上搜索。
1、XXX数据治理服务解决方案第1页一、数据治理概述一）数据治理目标结合当前行业组织信息化发展进程当中数据业务相关的应用需求，以“风险可控、运营合规、代价完成”为数据治理总体目标：1）运营合规：组织应树立符正当律、标准和行业准则的数据合规管理体系，并经由过程评价评估、数据审计和优化改进等流程保证数据的合规性，促进数据代价的完成：2）风险可控：组织应树立、评估数据风险管理机制，确保数据风险不超过组织的风险偏好和风险容忍度，评估、指导和监督风险管理的实施；3）代价完成：组织应构成统一的数据驱动和数据代价理念，完善代价完成相关要素的定义、应用、调整，助力组织加快完成数字化进程。数据治理管控目标是提高组织
2、数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），推进数字资源在组织各机构部门间的高效整合、对接和共享，从而提升组织整体数字化水平，充裕发挥数据资产代价。二）数据治理概念数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合，以保障数据及其应用过程中的运营合规、风险可控和价值实现。数据治理体系是指从组织架构、管理制度、IT应用技术、绩效考核等多个维度对组织的数据架构、元数据、数据质量、数据标准、数据安全、数据生命周期等各方面进行全面的梳理、建设并持续改进的体系。二、数据治理需求分析数据资产意识在各组织机构中已经得到充分的认可，但目
3、前各组织单位对数据资产的管控状况依旧不容乐观，制约了组织数据质量的进一步提高，同时也限第2页制了数据价值的实现。根据行业信息化与数据治理发展现状，各组织单位现阶段对数据治理的需求主要存在以下五大方面：1）需要专门对数据治现进行监督和控制的组织。信息系统的建设和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管现监督措施无法得到落实。组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。3）需要规范统一的主数据。组织机构核心系统间的人员等主要信
4、息并不是存储在一个独立的系统中，或者不是通过统一的业务管理流程在系统间维护。缺乏主数据管理，使得主数据在整个业务范围内保持一致、完整和可控无法保障，从而无法保证数据的准确性。4）需要统一集团化的数据质量管控体系。当前现状中数据质量管理主要由各组织部门分头进行：跨部门跨机构的数据质量沟通机制不完善：缺乏清晰的跨部门跨机构的数据质量管控标准与规范，数据分析随机性强，存在业务需求不清的现象，影响数据质量；数据的自动采集尚未全面实现，处理过程存在人为干预问题，大多数部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题：缺乏完善的数据质量管控流程和系统支撑能力。5）需要基于数据全生命周期的
5、治理。目前，大型集团或政务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管现范畴；无信息化工具支撑数据生命周期状态的查询，未有效利用元数据管理。第3页三、数据治理体系扶植组织构建数据治理体系主要围绕数据治理核心域、数据治理管控机制、IT工具支撑、数据治理管控宣介以及数据治理实施路线规划五个方面展开。具体内容及相互关系参见下图：数据治理体系框架一）数据治理核心域1数据架构管理数据模型是数据构架中重要一部分，包括概念数据模型、逻辑数据模型和物理数据模型，是数据治理的关键、重点。理想的数据模型应
6、该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个组织的业务范围，以一种清晰的表达方式记录跟踪组织的重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最第4页小粒度的详细数据的存储，以支持各类可能的分析查询。同时保证逻辑数据模子能够最大程度上削减冗余，并保证结构具有足够的灵活性和扩展性。物理数据模子是逻辑数据模子在数据库中的具体完成，是数据库体系中实际数据的定义或主机文件体系中的文件结构定义，内容包括数据库内所有的表、视图、字段及其相关主键和外键的
7、定义，以及体系内数据流向及体系间的数据交换关系。2元数据管理元数据是关于数据的数据，描述了数据定义和属性。主要包括业务元数据、技术元数据和管理元数据。元数据管理的目的是厘清元数据之间的关系与脉络，规范元数据设计、实现和运维的全生命周期过程。有效的元数据管理为技术与业务之间搭建了桥梁，为系统建设、运维、业务操作、管理分析和数据管控等工作的开展提供重要指导。元数据管理的内容主要包括元数据获取、元数据存储、元数据维护（变更维护、版本维护）、元数据分析（血缘分析、影响分析、实体差异分析、实体关联分析、指标一致性分析、数据地图展示）、元数据质管理与考核等内容。3数据标准管理数据标准是组织树立的一套符合自
8、身实际，涵盖定义、操作、应用多层次数据的标准化体系。数据治理对标准的需求可以划分为三类，即根蒂根基类数据标准、指标类数据标准和专有类数据标准。根蒂根基类数据是指组织日常业务开展进程当中所产生的具有配合业务特性的根蒂根基性数据。根蒂根基数据可分为客户、资产、协议、地区、产品、生意业务、渠道、机构、财务、营销等主题。指标类数据是指为满足组织内部管理需求及外部监管要求，在根蒂根基性数据根蒂根基上按肯定统计、分析规则加工后的可定量化的数据。专有类数据标准是指公司架构下子公司在业务经营及管理分析中所涉及的特有数据。第5页4数据质量管理数据质不高将影响数据应用程度。数据质量管理包含对数据的绝对质量管理、过
9、程质管理。绝对质即数据的准确性、完整性、一致性等是数据本身应具有的属性。过程质量即使用质、存储质量和传输质量。高质量的行业数据至少应满足以下要求：一是准备性，在转换、分析、存储、传输、应用流程中不存在错误；二是完整性，数据库应用或要求的所有记录、字段都存在;三是一致性，体现在整个数据库的定义和维护方面，确保数据在使用的整个过程中是一致的；四是时效性，衡量指标是在指定的数据与真实的业务情况同步的时间容忍度内，即指定的更新频度内，及时被刷新的数据的百分比；五是可靠性，提供数据的数据源必须能够可靠稳定地提供数据。数据质量管理的规划和实施应至少包括以下内容：一是数据质量管控体系的树立，包括数据质量的评
10、估体系,定期评估数据质量状况：二是在部门各个应用系统中的落实，包括每个应用系统中的数据质量检查等;三是在最开始建立数据质量管理系统的时候，借助数据治理平台上，通过建立数据质量管理的规则来集中化地建立数据质量管理系统，发现问题并持续改进；四是数据质量管理与业务稽核的结合，通过业务规则的稽核来发现数据质量深层次的问题，将数据质量与业务一线结合起来，使业务人员对数据质量问题有更加清晰和明确的认识。完善的数据质量管理是保证各项数据治理工作能够获得有效落实，达到数据准确、完整的目标，并能够提供有效的增值服务的.重要根蒂根基。第6页5主数据管理主数据管理要做的就是从各部门的多个业务系统中整合最核心的、最需
11、要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给组织范围内需要使用这些数据的操作型应用系统和分析型应用系统。主数据管理的信息流应为：1）某个业务体系触发对主数据的窜改;2）主数据管理系统将整合之后完整、准确的主数据传送给所有有关的应用系统3）主数据管理系统为决策支持和数据仓库系统提供准确的数据源。因此对于主数据管理要考虑运用主数据管理体系完成，主数据管理体系的扶植，要从扶植初期就考虑整体的平台框架和技术完成。6数据安全管理由于组织的重要且敏感信息大部分集中在应用系统中，数据安全更是至关重要。如何保障数据不被泄露和非法访问，是非
12、常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。数据安全管理主要体现在以下六个方面：一是数据使用的安全性，包括基础数据的保存、访问和权限管理；二是数据隐私问题，系统中采集的敏感信息在下游分析系统和内部管理系统中，是否要进行加密，以避免数据被非法访问；三是访问权限统一管理，包括单点登录问题及用户名、数据和应用的访问授权统一管理：四是数据安全审计，为数据修改、使用等环节设置审计方法，事后进行审计和责任追窕；五是制度及流程建立，逐步建立数据安全性的管理办法、系统开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理第7页办法等；六是应用系统
13、权限的访问控制，建立集团级权限管理系统,增加数字水印等技术在应用系统中的使用。7数据生命周期管理数据生命周期管理一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。1）数据生成及传输数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。2）数据存储这个阶段除了关注保密性、完整性之外，更要关心数
14、据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘库进行存储。对于存储备份的数据要定期进行测试，确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。3）数据处理和应用信息化相关部门需要对数据进行分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采用联机处理，系统只输出分析处理的结果。但是实际中，因
15、为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等。第8页4）数据销毁这个阶段主要涉及数据的保密性。应明确数据销毁的流程，采用必要的工具，数据的销毁应该有完整的记录。尤其是对于需要送出外部修理的存储设备，送修之前应该对数据进行可靠的销毁。8数据服务管理数据整合归集最终目的就是要服务于各机构部门、人员等，能更准确更快更方便的服务是数据服务管理的目标。数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分
16、析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。二）数据治理管控机制1数据;罐组织1.1 组织架构有效的组织架构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前计划符合组织当前数据治理理念的组织架构和职责合作是非常必要的，如树立数据治理委员会、数据管理委员会、数据管理团队、数据质量团队、数据安全团队、数
17、据技术团队等。一般建议组织接纳如下图所示的组织架构：第9页1.2组织层次数据治理委员会由组织高层领导者组成。委员会定义数据治理愿景和目标：组织内跨业务部门和IT部门进行协调；设置数据治理计划的总体方向：在发生策略分歧时进行协调。委员会也将包含来自部门或子公司的领导代表，以及来自数据为组织资产的信息科技部门代表。这些高层管现人员是数据治理计划的所有拥护者，确保在整个组织内获得支持。数据治理工作组是组织内委员会下面的下一个级别。工作组执行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各局领导主持。每各业务部门有至少一位业务分析员，信息科技部门设置数据质量分析员、数据管
18、理员、集成开发人员。各工作人员负责本部门数据的质量，履行职责，解决具体的问题。1.3 角色职责根据数据管理工作的实际需要，在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。数据治理委员会职责范围：1）从战略角度来统筹和规划，对数据资产和系统进行清理,确定数据治现第10页的范围；明确数据源的出处、使用和管理的流程及职责；2）明确数据治理的组织、功能、角色和职责：3）负责各工作组成员的培训工作；4）负责审查各工作小组的目标、原则，批准数据管理的相关制度、标准及流程；5）负责确定数据治理的工具、技术和平台；6）负责制定数据治理的评估指标、方法。数据治理工作小组，其主要工作职责是：1）负
19、责数据治理的牵头，组织、指导和协调组织的数据治理工作；2）综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等；3）负责数据的分析整理并出具数据指标报告；4）负责数据的监测预测工作；5）树立数据冲突的处理流程和数据变更控制流程：6）负责对基础数据质量的检测、发布、考核和清理完善工作。工作组成员：业务分析员、数据质量分析员、数据管理员、集成开发员这些不同的角色在数据治理进程当中承当着彼此不同，而又相辅相成的职责。集成开发人员在数据治现流程中需要肩负起数据访问、验证数据结构、验证数据、交付数据以及数据库/知识库的构建等角色，其主要工作职责作包括：1）访问及交付相应数据给业务用户;
20、2）提高生产力和机能；3）最大化减少异常/出错的影响；4）开发和完善技术最佳实践。数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等，其主要工作职责作包括：1）为开发人员定义数据规格及标准：2）为机构有效的追踪数据质量问题；3）实施被业务人员和数据管理员定义正确的数据质量规则;第11页4）不间断的监控数据质量水平及问题。业务分析人员在数据治理流程中负责定义数据的转换规则,其主要工作职责作包括：1）与需求开发人员协作，正确捕获和解析业务需求：2）与开发人员和数据管理员协作，为业务用户缩短数据产生价值的时间。数据管理员需要定义引证数据，并管理元数据，其主要工作职责作包括：1）保证数据的质
21、量、正确、完整、一致、审计及安全性；2）定义引证/参考数据；3）为组织机构数据实体给出正确业务定义；4）为组织机构解决混淆和有争论的数据定义。2制度章程1.1 规章制度数据治理章程类似于企业的公司条例，该章程用以明确数据治理相关战略计划、合规管理和控制、标准和标准，如数据治理工作管理办法，加强组织数据治理管理能力，满足组织数据治理的要求，统一数据标准，提高数据质量，深化数据应用，支撑业务发展，提升管理水平及合规监管要求。具体可参见附件A数据治理管理办法。1.2 管控办法数据治理管控办法是基于规章制度与工具的结合，可落地的操作的办法，用以完善数据管控相关的规章制度起草、审.核、落实、监督的部门和
22、管控机制，明确各数据管理活动的人员角色和职责、管理内容和相关流程，一般组织会设置数据标准管控办法、数据质量管控办法、数据质量评估办法、无数据管控办法等。具体可参见附件B数据质量评估办法第12页1.3查核机制考核是保障制度落实的根本，建立明确的考核制度，实际操作中可根据组织情况，建立数据治理管控相关的考核指标、制度和办法，不断优化相关机制。一般组织都会针对数据标准管理、数据质量管理、元数据管理等核心治理域设置相关的考核机制与指标，并与个人绩效相关联。对于数据质量的查核，可参见下图；3管控流程数据管控流程是基于数据治理各核心领域的工作目标，在数据治理组织下，明确各参与方的工作步骤、工作任务以及流转
23、方向。数据治理流程的设立是数据治理核心领域内容得以贯彻执行的基础，通过将数据治理任务进行分解，最大程度提高数据治理的执行效率,降低管理成本。数据治理管控流程包括流程目标、流程任务、流程分级，根据数据治理的内容，建立相应流程，且遵循组织数据治理的规则制度。实际操作中可结合所使用的数据治理工具，与数据治理工具供应商进行协商，建立符合组织的流程管理。数据管控流程的设计应从组织实际出发，充分考虑组织的业务特点、管控模式以及数据管控的应急响应，同时将数据管控流程固化在相应的管理工具或平第13页台，完成各数据管理流程的自动化、可视化和实时监控。具体可参见附件C数据质量管控流程三)工具支撑1支撑平台数据治理
24、平台/工具是支撑公司数据治理体系和制度办法在流程上的执行落地，以最大限度地实现公司数据治理工作的自动化，提升数据治理能力和数据服务水平。目前市场上关于数据治理平台存在不同的成熟产品，但在功能实现上大致相同，具体可参加下图r解。数据治理平台总体架构第14页元数据管理功能架构数据质量管理功能架构第15页数据标准管理功能架构2技术标准技术规范是保障数据治理平台可持续管理的基础，随着数据量的增长、技术水平的发展，为更好、可持续的实现数据资产的管理、应用，需建立明确的技术规范。结合数据治理相关管控制度和流程，构建组织的数据技术规范，包括：数据应用研发规范、数据架构规范、门户数据整合规范、数据存储规范等。
25、3选型标准在数据治理体系扶植和完善的根蒂根基上，调研分析数据治理产品和工具，结合组织实际应用需求，构成相关的数据治理产品选型标准和建议。四）数据治理管控宣介结合组织数据治理现状、数据治理体系建设、数据治理未来愿景、组织团队建设以及信息系统建设等，构建具有针对性的数据治理管控宣介方案，形成数据治理的全员意识，为组织数据治理的成功实施提供保障。第16页四、数据治理应用一）证券行业数据治理应用证券行业作为一个数据密集型行业，无论是传统线下业务还是新型的线上业务，其竞争的一个关键要素就是数据。跟着证券行业信息化扶植的不断深入，以及证券公司业务种类、范围等的逐渐延伸，使得IT体系产生的数据量以惊人的速度
26、增长，面对巨大的数据规模，证券公司如何在监管报送和信息披露、风险控制、决策支持、精准营销、产品定价、绩效查核等各方面获得准确、及时、完整的数据支持，使其发挥代价是当前证券公司必须考虑的重要问题。1授信业务中的数据治理调整1.1背景介绍2.2场景描述某证券公司与银行、XXX协作推出了手机贷业务，经由过程手机贷APP终端，可方便的举行无抵押小额贷款。流程如下图所示：用户实名注册手机贷APP消息推送授信请求发送请求大数据平台采集数据资产数据定价评估标准化数据标准化处理用户数据数据质量稽核待服务数据数据安全处理数据结果结果反馈银行系统综合评估贷款通过1)用户在得到手机贷业务的宣传后，下载安装并实名注册
27、手机贷客户端。第17页2)APP进行注册后，手机贷APP进行授信请求的推送。3）用户同意授信后，APP后台发送数据请求到移动大数据平台。4）大数据平台以该手机号码为关键字，进行用户相关信息的采集和解析。5）采集后的数据通过数据标准化要求进行数据预处理，通过标准化处理和元数据的约束形成标准化数据。6）标准化数据经过平台数据数据定价和评估模型，产生有价值的数据资产。7）数据资产通过预先配置好的数据质量检查规则，形成待服务数据。8）满足数据质量要求的数据资产经过平台相应数据安全机制验证，产生评估结果。9）满足评估成效的用户会收到APP的响应推送消息，用户可举行后续的贷款预定和准备，贷款结束。2风险管
28、理中的数据治理-调整1.1背景介绍跟着我国监管改革持续推进，监管部门对证券行业风险管理工作提出了更高标准的要求，2016年12月，XXX在证券公司周全风险管理标准、证券公司风险控制指标静态监控体系指引等文件中明确提出“树立健全数据治理和质量控制机制”、“制定数据标准，涵盖数据源管理、数据库扶植、数据质量监测”等合规要求。目前，证券公司在风险管理方面主要存在以下不足：风险计量数据根蒂根基完备性不足、风险计量模子表现有效性不足、风险计量成效应用充裕性不足等问题,亟需周全扶植数据驱动型风险管理体系。2.2场景描述为了XXX满足新形势下对证券公司周全风险管理的要求,证券公司需求在前期工作的根蒂根基上，
29、进一步提升对风险数据、模子、体系以及人员的管理能力，全第18页面建设数据驱动型风险管理体系。以构建深化风险管理中的数据治理管控机制为抓手，实现风险数据的统一视图，并通过统一的数据服务和管理，确保数据的完整性和准确性，从而提升风险管理效率。流程如下图所示：3产品创新中的数据治理1.1背景介绍企业普遍通过对IT系统建设生命周期中的主要环节，如业务需求、系统设计、测试上线等环节，运用数据标准或数据模型等工具，进行系统层而的管控，以数据规范性在信息系统的提升为主要目标。然而在实际推进过程中，往往遇到“数据治理与业务创新脱节数据生产与应用脱节”、“信息化建设与业务规范管理的脱节”、”缺乏从业务维度对数据
30、质量问题的分解手段”等挑战。2.2场景描述为解决这一窘境，建议组织将数据治理管控扩展到产品管理领域，以业务标准定义为源头，符数据生命周期和产品管理流程相结合，借助产品目录、业务台账标准和数据标准等工具，经由过程产品识别、产品信息要素梳理、数据标准定义、数据标准落地等治理活动举行数据治理管控，构成产品创新阶段中数据治理的有效管控。流程如下图所示：为解决这一窘境，建议组织将数据治理管控扩展到产品管理领域，以业务标准定义为源头，将数据生命周期和产品管理流程相结合，借助产品目录、业务台账标准和数据标准等工具，经由过程产品识别、产品信息要素梳理、数据标准定义、数据标准落地等治现活动举行数据治理管控，构成产品创新阶段中数据治理的有效管控。流程如下图所示：
