企业数据资产入表操作指引.docx

上传人:夺命阿水 文档编号:1232676 上传时间:2024-04-07 格式:DOCX 页数:89 大小:728.54KB
返回 下载 相关 举报
企业数据资产入表操作指引.docx_第1页
第1页 / 共89页
企业数据资产入表操作指引.docx_第2页
第2页 / 共89页
企业数据资产入表操作指引.docx_第3页
第3页 / 共89页
企业数据资产入表操作指引.docx_第4页
第4页 / 共89页
企业数据资产入表操作指引.docx_第5页
第5页 / 共89页
点击查看更多>>
资源描述

《企业数据资产入表操作指引.docx》由会员分享,可在线阅读,更多相关《企业数据资产入表操作指引.docx(89页珍藏版)》请在课桌文档上搜索。

1、第1章引言11.1 基本概念11.1.1 数据11.1.2 11.1.3 数据资产11.1.4 zife711521.1.5 数据产品21.1.6 数据资产评估21.2 数据资产入表的政策依据21.2.1 企业数据资源相关会计处理暂行规定21.2.2 数据资产评估指导意见31.2.3 数据资产入表的其他政策依据与标准文件41.3 数据资产入表的实际需求和现实挑战5131数据资产入表的实际需求51.3.2数据资产入表的现实挑战61.4 数据资产入表的基本原则、参与主体和流程路线71.4.1 数据资产入表的基本原则71.4.2 数据资产入表的参与主体91.4.3 数据资产入表的流程路线10第2章数

2、据治理112.1 数据溯源112.1.1 数据溯源概述112.1.2 数据溯源模型112.1.3 数据溯源方法112.1.4 应用技巧112.2 数据权属122.2.1 影响数据权属因素122.2.2 解决数据权属方案122.3 数据质量132.3.1 数据质量需求142.3.2 数质量检查142.3.3 数据质量分析142.3.4 数据质量提升152.4 治理方案152.4.1 治理组织162.4.2 制度建设172.4.3 治理类型172.4.4 治理方法182.4.5 治理工具202.4.6 合规监督202.5 数据应用212.5.1 数据可用性分析212.5.2 数据开放共享212.5

3、.3 数据服务222.5.4 数据应用场景232.5.5 数据生命周期242.6 数据产品242.6.1 数据产品特征252.6.2 数据产品设计262.6.3 数据产品测试与应用262.7 数据安全272.7.1 标准与策略272.7.2 威胁因素272.7.3 安全制度282.7.4 安全技术282.7.5 数据合法合规检测292.7.6 安全评估29第3章数据资产评估313.1 数据资产评估的概念313.2 数据资产评估需求313.3 价值类型323.4 数据资产评估方法333.4.1 成本法333.4.2 收益法35IJ*373.5 数据资产评估过程403.5.1 前期准备403.5.

4、2 现场调查403.5.3 质量评价413.5.4 IiJ*413.5.5 评定估算413.5.6 出具报告413.6 数据资产评估案例413.6.1 项目名称413.6.2 项目背景413.6.3 评估目的423.6.4 评估对象和评估范围423.6.5 价值类型433.6.6 评估基准日433.6.7 评估程序433.6.8 评估方法443.6.9 项目进展443.6.10 项目意义44第4章合规与确权454.1 数据资产的确权报告454.1.1 数据来源合法性审查454.1.2 数据产品可交易性合规审查544.2 数据资产的登记行为57574.2.1 数据资源登记4.2.2 数据产品登记

5、59第5章数据交易605.1 数据交易市场分类605.2 数据乂易流程.61521注册认证615.2.2 登记挂牌63523),1111vJ-665.2.4 合约评估665.2.5 产品交付665.2.6 交易结算675.2.7 记录归档675.3 口口.易685.3.1 合约信息685.3.2 合约评估信息685.3.3 数据交付记录695.3.4 资金支付记录69第6章成本的归集与分摊706.1 成本构成706.1.1 数据资源成本组成706.1.2 数据资源成本分类716.2 11.确认和l*量.716.2.1 存货7262.2*.7第7章列报与披露797.1 列报797.1.1 歹IJ

6、报方式797.1.2 列报内容797.2 披露7.2.1 79807.2.2 披露内容第1章引言1.1 基本概念1.1.1 数据数据作为数字经济发展的关键生产要素,蕴含着巨大的经济价值与社会价值。根据我国数据安全法的定义,数据是指任何以电子方式或者其他方式对信息的记录。“数据”是对“信息”的记录,是对事物的记录或描述,是客观的、无序的。“数据”既包括“数字”,也包括声音、图像等模拟形式存在的数据。数据可分为结构化数据、半结构化数据和非结构化数据,见表1-1所示。通常,数据是指“原始数据”,是记录事实的结果,用来描述事实的未经加工的素材。表1-1数据的类型I数据类型定义示例结构化数据关系模型数据

7、企业ERP、OA、HR的数据等半结构化数据非关系模型的、有基本日志文件、XML文档、JSON文固定结构模式的数据档、E-mail等非结构化数据没有固定模式的数据wordpdfPPI及图片、视频等1.1.2 数据资源“数据资源”是指能为企业带来价值的数据的集合,包括企业内部的数据,以及外部的市场调研数据、用户生成数据等。数据资源不仅指原始的数据,还包括对这些数据进行处理、分析后能够得到的有价值的信息和洞察力。”数据资源”强调加工后具有经济价值。1.1.3 数据资产参照企业会计准则中“资产”的定义L推衍企业“数据资产”的概念。数据资产是指由企业过去交易或者事项形成的,由企业合法拥有或者控制的,能够

8、为企业带来未来经济利益的,以物理或电子的方式记录的数据资源。此外,1资产是指企业过去的交易或者事项形成的,由企业拥有或者控制的,预期会给企业带来经济利益的资源。企业数据资产入表操作呵数据资产在确认时,还需要同时满足:有关的经济利益很可能流入企业、相关的成本或者价值能够可靠地计量。简言之,“数据资产”强调可控制、有价值。1.1.4数据治理数据治理是对数据资产管理活动行使权力和控制的活动集合(DAMA国际数据管理协会,2009)o通俗的理解就是让企业的数据从不可控、不可用、不好用到可控、方便易用且对业务有极大帮助的过程。数据治理通过不同的策略和标准提高组织数据的可用性、质量和安全性。简言之,“数据

9、治理”就是实现数据价值的过程。1.1.5 数据产品狭义的数据产品,指以数据为主要内容和服务的产品,包括数据可视化和大数据应用平台相关的产品。广义的数据产品,指以数据为主要内容和服务的产品,包括从数据采集、预处理、存储和管理、挖掘和分析到展现的全域价值链上所有与数据相关的技术平台和工具服务。数据产品的本质内容是信息(刘维,2023),其稀缺性并非指数据或数据集合,而是信息内容的稀缺。因此,可通过对海量的、动态的、多样化的数据进行分析,生成符合特定要求的数据产品,从而用来分析事物的特性,预测未来,辅助决策。1.1.6 数据资产评估根据数据资产评估指导意见规定,数据资产评估是指资产评估机构及其资产评

10、估专业人员遵守法律、行政法规和资产评估准则,根据委托对评估基准日特定目的下的数据资产价值进行评定和估算,并出具资产评估报告的专业服务行为。简言之,“数据资产评估”是确定数据资产货币价值的过程。数据资产评估在数字经济的高质量发展中起到了关键作用,它不仅能够保障数据要素的有序流通与价值挖掘,而且推动数据要素市场化配置。为了确保数据资产的合理定价和为数据交易提供价值支撑,统一的数据资产评估标准不可或缺。1.2数据资产入表的政策依据1.2.1 企业数据资源相关会计处理暂行规定2023年8月21日,针对企业数据资源相关会计处理和会计信息披露等问题,财政部发布企业数据资源相关会计处理暂行规定(以下简称暂行

11、规定), 并规定自2024年1月1日起施行。这意味着数据资源在符合条件的情况下有可 能被确认为企业的“资产”,在财务会计报表中显性化,具体内容见图IT所示。适用范围.适用于企业按照企业会计准则相关规定确认为无形资产或存 货等资产类别的数据资源,以及因不符合企业会计准则相关 资产确认条件而未确认为资产的数据资源的相关会计处理, 企业合法拥有或控制的、预计会给企业带来经济利益的数据 资源。确认与计量.确认:数据资源按照企业会计准则分别确认为数据资源无形 资产和数据资源存货。具体根据无形资产(或存货)的定义 和确认条件予以确认。计量:根据无形资产(或存货)准则,计量以下情景的数据 资源:通过外购方式

12、取得的数据资源无形资产、自行开发形 成的数据资源无形资产、通过外购方式取得的数据资源存货、 通过数据加工取得的数据资源存货。列报.在资产负债表进行列报。.根据企业的实际情况并结合重要性原则,在“存货”下增设 “数据资源”项目;在“无形资产”下增设数据资源项目;在 “开发支出”项目下增设“数据资源”项目。.创新采取“强制披露加自愿披露”方式,企业可据实际情况,对数据资源的应用场景或业务模式、对企业创造价值的影响方式、与数据资源应用场景相关的宏观经济和行业领域前景等相关信息进行自愿披露。图IT暂行规定具体内容1.2 .2数据资产评估指导意见数据资产评估指导意见于2023年9月8日在财政部的指导下由

13、中国资产评估协会发布,自2023年10月I日起施行。该数据资产评估指导意见围绕数据资产评估中数据产权和数据质量的重要性,对数据资产的属性定义、评估对象、操作要求、评估方法和披露要求等内容进行了统一规定。数据资产评估指导意见对数据资产评估执业行为进行规范,保护资产评估当事人合法权益和公共利益,有助于解决数据要素市场建设中的“数据赋值”问题,对构建和完善数据要素市场、促进数字经济发展具有重要意义,具体内容见图1-2所不O图1-2数据资产评估指导意见具体内容1.2.3数据资产入表的其他政策依据与标准文件数据资产入表的其他政策依据与标准文件见表12和表13所示。表1-2数据资产入表相关政策文件文件名称

14、发布机构发布时间关于加强行政事业单位数据资产管理的通知财政部2024年2月8日关于加强数据资产管理的指导意见财政部2023年12月31日“数据要素X”三年行动计划(20242026年)国家数据局等17个部门2023年12月31日数字中国建设整体布局规划中共中央国务院2023年2月27日关于构建数据基础制度更好发挥数据要素作用的意见中共中央国务院2()22年12月2日表上3数据:产入表相速准望文件类型文件名称标准代号信息安全技术个人信息去标识化效果评估指南GB/T42460-2023信息技术数据质量评价指标GB/T36344-2018推荐性国家信息技术大数据数据分类指南GB/T38667-202

15、0标准信息安全技术数据交易服务安全要求GB/T37932-2019电子商务数据资产评价指标体系GB/T37550-2019资源管理数据资产管理指南TNSSQ()23-2022资源管理-数据资产建设通用要求T/NSSQ024-2022团体标准资源管理数据资产确权登记导则TNSSQ()25-2022资产管理-数据资产运营人员能力要求T/NSSQ026-2022数据交易流通活动(征求意见稿)数据产品登记业务流程规范(征求意见稿)数据产品登记信息描述规范(征求意见稿)征求意见稿截至2024年1月14日信息技术大数据数据资产价值评估(征求意见稿)数据确权风险控制通则(征求意见稿)数据确权风险控制通则(征

16、求意见稿)1.3 数据资产入表的实际需求和现实挑战131数据资产入表的实际需求广泛的数据资产应用场景蕴含巨大潜在价值。数据资产的价值主要体现在对市场、对客户、对业务的理解等方面,其应用场景极其丰富,并仍在不断扩大。数据资产的应用场景见图1-1所示。在不同应用场景下,数字资产管理发挥着重要的作用。数据分析是数据资产最常见的应用 场景之一。通过对数据资产的分析, 企业可了解市场动向、客户需求、 产品销售情况等信息,进而做出更 加科学的决策。数据分析可以帮助 企业了解市场中的商机,对产品进 行优化设计,达到提高销售效率, 节约成本的目的。数据资产可帮助企业进行风险管理 通过对数据资产的分析,企业可以

17、 了解市场、客户、业务等方面的风 险,据此制定相应的风险管理策略, 有助于企业预测、降低风险,提高 企业的安全性和稳定性。应用场景数据资产可帮助企业进行客户关系 管理。通过对数据资产的分析,企 业能够了解关于客户需求、偏好、 行为等方面的信息,进而制定更具 个性化的服务和营销策略,有助于 提高客户满意度、忠诚度和留存率。数据资产可帮助企业进行营销推广。 通过对数据资产的分析,企业可以了 解市场需求、竞争状况、产品特征等 信息,进而制定更加准确的营销策略。 分析数据资产是企业提升市场竞争力、 减少市场费用、增加销售额的重要手 段。图1-3数据资产的主要应用场景同时,庞大的数据要素市场规模急需激活

18、。2023年9月国家发改委价格监测中心透露,初步测算我国企业数据要素支出规模约为3.3万亿元;若将数据资产评估、质押、融资等衍生市场同时考虑在内,整体规模可能超过30万亿元。中信证券预计数据要素市场规模有望在2025年迈向2000亿元新台阶,并于2030年突破万亿元。2023年10月25日,国家数据局正式揭牌,预示着“十四五”开启了逐浪数字经济的新征程。中国数据要素流通市场在“十四五”期末将达到万亿元的规模(张利娟,2023),这是一个巨大蓝海,建立数据登记确权、评估计价和资产入表的政策“闭环”,激活万亿数据资产,是开启这一蓝海的金钥匙。数据资产入表是数据资产价值化的闭环之举,将企业数据资产以

19、会计科目和货币化形式呈现,将推动企业数据资源向数据资产转变,形成规范的数据资产开发、运营和管理体系,提升企业数据治理能级。1.3.2数据资产入表的现实挑战由于数据资源具有多种形式、多次衍生、价值易变和零成本复制等特点,因此在将数据资产纳入财务报表时,相关的确认和计量过程较为复杂,需要企业根据企业数据资源相关会计处理暂行规定的相关要求,结合企业会计实务需求,积极探索适合自身情况的数据资源会计核算方法,包括确认、计量、列示和披露等,通过充分发挥会计服务作用,更好地挖掘企业数据资源价值。但由于企业对数据资产入表的路径理解不足,各部门协同难度大。以数据资产“初始计量”流程为例,成本归集和分摊涉及无形资

20、产、存货确认条件的判断等相关工作,需要业务、财务、IT部门的专业人员共同理清数据生产链路,明确每一阶段的分割节点标志,见图1-4所示。这需要建立畅通的企业内部各部门协同关系和实现路径规划,对企业而言,难度很大。果JR生产和使用瓯数据资E建部门财务部门内部决策机构图1-4数据资产入表中企业各部门协同关系14数据资产入表的基本原则、参与主体和流程路线1.4.1数据资产入表的基本原则(1)合法合规原则数据资产入表应遵循合法合规原则,企业在将数据资产入表时,需要遵守相关法律法规和企业会计准则,确保数据的合法性、真实性、完整性和安全性。具体内容如图1-5所示。数据内容合法合规:企业存储数据的内容需真实、

21、合法、合规,不得存储法律法规不允许采集或存储的违法数据,如,企业私自存储未依法获取授权的国家机密数据、商业秘密等数据处理合规:企业处理数据行 为不违反国家法律相关规定,符合 合法、正当、必要原则数据安全合规:企业采取必要的 技术和管理措施,保障数据的安全 性和保密性,防止数据泄露、丢失 或被滥用数据交易合规:遵循数据二十 条,在数据产品交易中构建合规 高效、场内外一体化的数据要素流 通与交易体系数据核算合规:数据资产入表需 要遵循企业数据资源相关会计处 理暂行规定相关要求图1-5合法合规原则内容(2)谨慎性原则企业在将数据资源纳入财务报表时,需要根据企业会计准则的规定进行判断,并确保其真实性、

22、完整性和可靠性。同时,需要事先规划,结合有效的数据资源治理和管理,配套建立统一合理的数据资源成本归集和分摊机制,通过数据血缘I分析能力,明确数据资产化过程中所占用的企业资源,形成准确的数据血缘图谱。数据资产入表谨防财务报表“粉饰”,不能造成资产膨胀和“泡沫”。(3)商业秘密保护原则暂行规定综合考虑信息需求、成本效益和商业秘密保护等内容,提出自愿披露的方式。在自愿披露时,企业应主动按照企业会计准则和暂行规定的数据资源披露要求,持续加强企业信息主动披露工作,以达到全面反映数据资源对企业财务状况和经营成果的影响。同时,企业还应考虑到,在自愿公开数据资源的情况下,有效保护商业机密,防止因信息公开导致的

23、商业损失。此外,必须在法律允许范围内进行,加强国家涉密经济数据保密管理,确保机密1数据血缘是指数据的全生命周期中,数据从产生、处理、加工、融合、流转到最终消亡,数据之间自然形成一种关系。其记录了数据产生的链路关系,这些关系与人类的血缘关系比较相似,所以被成为数据血缘关系。信息的保密性与安全性。1.4.2数据资产入表的参与主体对于企业来说,数据资产入表是企业一项重要战略工作,具体实施需要内部数据部门、IT部门、财务部门和业务部门的共同参与;同时,也需要外部单位的协同参与。(1)企业内部参与部门企业进行数据资产入表工作时内部需要参与的部门主要有:决策机构:主要为董事会;数据部门:专门开展数据资产管

24、理;财务部门:完成入表、数据资产金融化;IT部门:推动数据产品开发;业务部门:数据作为无形资产或存货对外销售。(2)企业外部参与机构企业进行数据资产入表工作时外部需要参与的机构主要有:数据交易机构:数据资产入表时,数据交易机构(即“数据交易中心”)为数据提供方、数据接受方提供交易渠道,是专门负责组织、协调和管理数据资产交易的机构。负责完成数据“三权”(数据资源持有权、数据加工使用权和数据产品经营权)确权及交易撮合。数据产品能上架交易机构进行交易,一定程度上意味着数据已合规。数据治理机构(数据商):完成数据治理及质量评估,数据业务及产品开发,快速输出数据产品。律师事务所:从数据权属和法律属性完成

25、合规评估与审查,确保业务不触碰法律红线。会计师事务所:协助企业从财务角度完成入表的全流程,确保入表方式正确,符合审计要求。数据资产评估机构:在数据资产价值评估时,负责制定数据资产评估标准和方法,进行数据资产评估定价。银行等金融机构:在数据资源变现时,提供融资渠道,激活数据要素价值,实现数据资产金融化。如,为企业提供数据资产质押业务。科研院校:提供数据要素规划与设计,推进数据资产入表研究,参与全流程的数据资产入表政策咨询和个性化案例服务工作。1.4.3数据资产入表的流程路线为促进数据资产入表规范,本指引提出内外部协同的企业数据资产入表全流程,具体路线见图1-6,主要分为企业数据资源/资产管理、登

26、记确权、数据流通交易及金融化、会计核算处理。企业数据资源/资产邕理登记确权皎据澹通交易/金I1化图1-6内外部协同的企业数据资产入表全流程路线图第IO页第2章数据治理2.1 数据溯源2.1.1 数据溯源概述数据溯源(DataProvenance)是一个新兴的研究领域,其核心思想是追踪数据的历史变化,以便理解数据的来源、演化过程以及可能发生的风险。数据溯源旨在通过追踪数据的路径,还原其历史状态和演变过程,达成对数据历史档案的追溯。2.1.2 数据溯源模型数据溯源模型是数据溯源的核心技术,为数据溯源确定了初步的步骤和基本思路。从数据溯源信息管理的视角,提出了异构数据的溯源概念,即用横轴表示时间(t

27、)、纵轴表示过程(p)、z轴表示数据的异构分布特征。将数据溯源信息保存到不同的数据库中,形成携带溯源信息的异构数据库,通过数据库接口以及数据转换工具汇聚成目标数据库。2.1.3 数据溯源方法数据溯源的主要方法有标注法、反向查询法和双向指针追踪法。(1)标注法:通常涉及在数据源中添加特定的标识符或标记,以便在后续的数据处理过程中跟踪数据的来源和流动。这种方法的优点是简单易行,缺点是会引入额外的复杂性和开销。(2)反向查询法:依赖于在数据处理过程中保留的元数据或审计信息,以便在需要时回溯到数据源。这种方法的优点是可以提供更细粒度的跟踪能力,缺点是需要更多的存储空间和处理资源。(3)双向指针追踪法:

28、适用于特定的数据库中,其基本思想是使用两个指针,一个指针用于向前追踪,另一个指针用于向后追踪,通过比较两个指针的值来确定数据的起源和流向。在实际应用中,双向指针追踪法通常与其他方法结合使用,以提高追踪的准确性和效率。2.1.4 应用技巧(1)数据标签:在数据处理过程中,可以对数据进行标签,方便后续的数据溯源。(2)数据加密:在数据传输和存储过程中,对数据进行加密处理,可以防止数据被篡改或窃取,从而保护数据的完整性和安全性。(3)威胁情报平台:获取到更多的溯源信息,如攻击者的IP地址、地理位置、社交账号信息等。(4)逆向分析和网络行为分析:在对恶意样本分析过程中通常需要关注:恶意样本中是谁发动攻

29、击、攻击的目的是什么、恶意样本的作者是谁、采用了哪些攻击技术、攻击的实现流程是怎样的。(5)同源分析、家族溯源、作者溯源:针对恶意样本的溯源分析可以从同源分析、家族溯源、作者溯源这三方面作为突破点进行分析。2.2 数据权属2.2.1 数据权属概述数据权属,也被称为数据产权,是指对数据的所有权、使用权、收益权等一系列权利的总称。数据权属问题的核心是通过分析不同来源的数据,梳理各数据主体之间错综复杂的权利关系,通过法律制度等方式确定数据产权的归属。2.2.2影响数据权属因素(1)数据的来源:数据的来源决定了数据的权属。(2)数据的性质:数据的性质影响其权属。(3)数据的使用情况:数据的使用情况影响

30、其权属。(4)法律法规:法律法规对数据权属有着重要的影响。(5)数据的非排他性:数据的非排他性使得数据的权属更加复杂。由于数据在使用中不会消耗,多人可以使用同一份数据,这就增加了数据权属的确定性难度。(6)数据的虚拟性、非稀缺性、易复制性等特性:这些特性对传统经济理论、对生产要素的解释、生产要素促进经济增长的机理、以及不同主体对数据要素的处理方式等方面,都提出了全新的挑战,只有对数据的特性全面了解、准确把握,才能建立能真正落地实施、具有可操作性的数据要素基础制度。2.2.3 解决数据权属方案(1)明确数据权属利益:司法领域通过适用竞争法,保护企业数据权属利益,形成数据领域的正向市场激励。(2)

31、构建数据产权制度:中共中央国务院正式印发关于构建数据基础制度更好发挥数据要素作用的意见,创造性地提出资源持有权、加工使用权和产品经营权“三权分置”的中国特色数据产权制度框架,并强调研究数据产权登记新方式。(3)区块链解决方案:区块链技术可以帮助解决数据的所有权、使用权、隐私权等问题,从而更好地管理和利用数据。(4)数据分类分级管理:在数据分类分级管理的基础上,完善数据确权相关立法,并通过实践,探索出具有普适性的确权规则。(5)合同约定与授权机制设计:前述方案涉及顶层制度设计、新技术手段的采用和实施方法论,而在现阶段立法体系与制度建设尚处于探索阶段,企业数据治理成熟度较为初级并参差不齐的当下,可

32、以通过合同约定以及授权同意机制来构建具体场景下的数据权属关系。2.3 数据质量GB/T36073-2018数据管理能力成熟度评估模型(DataManagementCapabilityMaturityAssessmentModel,简称:DCMM)将数据质量定义为数据管理的八大能力域之一。数据质量(DQ)是“既指与数据有关的特征,也指用于衡量或改进数据质量的过程,见图21所示。数据质量需求 1件I 11 一数性一I及内滑I E I I I 11 I瓯、M期3M今数据过程质量数据质检查数据质分析数据质提升产/V1 Itt一图2-1数据质量2.3.1 数据质量需求数据质量需求通常涉及到数据的准确性、

33、完整性、一致性、及时性、有效性和唯一性等方面的表现。这些需求是由企业或组织对数据处理和分析的具体要求决定的。具体来说,数据质量需求可以分为以下几个方面:(1)准确性:数据必须准确地反映实际发生的业务,任何业务操作的数据都没有被遗漏,数据存在各种约束条件,这种约束条件不能自相矛盾。(2)完整性:数据必须完全,不能有缺失,任何业务操作的数据都不能被遗漏。(3)一致性:数据在整个系统中必须保持一致,不能出现不一致的情况。(4)及时性:指及时记录和传递相关数据,满足业务对信息获取的时间要求。(5)有效性:指数据的值、格式和展现形式符合数据定义和业务定义的要求。(6)唯一性:指同一数据只能有唯一的标识符

34、。此外,数据质量需求还包括数据的过程质量,即数据的使用过程符合标准规范,比如数据存储:数据是否被安全的存储到了合适的介质上,能够保证数据不受外来因素的破坏。数据质量需求的满足与否直接关系到数据分析的准确性和可靠性,以及业务决策的正确性。因此,数据质量需求的明确和满足,对于企业的运营、规划和决策至关重要。2.3.2 数据质量检查数据质量检查是一种评估和提升数据质量的过程,涉及到对数据的准确性、完整性、一致性、及时性、有效性、唯一性等各个方面的检查,以便于数据的有效利用和决策的准确性。此外,数据质量检查也是数据质量管理的方法和手段,包括数据从获取、计划、共享、存储、应用、维护、消亡生命周期的每个阶

35、段里引发的各类数据质量缺陷,进行识别、度量、监控、预警等一系列管理活动。2.3.3 数据质量分析数据质量分析是从数据本身、数据约束关系和数据过程等方面评估数据质量,以及从业务需求、数据质量维度和数据质量规则等方面提高数据质量的过程。数据质量分析的目的是为了找出数据中存在的问题,然后采取相应的措施进行修复,以提高数据的质量。2.3.4 数据质量提升数据质量存在问题,就需要采取相应的措施进行改进。主要包括数据清洗、数据标准化、数据转换等操作,以消除数据中的错误和不一致,提高数据的质量。提升数据质量的方法主要包括以下几个方面:(1)数据质量管理:数据质量管理主要解决“数据质量现状如何,谁来改进,如何

36、提高,怎样考核”的问题。在关系型数据库时代,做数据治理最主要的目的是提升数据质量,让报表、分析、应用更加准确。(2)数据质量提升的六个维度:数据质量最关键的6个维度包括:准确性、完整性、一致性、及时性、有效性、唯一性。(3)引入工具和规则:通过引入一些工具和规则解决大多数的质量问题,也可以引入一个复杂的系统工程来提升数据质量。(4)自上而下的业务驱动:数据质量问题是由业务驱动的,自上而下的业务驱动将更为有效。确保数据正确的主要理由是确保业务成果得到满足。(5)产品思维:数据质量应该采用相同的产品管理原则来处理。数据生产者应发布一份“数据合同”,列出承诺消费者的实现数据质量特性标准。(6)数据清

37、洗:是对数据进行重新审查和校验的过程,旨在删除重复信息、纠正错误,并确保数据的一致性。主要包括不完整数据、错误数据和重友数据这三大类。提升数据质量需要综合运用各种方法,包括数据质量管理、数据质量提升的六个维度、引入工具和规则、自上而下的业务驱动、产品思维以及数据清洗等。同时,也需要根据实际情况灵活选择和调整方法,以达到最优的数据质量提升效果。2.4 治理方案数据治理旨在提高数据质量、促进数据一致性和集成、加强数据安全和隐私保护、支持合规性和风险管理、提升决策效能,以及提升数据资产的价值。通过有效的数据治理方案实施,组织实现更好地管理和保护数据资产,实现数据驱动决策和业务创新的目标。2.4.1

38、治理组织(1)数据治理组织概述数据治理组织是负责管理和优化企业数据治理流程的专门机构,主要职责是确保数据的质量、安全性和可用性,以最大化数据的价值。(2)数据治理组织的组成部分由以下三部分组成,见图2-2所示。数据治理领导组数据冷理SPonsoHQ各甥门负五人数据;合建委员会数据治理负亲人.数据治理专章和数据架构专家图2-2数据治理的组成数据治理领导组:由数据治理SPOnSor和各部门负责人组成,负责制定数据治理的战略方向,构建数据文化和氛围,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。数据治

39、理委员会:由数据治理负责人、数据治理专家和数据架构专家组成,负责企业数据治理工作的统筹并提供工作指导,在整个企业范围定期沟通数据治理工作,形成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标,建立和管理数据治理流程、阶段目标和计划,设计和维护数据治理方法、总则、工具和平台,协助各数据领域工作组实施数据治理工作,对整体数据治理工作进行度量和汇报,并对跨领域的数据治理问题和争议进行解决和决策。各领域数据治理工作组:在各领域数据范围内进行数据治理的工作,依据数据治理委员会制定的数据治理方法和总则,制定本领域数据治理目标和工作计划,负责领域数据资产的看护,维护更新相应数据标准和及相关元数据,

40、设计本领域数据度量和规则,监控收集数据质量问题并持续改进提升,主动升级数据相关问题。最终完成领域内数据资产的看护,并支撑数据治理目标的达成。2.4.2制度建设数据治理的制度建设是一个复杂且系统的过程,它涉及到数据的所有权、使用权、隐私权等多方面的问题,因此需要从多个层面进行考虑和规划。(1)围绕制度-技术-市场三个层次进行。制度层面主要关注数据治理的规则和政策,包括数据的所有权、使用权、隐私权等方面的规定;技术层面则关注如何通过技术手段实现数据的有效治理,比如数据的采集、存储、处理和共享等;市场层面则关注如何通过市场机制激励各方参与到数据治理中来。(2)数据的全生命周期,即从数据的产生、收集、

41、存储、处理、使用到消亡的全过程。这样才能确保数据的合规性和安全性,防止数据泄露和滥用。(3)数据的类型和来源。包括公共数据、企业数据、个人数据等不同类型的数据,它们的治理规则和策略也应有所区别。(4)数据的价值释放和数据流转利用规则体系方面的完善。这既包括数据的开放和共享,也包括数据的交易和流通,从而实现数据的最大化价值。(5)数据治理的组织结构和责任分工。例如,企业数据治理制度的核心理念是促进数据在企业、产业链、产业生态中的流动,促进数据资产的价值实现,从多个层面进行考虑和规划,以确保数据的合规性、安全性和价值最大化。2.4.3 治理类型(1)应对型治理:主要利用客户关系管理(CRM)等“前

42、台”应用程序和企业资源规划(ERP)等“后台”应用程序授权主数据,通过数据移动工具将最新的或更新的主数据移动到多领域MDM系统中,进一步整理、匹配和合并数据,以创建或更新“黄金记录”,最后同步回原始系统、其它企业应用程序以及数据仓库或商业智能分析系统。(2)被动型治理:是指在数据出现问题后进行修复,而不是提前预防和解决问题。这种类型的治理往往效率较低,成本较高。(3)主动型治理:是指在数据出现问题前就进行预防和修复,这种类型的治理效率高,成本低。(4)响应型治理:是指在数据出现问题后立即进行修复,这种类型的治理虽然效率相对较低,但对于突发事件的应急处理能力较强。2.4.4 治理方法(1)数据治

43、理方法概述数据治理是在组织内针对数据使用的一整套管理行为,由企业数据治理部门发起和推动,旨在制定和执行一系列关于企业内部数据的商业应用和技术管理的政策与流程,见图2-3所示。数据治理方法 治理工具标t光h 一应用金弓I 一Sftii 项目建设H*rts ,懒JW 治理工只平台数抠治理软件数据查询分析引簟工具敷JEMft理数球集初敷期设计及在Il分级敷脸用图2-3数据治理(2)数据治理的五个步骤数据治理主要包含五个步骤,即业务数据资源整理、数据收集与清洗、数据库设计及存储、数据管理和数据运用。这五个步骤可以概括为“理”、“采”、“存”、“管”、“用业务数据资源整理:是从业务的视角理清组织的数据资

44、源环境和数据资源清单,包括组织机构、业务流程、信息管理系统,以及以数据库、网页、文件和APl接口形式存在的数据项资源。数据收集与清洗:利用可视化的ETL工具将数据从来源端经过抽取(Extract)转换(TranSfOrm)、加载(Load)至目的端的过程,目的是将散落和零乱的数据集中存储起来。数据库设计及存储:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务

45、主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布等数据。数据分级:主要是对数据在遭到破坏时可能出现的后果预估,分析数据对公众造成的危害程度,然后对公众数据进行定级,制定相关安全保护措施,让不同级别的数据都能够得到安全保护,数据在进行分级的时候可以根据数据的重要性进行划分,将数据按照对公众的危害程度由高到低进行划分。数据运用:方便数据管理,降低成本,通过风险管理和优化来帮助确保公司的持续生存。(3)数据治理的方法顶层设计法:先做一个数据治理顶层设计的规划,然后按照规划执行即可。技术推动法:针对数据问题,从技术层面进行解决。应用牵引法:以应用需求为导向,推动数据治理工作的开展。标准先行法:在数据治理过程中,先进行标准化工作,规范后续的数据治理。监管驱动法:通过法规、政策等手段,推动数据治理工作的开展

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 在线阅读 > 生活休闲


备案号:宁ICP备20000045号-1

经营许可证:宁B2-20210002

宁公网安备 64010402000986号