《数字化管理平台项实施指南.docx》由会员分享，可在线阅读，更多相关《数字化管理平台项实施指南.docx（129页珍藏版）》请在课桌文档上搜索。
1、数字化管理平台项实施指南编制:审核：审批：20xx年XX月目录一、项目背景4二、需求理解52.1需求理解5三、方案设计73.1 整体方案设计93.1.1 整体架构93.1.2 解决方案说明93.1.3 需求应答113.2 数据仓库133.2.1 数据仓库架构133.2.2 数据仓库产品说明153.2.3 需求应答273.3 数据整合与治理293.3.1 解决方案架构293.3.2 产品说明303.3.3 需求应答393.4 数据展现433.4.1 数据展现架构433.4.2 产品说明453.4.3 需求应答693.5 移动应用793.5.1 移动应用架构793.5.2 产品说明803.5.3
2、需求应答823.6 大数据平台833.6.1 HadooP平台833.6.2 大数据存储853.6.3 大数据采集90四、业务需求应答954.1 采集业务数据类型954.2 数据管理954.3 业务透明化964.4 业务主题场景分析984.5 业务共享平台98五、集成说明98六、项目实施与交付996.1 总体思路996.1.1 数据基础1006.1.2 KPI和报表分析体系1016.1.3 系统规划与架构1046.1.4 大数据系统管理机制1076.2 本期项目范围和实施方法1086.2.1 本期项目范围1086.2.2 项目实施方法论1106.2.3 项目管理1126.3系统各阶段交付件12
3、46.4项目问题和风险1246.5问题管理和服务保障1266.6项目假设127七、项目成本与价值129八、案例129一、项目背景随着全球能源互联网技术的发展，通过这些新的技术帮助风电制造企业实现传统业务转型，转变成为智慧能源整体解决方案提供商和服务提供商已成为行业的共同认识。“能源互联网”中，物联是基础，即用先进的传感器、控制和软件应用程序，将能源生产端、能源传输端、能源消费端的数以亿计的设备、机器、系统连接起来，形成了能源互联网的“物联基础”。大数据分析、机器学习和预测是能源互联网实现生命体特征的重要技术支撑：能源互联网通过整合运行数据、天气数据、气象数据、电网数据、电力市场数据等，进行大数
4、据分析、负荷预测、发电预测、机器学习，打通并优化能源生产和能源消费端的运作效率，需求和供应将可以进行随时的动态调整。另外一方面，全球先进企业都在向全面数字化企业运营转型，具体包括了三个方面“业务数字化、管理数字化和产品数字化，通过数字化转型可以帮助企业重构业务模式，重构业务流程，优化和提升管理水平，以便迎接未来的挑战。所以明阳数字化管理平台项目一方面通过对运营数据的分析来提升公司管理水平，更重要的是将来可实现对运营大数据的监控、分析以及数据挖掘，实现预测性的业务，从而奠定明阳智慧能源集团实现业务转型的技术基础平台。二、需求理解2.1需求理解明阳智慧能源集团自2005年成立以来，一直重视信息化工
5、作，先后在企业内部管理、研发设计等领域引入不同管理软件，以满足业务的发展和管理需求。明阳智慧能源集团前后建成了：HR、P1.M、HPC、SAP、0A、EAM、SCADA等信息系统。其中SAP系统，应用了PS、SD、PP、MM、QM、FbCO.BCSBW等9大模块，并开发了销售投标报价模块。SAP系统已经覆盖到明阳智慧能源集团所有制造基地。P1.M(ENoVlAV6)系统已近实现了研发项目管理、流程管理、文档管理和问题管理等功能，并启用物料管理、BOM管理等，并实现与SAP无缝集成。完成智能风场管理EAM项目。自主研发了集控与SCADA系统实现了明阳在全国区域内已接入的风场总数、总装机容量、总装
6、机台数，全国范围内风机运行情况和总发电量；以及每个风场的风机数量、当前风速和功率，当前功率和额定功率的比值；可以显示风电场在地图上的具体位置和周边道路、地形情况。随着系统运行，明阳积累了大量的企业运行数据。这些数据已经成为支撑明阳业务创新和数字化转型的重要资产。通过数字化管理平台的建设利用好企业数据，实现需求、计划、生产、采购、库存、发运、吊装、维护维修等信息的拉通和信息的共享。同时，从现有运营数据的集中展现入手，辅助运营过程的日常管理，加强运营数据的分析与应用，建立明阳风电集团特有的运营管理数据模型，实现现有运营数据的监控、可视化、分析和挖掘，成为的运营管理决策的信息化平台。对于明阳智慧能源
7、集团数字化管理平台，SAP和合作伙伴从以下几个维度进行设计建设：KPl报表需求1、展示公司月度/季度/年度计划2、动态展现计划执行状况3、KPl报表以及重要信息推送数据分析模型：1、风机出品预警模型2、库存价值分析模型3、风机健康指标模型数据集成1、与SAP应用的对接2、与第三方数据库的对接3、与开源平台的对接4、与OffiCe文档的对接数据展现1、传统PC端展现2、移动端展现（Android/iOS平台）3、Web端展现三、方案设计在当今企业处于数字化转型浪潮的大时代背景下，企业在探求从“产品和服务驱动”向“数据驱动”转变。明阳集团在完成打造企业核心运行平台建设之时深思熟虑着手建设该“明阳智
8、慧能源大数据分析平台项目”，这是明阳智慧能源在大数据实践领域的首个大数据分析平台项目。其设计思想必将具备前瞻性、建设高度必将具有领先性、项目计划和实施必将具备稳妥性、项目成果必将是高价值的，并且利用成熟的技术产品和借鉴有经验的合作伙伴达到合理的投入。该项目必然是整体设计、分阶段实施、快速见效。SAP及其合作伙伴在大数据分析平台建设方面已经具备很深的经验积累；SAP专注企业核心应用平台40年，是工业4.0的先驱实践者和领导者；如图3.1SAP数字化核心与数字化转型所示，SAP描绘的在企业完成数字化核心以后一定需要走向数字化转型，也就是所谓的以数据驱动的企业；其中大数据和物联网是其关键一环。明阳集
9、团正式处于这样一个时刻，借助大数据可以实现企业内外数据链路打通，迅速的实现数据变现。SAP针对数字化转型，提供完整的数字化框架，使能企业互联，助力互联世界图3.1SAP数字化核心与数字化转型在大数据产品和解决方案研发方面SAP也是紧跟企业对于大数据场景的实际需求，不断突破创新，同时又以新的技术引领着企业向大数据技术蓝海挺进。依托SAPHANA内存计算平台，SAP为企业大数据应用提供了理念革新、技术先进、方案完整的整体解决方案。如图3.2大数据与物联网所示SAP提供从事物到流程以数据驱动的大数据和物联网平台。图3.2大数据与物联网在平台功能模块上：SAP大数据平台可以整体设计分阶段搭建、实施；在
10、平台硬件架构上：SAP大数据平台可以支持横向扩展和向上扩展；能够支持超过PB级规模的结构化和非结构化数据，具有统一调度资源、快速布署、分布式计算和存储、动态扩展等特点。SAP大数据平台所有产品软件除了法律上的许可要求外，在实际使用过程中，不存在任何性能上和用户数上的限制。3.1整体方案设计3.3.1整体架构SAP建议的明阳大数据整体架构设计采用分层实现，垂直数据治理与管理结构。如图3.3明阳大数据平台整体架构所示，整体架构从数据源开始自下而上分成：数据源层；数据集成与存储层；数据建模层；数据分析服务层；数据应用创新服务层；服务门户层；数据治理和配置管理垂直贯通。图3.3明阳大数据平台整体架构3
11、.3.2解决方案说明数据源层涵盖明阳现有的所有业务类型数据，和外部数据。生产运行领域自动化与信息化有：明阳自主研发的SCADA集中监控平台，IBM风场管理EAM系统。对于这部分数据，大数据平台既可以当做事件流处理，也可以作为传统静态数据批量抽取转换加载(ET1.)o经营管理领域信息系统有：SAPERP系统，达索P1.M系统；大数据平台可以通过SAPS1.T实时同步SAPERP数据，通过DataServiceET1.集成P1.M数据。外部公共数据有：天气、气候，水文，地理信息，环境数据等；大数据平台对这部分处理主要通过Hadoop平台集中存储，通过HANA内存数据库统一建模访问。数据集成与存储层
12、是整个大数据平台核心。以SAPHANA内存计算平台作为核心，是采用ShareNOthing的分布式系统架构；提供基于分布式文件系统的Hadoop数据存储服务；系统架构天生具备大规模并行处理能力和横向纵向扩展能力。大数据核心平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在技术上不需要增加额外技术或产品。在海量数据存储方面采用数据温区分层设计，常用结构化数据作为热数据存储在内存中，通常的数据规模是TB级；历史结构化数据作为温数据存储在磁盘列式数据引擎中，数据规模10TB-100TB；非结构化半结构化数据或无法直接分析的数据作为冷数据，存储在HadOOP中规模可以达到PB级。数据访问统一由
13、HANA内存平台实现。数据建模层是基于数据存储层的虚拟层，利用SAP大数据平台的HANA内存中视图建模功能实现；在本方案中划分为两个数据模型区：风机、风场数据整合服务和经营管理数据集市。风机风场数据整合服务包含：风资源数据模型，产品数据模型，风电场数据模型，机组运行数据模型等。经营管理数据集市是面向企业经营管理的，涵盖：经营利润分析类，预算分析采购计划类，主生产计划类，主需求计划类，市场分析类，经营成本类，结算回款类，库存周转类，现场计划类，物流配送计划类，销售价格类等企业管理指标及报表。企业经营管理驾驶舱和数字董事会看板是这个模型集合的典型应用。数据分析服务层：分析服务是利用大数据技术从数据
14、中挖掘出利用价值，实现数据快速变现。这部分工作可以在大数据平台搭建完成后在后续阶段联合合作伙伴和SAP数据科学服务、客户专家团队联合开展。数据应用创新服务：涵盖交付实施服务，智慧运维服务，远程预警服务，业主SaaS应用。服务门户：提供集成与协作门户，涵盖厂商应用门户，风场应用门户，客户应用门户。数据治理与配置管理大数据平台提供垂直到每一层的元数据管理，数据质量管理，数据模型管理，数据配置管理，数据标准管理，数据安全管理。3.3.3需求应答1、提供分布式的系统架构通过简便扩展服务器硬件资源来提升整体系统的并行计算能力。回答：SAP大数据平台天然的就是分布式系统架构；可以向上扩展或横向扩展服务器硬
15、件资源来提供整体系统的并行计算能力。2、 提供分布式的文件系统通过简便扩展服务器存储空间来增加整个系统的存储容量和并行I/O性能，同时能高效处理海量数据（PB级）。回答：SAPHANA大数据平台能够通过VOra融合HadOC）P分布式文件系统；不存在IO性能瓶颈，能够处理海量数据。3、 提供分布式内存计算能力通过简便扩展服务器内存来增加整个系统的内存容量，提升整个系统的快速响应能力。回答：SAPHANA只需要增加内存就可以增加系统的计算能力，线性提升系统的快速响应能力。SAP大数据平台核心优势总结：1 .实时分析，实时预测：业务数据实时同步；所有热点数据在内存中存储、在内存中计算，实现实时报表
16、和实时分析；2 .数据唯一，减少数据冗余：在SAPHANA的分层架构中，各层数据不落地，减少数据冗余，减轻数据维护的难度，从技术上尽量避免出现数据不一致的风险；3 .平台开放，逻辑灵活：SAPHANA支持多种数据源接入，整合了多种数据采集工具，针对不同的数据源类型提供不同的工具和手段；模型按层划分，逻辑清晰，架构稳定性非常好；4 .跨平台访问，全数据覆盖：在统一界面中实现对跨平台的数据访问，热点数据和历史数据无缝集成，大大降低了用户的使用门槛；5 .数据权威，信息安全性高：核心数据和应用保持同步，可回溯可审计；6 .多种样式的展现形式和访问的方法：可实现各类报表、交互式分析、即席查询、数据探索
17、、仪表盘及移动应用等方式，满足不同人员方便、直观、可视化的分析需求；7 .2数据仓库3.2.1数据仓库架构本方案提供以SAPHANA为中心的可扩展数据仓库架构，是面向未来的数据管理平台，无缝支撑分析应用的数据仓库架构；也是支撑大数据和数据湖泊的一体化的架构。如图3.4SAPHANA数据仓库平台所示。统TaS管理与处理逻辑数据仓库内存D业务服务动态分层SAPHANAHADOOPSAPBIISQ1.IPredictive统T雌访问服务SAP商务套件其他数据仓库云系统物联网及其他ERP系蜕SQ1.R档Q1.数据阵如图3.4SAPHANA数据仓库平台满足标准的基于SQ1.及BW风格的数据仓库，实现满足
18、未来需求：逻辑数据仓库；支持动态变化的系统布局支持云部署与混合部署；集成所有数据类型及大数据技术；横向扩展，支持海量数据及数据湖泊。超越其他数据仓库方案：最佳的与SAP解决方案开箱即用的集成-本地及云环境；HANA实时数据处理能力；通过SAPHANAVora集成HadOop；基于HANA的分析业务服务；针对HANA优化的可重用的业务内容。无缝集成明阳新能源现有SAPERP系统数据，和其他业务系统数据；以及能够为风场分机等物联网数据提供流数据集成。存储与处理外部环境数据。完整的建模服务，IOT集成与大数据预测分析。3.2.2数据仓库产品说明数据仓库结构中的主要产品包括：SAPHANA内存数据仓库
19、及大数据平台；SAPElM数据集成与主数据管理（详细内容在3.3数据整合与治理部分介绍）；SAPBO数据挖掘展现与可视化，SAPPA预测分析（3.4数据展示部分说明）；大数据与数据湖泊（3.6.2大数据存储部分说明）；物联网流式数据集成（详细内容在3.6.3大数据采集部分说明）；SAP高性能分析应用（SAPHigh-PerformanceAnalyticAppliance,简称HANA）是一套灵活、多用途、而且与数据源无关的基于内存计算的全新应用，通过整合硬件（由SAP的硬件合作伙伴：华为，惠普,IBM,富士通，思科,戴尔等来提供）和优化的一套基于内存计算技术的应用。SAPHANA内存计算平台
20、核心是面向下一代的数据库、数据仓库技术，同时也是可扩展的大数据平台。其架构如图3.5SAPHANA内存计算平台所示：SQ1.MDXRJSONOpenConnectivitySAPHANA平台支持任何设备SAPHANA聚集了数据库、数据处理、应用平台能力，并且提供了预测分析库、计划、文本、空间、和商务分析，来使业务能够实时运作.3.5SAPHANA内存计算平台SAPHANA基于全内存计算，采用ShareNOthing架构，支持多服务节点并行计算，其认证过的HANA一体机硬件可以支持达到94个节点。支持全面的数据集成，阳明新能源现有考虑范围内的数据源都可以被支持；提供统一的海量数据存储与数据建模；
21、支持任何设备的访问，包括移动化。SAPHANA特点有：- 高性能内存计算；- 软硬一体机解决方案；- MVCC大规模并发访问技术；- 行列组合计算技术，列数据压缩技术；- 数据并行分区技术；- 数据持久化保持与insert优化技术；- 基于视图建模；- 预测分析库；- 数据展现集成；- 文本分析技术；- 地理信息支持；- 数据分层与大数据支持；- 数据集成平台化组件，IOTFundation,SDI,S1.To以下内容是以上特性的介绍。高性能内存计算：传统数据库技术基于磁盘计算，通过index和CaChe技术进行性能优化。但是现代计算机技术特点是CPU大规模并行、内存大规模商用、磁盘是高性能计
22、算的瓶颈。SAPHANA利用现代硬件技术架构,8CPUX15CoresperbladeMassiveparallelscalingwithmanyblades完全自主创新研发了全内存列计算数据库。如图3.6所示：12TBincurrentserversDramaticdedineinpric。/PerfOrmanCe00000000IIIO1.TPO1.APIncolumnStorePartitioningCompressionSolidStateFlashHDD图3.6SAPHANA基于现代计算机硬件架构这是面向下一个15年设计的核心数据库和数据仓库产品。内存读写性能是磁盘的100万倍，SA
23、PHANA的查询分析能力比传统数据库提升100O倍，几十亿级别记录全表分析查询秒级响应，使得交易型操作O1.TP和分析型操作O1.AP可以融合，真正实现企业对于实时业务和分析的要求，是企业数字化转型过程中不可或缺的核心平台。图3.7显示了HANA内部架构。RequestProcessing/ExecutionSQ1.ParserControlMDXTransactionManagerReplicationServerSQ1.ScriptCalcEngineAuthorizationManagerMetadataManagerRelationalEngine?lOdcolumnRowStoreo
24、.StoreIn-MemoryComputinqEngineSessionManagementMain一PageManagementPersistence1.ayer1.oggerDiskStorageDataVolumes1.ogVolumesDisk/-Flash图3.7HANA内部架构本质上SAPHANA仍然是基于关系型的数据库系统(RDBMS)o所有数据库产品知识如ANSI92-SQ1.,Table,View,Procedure,Index(基本不需要了)，1.ock,User,Role,Session,SChema等对象都和原有数据库概念一致。并且磁盘仅仅用于数据持久化，使得重启、掉
25、电以后数据永不丢失。明阳新能源采用HANA不存在技术门槛。软硬一体机解决方案：运行SAPHANA的硬件是都是经过SAPHANA认证的服务器，几乎所有主流的服务器厂家如：华为，1.enovo,Dell,Cisco,HP,日立，富士通等都有经SAPHANA认证的服务器，通常称其为SAPHANA一体机。如图3.8HANA硬件架构所示。可以从以下网址查找所有认证过的HANA一体机，(器，以及CloUdIaaS环境。SAPHANA服务器支持X86架构的InteI智强处理器，SuSE1.inuxRedHat1.inUX操作系统，IBMPower7forIinux处理器也已通过认证；支持本地部署、VMWar
26、e虚拟化和CIOUd部署。数据库应用SAPHANASystemSoftwareServerNetworkStorageSoftwareServerNetworkStorageSoftwareServerNetworkStorage数据中心SAPHANASystemSoftwareSoftwareSoftwareSerVer.SerVer.MServerNetworkINetworkINetworkNode1Node2NodenNode1Node2Node认画艮务器(850+configurations-128GBto24TB)选择满足SAP认证要求的组件Bull您RjJsuiJ5S2!5orv
27、tzoUNIsys11V!2!iQrednatISr图3.8HANA硬件架构MVCC大规模并发访问技术：SAPHANA在并发访问和数据一致性保证上采用MVCC（MutipleVersionConsistencyContral多版本一致性控制）。读、写不阻塞读，采用行级锁控制事务，提高大规模并发用户访问能力；SAPHANA采用大规模并行CPU,每个Core都可以独立处理单个列，使得大规模并行计算能力极大的提高，完全符合现代硬件的多路CPU和大规模内存计算技术。行列组合计算技术，列数据压缩技术：SAPHANA采用行和列两种方式组织数据结构，行表主要用于updatedelete频繁的O1.TP操作，
28、列表主要用于分析型场景O1.AP使用。并且SQ1.支持行、列表的关联查询。明阳大数据平台基本上全都采用列式模式计算。列计算采用可以直接访问的数据压缩技术，获NCSgiVCEEMC在得极大的数据压缩率。如图3.9数据压缩所示，SAPHANA字典压缩原理。庭三j怅;1张山侬男李四上海女李梦上海女李梦女0：张山1：李四2:转0：北京1：上海段0001112112I1HANA列式存储数据字典压缩张山0：男1：女0:101：上海1x0表示1个张山.后面的数字表示实际的值HANA歹I式存储运行长度压缩11：图3.9数据字典压缩图3.10所示，SAPHANAERP系统运行在HANA上和传统数据库相比数据可以
29、达到5倍以上的数据压缩率，并且查询响应时间几十到数据并行分区技术:SAPHANA实现了并行处理，通过集群分布式架构实现大数据平台的线性扩展，灵活应对企业业务的变化；如图3.11所示：把大数据量和计算量分散到多个处理器和内存进行并行处理。在需要进行性能扩展的时候，通过增加处理节点，就可以轻松实现集群性能的线性增长。企业随着业务的变化，可以灵活调整大数据平台核心的性能，支持海量数据。EIHnEHnlHnIHH1111QQ一三QH32iaE2I3QDODDDz；QE3QBQ2E2DQBDDsFTmETmfnnrmiDQDQ图3.11HANA并行分区技术数据持久化保持与insert优化技术；SAPHA
30、NA是纯内存数据库，所有数据存储在内存中，磁盘中存在一份磁盘的镜像，用于数据持久化。未来弥补磁盘写入性能瓶颈，HANA设计了一套insert优化机制，采用SSD固态盘作为日志卷，所有数据先写入日志卷，异步合并到数据卷。如图3.12HANA读写机制所示：a数据一I/O都在内存来自任何DB来自任何系统写入重/Ii后a硬盘Oooo图3.12HANA读写机制1）数据总是直接写进内存；2）更新内存数据的同时写入日志；3）数据定期写入磁盘并创建保存点；4）数据恢复时从磁盘和日志区读取记录。基于视图建模;SAPHANA直接在内存中基于虚拟视图建模。是先进、成熟的数据仓库建模平台；HANA模型可以直接被BO数
31、据展现调用。如题3.13所示，HANAStudio可作为建模工具； SAPHANAStudio提供直接在内存中虚拟建模工具; 维度视图和计算视图实现的模型无数据冗余； HANAStudio还集成了BW建模工具； HANA建模是先进、成熟的建模工具。图3.13HANAStudio建模SAPHANA视图模型可以理解为CUBE,如图3.14所示。由于是利用内存视图建模，所以在性能上和分析维度上和传统CUBE相比有非常大的提升。属于技术质变层面的进步。图3.14HANA视图建模此外SAPHANA数据仓库还提供BW/4HANA建模如图3.15BW/4HANA建模所示：SAPBW4HANA(1.SA+)虚
32、蹑据集市数据源KfeK图3.15BW/4HANA建模 快速灵活地基于数据仓库的所有层次出具报表 跨不同数据层虚拟组合数据 业务和服务水平驱动自下而上与自上而上方法相结合一一支持敏捷与灵活开发预测分析库；SAPHANA自带函数库：包含预测分析函数库(PA1.),为大数据预测和分析提供强有力的支撑，如图3.16HANAPA1.库所示：分发挥SAPHANA计算引擎的预测分析能力：使用原生的建模工具即可进行高级的可视化设计可导入符合PMM1.的模型并支持直接与SAPBI客户端工具进行交互式嵌入调用嵌入第三方应用，为PDMS等应用提供实时预测分析能力如图3.16HANAPA1.库所示(3HMt0Xd1V
33、mbtebc(phOoeRMtCMHIMCBmnwiCMft&MrCMCmRCMftDuelVkAwtV1.mCMiVQImOveiAMla.CMHCmCeaMmRr41.mwCMfttCumAw4UwCMHVMlHChMiVImAma5MdMCdumMsteCk4ACMItB100XStMMBx)0CkmnCMvtWRoeCMvt兽MUb9WIMeeCIWYrcu4cmI同时SAPHANA还提供R语言统计函数库：SAPHANA+R语言，利用网上丰富的大数据分析资源，为企业大数据分析应用提供更多思路。R与HANA的集成 可使用R的开放环境，提供多达5000个函数库用于内存计算 R的函数通过高性
34、能的内存计算来并行处理 R的脚本可嵌入SQ1.语句共同完成HANA的数据模型数据展现集成；SAPHANA数据仓库平台无缝支持SAPBO所谓数据展示平台。具体说明在数据展示部分介绍。文本分析技术；SAPHANA支持非结构化的文字搜索与分析，帮助企业更好的挖掘信息金矿。构建在统一的，灵活的，健壮的数据平台基础之上的固有的文字搜索与分析能力，可针对结构化与非结构化内容。可通过HANA的文字搜索与分析能力，来分析客户投诉，电话中心,维修，机器，事故等。特性： 固有的全文搜索； 集成的文字分析能力； 实体及语义的抽取； 图形化的建模与搜索模型； 专用于构建搜索应用的图形化工具箱。益处： 对SAPHANA
35、中的非结构化内容进行梳理； 在统一的体系内整合O1.AP和O1.TP用例中的业务分析搜索以及文字搜索工作； 降低重复性的，延迟性的以及操作性的开销； 易于建模一一已经构建于SAPHANA的建模工具之内； 通过可复用的图形化构建模块，可以实现搜索型应用的快速开发。地理信息支持；SAPHANA空间数据处理为大数据分析和预测提供了新的创新能力；支持实时空间数据处理、空间数据分析优化、空间数据类型及函数，提供地理信息及服务。如图3.17HANA空间数据支持所示:MotoHftyisufrzatiAnalyticsHTM1.5GISApplications口口口二J=口图3.17HANA空间数据支持数据
36、分层与大数据支持；SAPHANA大数据平台支持海量存储与处理，采用数据温区分层设计。结构化分析热数据常驻内存，结构化历史数据定义为温数据存储在磁盘列式数据库，即HANA动态分层技术（HANADT）；非结构化数据和冷数据存储在Hadoop中，从HANA通过Vora基于spark框架或SInartDataACCeSS访问。详细介绍在大数据存储部分。数据集成平台化组件，IoTFundation,SDI,S1.TSAPHANA数据仓库平台集成了数据整合工具；包含ET1.批量抽取转换加载，S1.T从SAP系统实时加载，从数据源CDC实时捕获事务SQ1.传输到数据仓库，以及风机风场传感数据物联网事件数据流
37、式集成。ET1.S1.T集成在3.3数据整合与治理部分说明；IOT在3.6.3大数据集成部分说明。3.2.3需求应答1、 可扩展性：提供企业级的分析基础架构，支持多服务器并行处理功能，至少支持20个或以上的服务器节点。回答：SAPHANA数据仓库采用可扩展架构，支持多服务器并行处理，支持96个节点。2、 提供高性能的数据仓库回答：SAPHANA属于新一代高性能内存数据仓库，查询分析性能提升上千倍。3、 大量并发：提供数以万计的用户并发访问超大规模的数据回答：SAPHANAMVCC支持大规模并发O1.AP访问；支持海量数据规模。4、 快速响应：提供秒级的查询速度回答：SAPHANA几十亿级别大表
38、全表访问秒级响应。5、 交互查询：允许用户提交任何类型的数据交互查询回答：SAPHANA支持任何类型数据加护查询。6、 快速加载：支持批量数据加载。（满足。见3.3数据整合与治理部分回答）7、 能进行数据压缩并显著降低存储空间，尽量降低硬件存储成本回答：SAPHANA能达到5-20倍的数据压缩。8、 支持数据的多维建模分析，同时支持自顶向下和自底向上的建模方法。回答：SAPHANA提供视图建模和BW建模两种建模方法。9、 提供对元数据处理全过程的追踪，并能够提供由数据仓库所管理的所有实体的完整历史资料。（满足。见3.3数据整合与治理部分回答）10、提供可视化的建模工具，支持统一建模语言（UM1
39、.）图表。回答：满足。提供HANASlUdiO和NelTVeaverBW两种图形化建模；利PownerDeSignerUM1.企业级建模工具。11、提供数据抽取（ET1.）工具，所提供的ET1.工具必须具有以下功能：（满足。见3.3数据整合与治理部分回答）12、支持不同厂商的数据挖掘分析应用，包括但不限于：ASTER、SAS、COGNOSSPSS等。回答：HANA通过JDBCODBC开放，不同厂商的数据挖掘工具度可以支持，同时平台也提供SAPPA数据挖掘工具，和PA1.,R。13、提供高效的数据压缩功能，压缩比能达到十分之一或以上。回答：SAPHANA能达到5-20倍的数据压缩。14、提供访问
40、控制，不同用户访问不同主题的数据内容。回答：支持角色，用户，完整的权限控制。15、提供数据安全保护机制，仅允许认证的用户访问相应权限范围内的数据。回答：完整的数据安全机制。3.3数据整合与治理3.3.1解决方案架构数据治理是指将数据作为组织资产而展开的一系列的具体化工作，是对数据的全生命周期管理。数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。数据治理体系包含两个方面，一是数据核心领域，二是数据保障制度章程规章制度管控办法考核机制组织组织架构组织层次组
41、织职责数据标准数据安全据数主据数元在上图的数据核心领域中，本方案提供以SAP企业信息管理套件(EnterpriseInformationManagement,简称EIM)为中心的数据治理架构，提供垂直到每一层的数据整合，数据质量管理，数据模型管理，主数据管理，元数据管理等。整体产品功能架构如下图，涵盖了明阳数字化管理平台的整个信息治理闭环的链条，为数据仓库层、数据展现层、大数据平台等提供了基本的数据整合与治理服务。清洗&监控归档3.3.2产品说明SAPEIM包含了多个产品的组合，本次项目中推荐使用的有:-DataServices(DS)数据集成和数据质量管理-MasterDataGoverna
42、nce(MDG),主数据管理-InformationSteward(IS),元数据管理三者共同构成整个数字化管理平台的数据治理服务层：数据服务(SAPDataServices)企业主数据平台(EnterpriseMasterDataManagement)信息管家(SAPInformationSteward)全面的数据分发能力各相关应用统引用、同步更新，保障数据口径统一设计清洗规则包，根据监控发现的数据问题,便利的设计熠强的规则清洗包，供数据服务（DataServices）执行，改善数Ig质）数据质E管理根据主数据陆标准，配合主数据平台对主数据进行自动校脸,匹配.清洗等操作改善数据员量元数据管理
43、.持续监控全面的元数据管理,数据的实时监控、数据的及时统计、数据的趋势分析，为数据持续优化打下基础拉据抽取工现取用平台间数据集成需求统一的主数据平台保历数抠规范、制度、职责和流程的落地-SAPDataServicesDataSerViCe是包含了数据集成和数据质量管理的工具。单一专业平台，提供全面服务，支持访问全部关键业务数据（任意数据源,类型和领域）SAPDataServices信息管寡(InformationSteward)统一的管理环境（调度.安全.用户管理）一套蓼/目标1 .企业数据质量管理提供质量服务，保障数据质量标准（校验规则与基准）符合标准。2 .数据集成支持各类型数据源，进行各
44、类型数据抽取工作（如ET1.,CDC模式）提供数据的抽取、清洗、转换、加载等功能SAPCRM.SAPERP,SAPBusinessOnSuccessFactorsSybase,HANA,Oracle,SQ1.,DB2,HADOOP1.各种应用PeopleSoft,OracleApps,Siebel,SFDC1etc各种数据来源：Files.XM1.HTM1.,Mainframe,Excel,text,etc.SAP应用与非SAP应用ERP,CRM,.andnon-SAPsystemsK三iS5t数据校蛉文本分析数据迁移,数据同步,询查，盘时表析表即报分仪-抽取DataSerViCeS支持广泛的数据源和目标，包括：支持主流数据库系统：包括HANA、Oracle.MicrosoftSQ1.ServerIBMDB2SybaseASESybaseIQ支持非关系型数据源：如各种文件格式、xmKMQSerieS等支持通用的数据库接口：如ODBC支持企业应用系统：如SAPERP,OracleEBS,Peoplesoft,Salesforce,com等支持大型主机系统DataServices在抽取数据时支持异构数据源之间的关联。-清洗提供数据剖析功能(dataprofile),进行数据属性分析，可以帮助描述数据的质量、结构信息。可视化界面查看源和目标数据的质量、数据关系。使用Val
