华为FusionStorage技术建议书(分布式存储).docx

上传人:夺命阿水 文档编号:537349 上传时间:2023-08-16 格式:DOCX 页数:65 大小:1,014.85KB
返回 下载 相关 举报
华为FusionStorage技术建议书(分布式存储).docx_第1页
第1页 / 共65页
华为FusionStorage技术建议书(分布式存储).docx_第2页
第2页 / 共65页
华为FusionStorage技术建议书(分布式存储).docx_第3页
第3页 / 共65页
华为FusionStorage技术建议书(分布式存储).docx_第4页
第4页 / 共65页
华为FusionStorage技术建议书(分布式存储).docx_第5页
第5页 / 共65页
点击查看更多>>
资源描述

《华为FusionStorage技术建议书(分布式存储).docx》由会员分享,可在线阅读,更多相关《华为FusionStorage技术建议书(分布式存储).docx(65页珍藏版)》请在课桌文档上搜索。

1、华为FUSionStOrage分布式存储技术建议书HuaweiTechnologiesCo.,Ltd.华为技术有限公司Allrightsreserved版权全部侵权必究Revisionrecord修订记录/在供应应客户前需删除本页“修订记录”。本文档只是供内部参考运用,禁止将本文档原封不动发给客户或代理商。请结合实际项目须要进行必要增删调整。Date日期RevisionVersion修订版本ChangeDescription修改描述Author作者2014/9/12VLO初稿完成卢平002322532014/11/18VI.1评审修改曾祥勇00159952秦祖福00172507卢平002322

2、53TableofContents目录Revisionrecord彳修订i己录2TableofContents目录41项目概述61. 1项目背景61.2项目需求61.3功能需求72项目技术方案72. 1FUSiOnStOrage总体架构12. 2FUSionStorage优点概述112. 3FUSiOnStorage应用场景13FUSionStorage及FUSionSPhere融合场景14FUSionStOrage及VMWare融合场景14FUSionStorage及OPenStaCk融合场景163FUSiOnStorage应用中典型硬件平台183 .1FUSionStorage在机架式服务

3、器上运用194 .2FUSionStOrage在刀片式服务器上运用235 FUSiOnStorage应用中网络设计方案255.1 总体组网方案255.2 在机架式服务器上运用组网方案27单柜IOGE组网27单柜IB存储组网285.3 在刀片服务器上运用组网方案29虚拟化IOGE刀片服务器组网29虚拟化IB+SSD组网306 服务器数量规划315 .1FUSionStOrage按容量和性能计算服务器数量316 FUSionStorage产品特性介绍336. 1性能卓越336.2 高牢靠396.3 弹性扩展446.4 管理简便476.5 兼容性497FUSiOnStOrage典型应用案例527.

4、1浙江电信选择FUSiOnStorage建设存储资源池527.2华为公司计算云-单资源池5KVM547. 3FUSiOnStorage帮助江苏移动CRM系统建设高性能数据库平台558. 4华为携手沃达丰打造分布式数据中心579. 5华为FUSiOnStorage助力深圳海关加速大数据分析5810. 6FusionStorage:汇港资讯高效证券交易数据发布云平台建设.6011. 华为FUSionStorage助力BME高效交付股票交易系统628 系统软硬件配置清单及说明638.1 软件配置638.2 硬件配置639 缩略语651项目概述1.1 项目背景欣障校淮备接受虚拟化及云计算技术来构建IT

5、系统,提升IT系统的资源利用率,但是传统SAN在企业基础设施池化、云化中面临的主要问题: 存储资源弹性问题:多业务负载、资源的动态需求变更 存储扩展的问题:共享、扩展面临了诸多的瓶颈和问题(机头、前后端网络、CPU/Cache及HDD不同步问题) 形态和实施的成本、困难性问题:独立的存储网络,建设成本高、实施困难(初始实施、扩减容等) 容错和牢靠性问题:大规模集群中容忍的故障域问题(跨机柜、跨机房),硬盘重建时间长问题针对上述问题,建议运用FUSiOnStorage分布式存储产品解决上述问题,为满意业务平台日益增长的存储需求,为业务平台供应高平安性、高牢靠性、高可用性和开放性的存储服务。FUS

6、iOnStOrage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现,作为云计算资源池存储资源池的一部分,为计算资源池供应高速、牢靠、平安的块存储服务。 .2项目需求XXX单位,对存储需求如下,须要依据具体的项目进行修改:序号项目需求描述备注1存储容量要求30T有效存储容量,SAS磁盘请依据实际需求刷新2性能要求TPMC不小于600万,并发用户量为1000请依据实际需求刷rr劫 .3功能需求XXX单位,对功能需求如下,须要依据具体的项目进行修改:1、无性能下降智能精简配置2、基于快照的高性能链接克隆3、高性能增量快照技术4、高牢靠-多重数据平安保障机制5、高性能、低时延-一支持全SS

7、D存储6、高性能、低时延-支持Infiniband网络互联7、FusionStorage全分布式平滑扩展2项目技术方案分布式存储FUSionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储及计算高度融合的存储软件,通过突破性的架构和设计,达到高性能、高牢靠、高性价比。它具有一样的、可预料的性能及可扩展性,具有高弹性和自愈实力,具有计算存储高度融合。FUSionStOrage接受分布式集群限制技术和分布式HaSh数据路由技术,供应分布式存储功能特性。FUSiOnStOrage功能架构图如下所示:FUSionStorage功能模块:存储接口层:通过SCSI驱动接口向操作系统

8、、数据库供应卷设备。存储服务层:供应各种存储高级特性,如快照、链接克隆、精简配置、分布式CaChe、容灾备份等。存储引擎层:FUSiOnStorage存储基本功能,包括管理状态限制、分布式数据路由、强一样性复制技术、集群故障自愈及并行数据重建子系统等。存储管理层:实现FUSionStOrage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能,同时对用户供应Portal界面。FUSionStOrage系统软件架构:FUSionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备,供应比SAN设备更高的IO实力,把性能发挥到极致

9、。FUSionStorage分布式存储系统包含三个子系统:无状态机头无状态机头对外供应本地SCSl接口或者ISCSI服务接口,可以部署在存储节点,也可以灵敏部署在计算节点。系统启动时,无状态机头会从元数据集群获得最新的数据分布视图。在IO过程中,无状态机头会将数据均衡的分发到各个存储节点。无状态机头供应多种接口支持,其中包括本地SCSI,ISCSIo本地SCSl支持主流的IinUX操作系统,其他操作系统可以通过ISCSl接口供应块存储服务。存储集群在IO读写过程中,存储集群接收到无状态机头分发的IO请求,会依据副本策略,将IO分发到其他服务器或者机柜上的存储节点;同时存储节点会将每台服务器上的

10、缓存设备划分成读写缓冲区,IO干脆写到CaChe中就向主节点返回。当缓冲区达到确定的水位后,存储节点会自动将缓冲区的数据刷到主存设备(机械硬盘/SSD)上。分布式机头FUSiOnStOrage接受无状态的分布式软件机头,机头部署在各个服务器上,无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源,供应比集中式机头更高的I0PS。分布式缓存FUSionStorage实现了计算和存储的融合,缓存和带宽都匀整分布到各个服务器节点上。FusionStorage支持将服务器SSD卡用作读、写缓存,对于数据的写操作,系统数据首先写到SSD的写缓存中,全部副本(三个副本)写缓存成功后,IO立刻

11、返回。同时IO也会将数据缓存匀整分布到各个节点上,全部服务器的缓存总容量远大于接受外置独立存储的方案。即使接受大容量低成本的SATA硬盘,FUSionStorage照旧可以发挥很高的IO性能,整体性能提升3倍,同时供应更大的有效容量。FUSiOnStorage支持PCIeSSD用作数据缓存,除具备通常的写缓存外,增加热点数据统计和缓存功能,加上其大容量的优势,进一步提升了系统性能。由于分布式缓存带来的性能优势,IO时延,10PS都能很好的满意数据库的应用,FUSiOnStorage系统可以支持业界主流的数据库,支持OLAP,OLTP等主流业务。集群元数据管理FUSionStOrage分布式存储

12、软件的元数据服务接受集群管理方式,不会出现单点故障,一个节点或者一块硬盘故障自动从集群内隔离出来,不影响整个系统业务的运用。多数据副本FUSionStOrage存储系统中没有运用传统的RAID模式来保证数据的牢靠性,而是接受了多副本备份机制,即同一份数据可以复制保存多个副本。在数据存储前,对数据进行分片,分片后的数据依据确定的规则保存集群节点上。如下图所示,对于服务器SerVerl的磁盘DiSkl上的数据块Pl,它的数据备份为服务器SerVer2的磁盘Disk2上Pl,PI和Pl构成了同一个数据块的两个副本。2.2FusionStorage优点概述高IOPS,低时延:应用大容量CaChe技术,

13、提升IOPS;卷被切片分割打散到整个资源池全部硬盘中,条带化宽度增加,单卷可获得的性能大幅提升;访问均衡,无热点,资源池中各节点的利用率相同;无需预先设置固定RAID组,大资源池适应应用负载的动态变更;应用程序通过CaChe直达存储,时延更低; 无级扩容、超大容量:分布式系统,无管理机头瓶颈,容量几乎不受限制;无级扩容:分布式机头(每SerVer服务器相当于一个机头),无性能瓶颈,可无级扩容非烟囱式扩展:存储及计算同步平滑扩展。即插即用式扩容:扩容后系统自动调整负载平衡,真正实现无级平滑扩容。 管理简洁:结构简洁带来管理简洁;免于低层配置管理:仅须要做应用层面的管理,免去大量低层配置管理事务。

14、零性能管理的成本:自动负载均衡,无热点,故障自愈,无需进行人工性能优化。 数据重建快:并行重建速快;数据分布可以跨服务器或跨机柜,不会因某个服务器、机柜故障导致数据不行访问。数据分片在资源池内打散,硬盘故障后,可在全资源池范围内自动并行重建,仅重建实际数据,无需热备盘;重建ITB数据时间30分钟。2.3FusionStorage应用场景适合运用FUSionStOrage的应用场景: VDI、OA应用。其典型特点是:容量共享精简支配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。 虚拟化环境混合应用C其典型特点是:容量共享需求明显、多应用混合负载、线性扩展。 OLAP应用。其典型特

15、点是:大并发吞吐量,计算和存储带宽要求高。 OLTP应用。其典型特点是:IOPS并发度高。FusiOnStOrage应用场景图:应用层 虚拟化HFusionStorage分布式存储资源池2.3.1 FusionStorage及FusionSphere融合场景FUSiOnStOrage适合计算和存储融合的系统,传统的虚拟化方式是在相互分别的计算、存储和网络设备上叠加了一层虚拟化软件。这种方式虽然可以提升资源利用率,但是由于系统的困难性,并不能简化各类基础设施的运维成本。FUSionStOrage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存储池,对上层应用供应存储功能。华为云平台FUSi

16、OnSPhere主要有虚拟化基础引擎FUSionConIPUte、云管理FUSiOnManager两大组件组成;FUSiOnStorage及FUSiOnSPhere融合运用形成华为FUSiOnCUbe解决方案应用场景,如下图所示:FUSionComPUUS台HAIBdfVDRSOPM计H焦化同电咫化中fiMTKl化ftt(E9000HH2mH务WZJR交GPtHrSSX2.3.2 FusionStorage及VMware融合场景FUSionStorage及VMWare融合运用系统主要由五部分组成:硬件设备、分布式块存储系统,VMWare虚拟化平台,统一的云管理平台,备份服务器。VMWare及F

17、USiOnStorage配套运用的系统架构:FusionStorage1、系统初始部署时,在每台部署VMWare的服务器上部署一个限制虚拟机,该虚拟机上部署FUSiOnStorage的无状态机头,每个无状态机头上会供应ISCSl的服务端。2、在VMWare的ISCSl配置信息中,优先配置本地ISCSl接口信息。VMware的ESXi会依据配置的ISCSl接口信息,扫描FUSionStOrage的存储信息。可以依据扫描出来的LUN组成DataStOre。建议每个DataStOre对应一个LUNo3、创建DataStore后,VCenter就可以通过和ESXi的私有协议,创建虚拟机模板和应用虚拟机

18、。FUSionStOrage及VMWare融合运用,在网络部署上须要进行存储节点和计算节点分别部署,不能够融合部署。2.3.3 FusionStorage及OpenStack融合场景FusionSpherePIatform在OpenStack的基础上扩展电信运营商和企业建设IT基础设施及业务平台所须要的特性,运用同一套架构同时支撑公有云和私有云的管理,供应了基于OPenStack、ICT统一的开放云平台。FusionSpherePlatfornI保持了OPenStaCk的开放及兼容性,支持第3方厂商的计算、存储、网络和平安物理硬件,也支持第3方的计算虚拟化、存储虚拟化、网络虚拟化和平安虚拟化产

19、品。在云服务层面,在OPenStaCk的基础上供应备份、热迁移、亲和性资源调度、电信云定制化扩展、物理资源池等扩展服务;在运维层面,基于OPenStaCk供应了安装部署、升级/补丁、管理数据备份/复原、信息收集、健康检查等运维服务。基于OpenStack的FUSiOnSPhere解决方案系统架构:组件功能简介OpenStack华为OpenStack是基于开源的OPenStaCk软件进一步开发的IaaS层软件,供应PaaS层资源和功能,包括虚拟基础设施存储网络服务器组件功能简介计算服务、对象存储服务、虚拟网络服务、镜像管理、权限管理服务等功能。FusionManager分为本地数据中心管理和多数

20、据中心管理模块,是华为公司供应的面对PaaS层资源管理的软件,主要供应物理资源、虚拟资源管理和服务,并实现软件服务自动部署等上层应用功能。FusionStorageFusionStorage是一种存储及计算高度融合的分布式存储软件,在通用X86服务器上部署该软件后,可以把全部服务器的本地硬盘组织成一个虚拟存储资源池,供应块存储功能。SAN通用SAN设备,向OPenStaCk供应存储资源。服务器X86服务器,向OPenStaCk供应物理的计算资源。及FusionStorage软件结合可供应存储资源。3FusionStorage应用中典型硬件平台ServerlSener2ServerNmmvmvm

21、vm)FUSiOnStorage在通用x86服务器上部署分布式存储软件,把全部服务器的本地硬盘组织成一个虚拟存储资源池,供应块存储接口3.1FUSionStorage在机架式服务器上运用FUSiOnStOrage+机架式服务器,实际项目中每台服务器的CPU型号、内存数量,硬盘个数可依据项目需求配置。机架式服务器硬件图如下:以华为RH2288为例,硬件外观如下图:硬盘位置示意图FUSionStorage+机架式服务器有四种刀片类型,MCNA、LCNA、SCNA、CNAo其中MCNA用于部署管理节点;LCNA.SCNA、CNA用于部署用户虚拟机。几个刀片类型说明如下:1、MCNA:管理节点,必配。

22、至少两台服务器,须要配置2P*6核以上CPU,内存至少64G,默认128G。同时作为FUSionStorage存储节点。虚拟机部署VRM(4COre8G内存/50G存储)、FusiOnManager(4Core/16G内存/28OG存储)、这些管理软件接受虚拟机部署,管理虚拟机须要独占本地的两块硬盘供应存储。部署FUSiOnStOrage管理和限制软件,这些软件运行在DOmain0,须要ICoreCPU,至少25G内存,FUSiOnStOrage管理须要独占一块特地的硬盘。另外配置611个硬盘用于FUSiOnStorage业务存储。2、LCNA:计算和存储节点,必配。同时供应计算和FUSion

23、StOrage存储实力,可部署用户虚拟机。和SCNA的业务功能相同,区分在于LCNA部署了FUSionStorage的MDC软件。依据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)1.CNA节点部署FUSiOnStorage管理和限制软件,这些软件运行在DomainO,须要ICOreCPU,至少25G内存。FUSiOnStorage管理须要独占一块特地的硬盘。另外配置611个硬盘用于FUSiOnStorage业务存储。剩余计算资源可用于部署业务虚拟机。3、SCNA:计算和存储节点,必配。同时供应计算和FUSionStorage存储实力,

24、可部署用户虚拟机。依据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)部署FUSionStorage管理和限制软件,这些软件运行在DomainO,须要ICoreCPU,至少25G内存。另外配置611个硬盘用于FUSionStOrage业务存储。剩余计算资源可用于部署业务虚拟机。4、CNA:计算节点,选配。供应计算实力,部署用户虚拟机。依据部署的用户虚拟机规格和内存确定CPlJ型号(默认2P*2640)和内存配置(至少配置64G,默认128G)部署业务虚拟机。1)存储虚拟化应用中未运用传统的SAN设备,存储干脆运用2288H服务器上的本地硬

25、盘协作高性能SSD卡做读写缓存介质。RH2288H上的本地硬盘依据存储位置,分为前置硬盘和后置硬盘。后置硬盘:2块2.5存SAS盘,用于部署虚拟化DOlnainO及FUSiOnSPhere(或其他虚拟化平台)管理节点NM,依据管理节点的资源消耗,MCNA选择的是600GSAS(FCFMFSM管理节点须要消耗约440G的存储空间),LCNA和SCNA均配置300GSAS即可满意要求。前置硬盘:选择3.5存SATA盘,物理位置可插12块,支持1T/2T/3T/4T多种配置,可依据用户业务模型选择不同的配置。SSD卡选择华为TeCaIES3000PCIeSSD高性能存储卡(以下简称ES3000,外观

26、如下图),ES3000为标准的PCle全高半长插卡,接口类型为PCle2.0x8,适合安装在机架服务器等通用服务器内,适用于搜寻引擎、Cache.数据库、视频服务等随机读写操作频繁和IOPS要求较高的业务,具有高性能、高I0PS、高牢靠、易维护等优点。ES3000外观2)交换机每柜配置一对24口IoGE交换机S6724,1个GE交换机S5728,多柜间运用48口或24口的IoGE交换机S67XX做汇聚。汇聚交换机也可以运用局方的交换机,但网口和数量要求同华为交换机。3.2FUSionStorage在刀片式服务器上运用FUSiOnStOrag+刀片式服务器的物理形态组成,支持计算、存储、交换、电

27、源模块化设计,计算和存储节点按需混配,支持IoGE交换模块,依据业务要求灵敏配置FUSiOnStOrage+刀片式服务器有四种刀片类型,MCNALCNASCNACNAo其中MCNA用于部署管理节点;LCNA、SCNA.CNA用于部署用户虚拟机。几个刀片类型说明如下:1、MCNA:管理节点,必配。至少两台服务卷(目前数据库一体机部署MCNA节点只须要一台服务器),须要配置2P*6核以上CPU,内存至少64G,默认128G。同时作为FUSionStorage存储节点。虚拟机部署VRM(4Core8G内存/50G存储)、FusionManager(4Corel6G内存/28OG存储)、FUSiOnA

28、CCeSS管理软件,这些管理软件接受虚拟机部署,管理虚拟机须要独占本地的两块硬盘供应存储。部署FUSionStorage管理和限制软件,这些软件运行在DOnlain0,须要ICoreCPU,至少25G内存,FUSiOnStOrage管理须要独占一块特地的硬盘。另外配置612个硬盘用于FUSiOnSOrage业务存储。2、LCNA:计算和存储节点,必配。同时供应计算和FUSionStOrage存储实力,可部署用户虚拟机。和SCNA的业务功能相同,区分在于LCNA部署了FUSiOnStorage的MDC软件。依据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64

29、G,默认128G)部署FUSiOnStorage管理和限制软件,这些软件运行在DOnlain0,须要ICoreCPU,至少25G内存。FUSionStorage管理须要独占一块特地的硬盘(用于部署ZoOkeePer进程)。另外配置612个硬盘用于FUSiOnSorage业务存储。部署用户虚拟机。3、SCNA:计算和存储节点,必配。同时供应计算和FUSionStorage存储实力,可部署用户虚拟机。依据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)部署FUSionStorage管理和限制软件,这些软件运行在Domain0,须要ICoreC

30、PU,至少25G内存。另外配置612个硬盘用于FUSionStOrage业务存储,部署用户虚拟机。4、CNA:计算节点,选配。供应计算实力,部署用户虚拟机。依据部署的用户虚拟机规格和内存确定CPlJ型号(默认2P*2640)和内存配置(至少配置64G,默认128G)部署用户虚拟机。4 FusionStorage应用中网络设计方案注:后续会支持其他厂商的服务器异构,比如HP,DELLjBM的服务器,本方案中以RH2288和E9000为例进行组网说明,其他服务器的组网及下面的RH2288的组网类似,请依据实际情景进行修改。4.1 总体组网方案OA办公政务大厅业务网络管理网络“防火墙W 0。0。布备

31、份存储核心 交蝴数据专线sionManager(FusionCompute/VmwareXENOpenStacl 桌面管理分布式存储软件曙l NAS/SAN列SionACCeSS FusionStorage)FusionStoragw应用虚拟桌面集群IFVBU U U 如 LJ虚拟服务器集群物理DB服务器1、运用计算和存储融合架构,资源池化,统一运维。2、业务、存储、管理三网隔离,保证平安,存储网络内部运行,对客户网络部可见。3、虚拟化和桌面云的应用场景运用IOGE网络,数据仓库场景运用的状况下运用IB网络。4.2 在机架式服务器上运用组网方案4.2.1 单柜IoGE组网接入交换机接受S672

32、4/S6324接入部署,服务器可接受华为RH5885,RH2288H;其他公司如HP,DELL,IBM的服务器。说明:1、服务器上默认配置一块2*1OGE的网卡,分别及两台IOGE交换机连接,两个网口做bond,缺省为负载分担规模2、服务器的BMC网口及一台GE交换机连接,GE交换机上行两个GE线缆分别及两个IOGE交换机连接3、IoGE交换机下行担当内部管理、存储、业务平面,10GE上行对接客户网络,默认供应4*10GE,两台IOGE交换机堆叠4、以华为RH2288为例,2m机柜可以部署16台RH2288H,或者部署RH5885服务器6台5、最大规模16台RH2288H/RH5885服务器,

33、后续扩容须要增加汇聚交换机4.2.2 单柜IB存储组网说明:1、服务器上默认配置一块2*1OGE的网卡,分别及两台IOGE交换机连接,两个网口做bond,缺省为源目的IP和Port负荷分担模式,对应的交换机端口配置eth-trunk2、服务器的BMC网口及一台GE交换机连接,GE交换机上行两个GE线缆分别及两个IoGE交换机连接,对应端口做eth-trunk3、IOGE交换机下行担当内部管理、业务平面网络连接,10GE上行对接客户网络,默认供应4*10GE,两台IOGE交换机堆叠4、每台服务器上的两个IB网口分别及两台IB交换机连接,两台IB交换机之间6根线互连,IB网口担当存储平面的通信5、

34、2m机柜可以部署12台RH2288H,或者部署RH5885服务器6台6、后续扩容须要增加IOGE汇聚交换机和IB主干交换机4.3 在刀片服务器上运用组网方案4.3.1 虚拟化IOGE刀片服务器组网 IfrlOGEIOGE4xlOGE04xlOGEXCVBa2i- OGE)IrXaBa60GDXpR(12i-OGE)r.7IOGF说明:1、每个刀片配置1个2*1OGE端口的iNIC网卡或一般IoGE网卡(MZ510);2、每个机框运用XCUB交换板,通过基本框自级联方式,不运用外置交换机。框间运用4*1OGE互联。假如运用华为E9000机框最大支持8框,64个FUSiOnStorage存储节点(

35、CH222);3、框内两块交换板通过40G接口堆叠;4.3.2 虚拟化IB+SSD组网CZ Ettvtrunk说明:1、中心框汇聚,10GE和IB交换板,无外置交换机,最大规模7框2、每扩展框两块IOGE交换板及中心框2+2(40GE)互连,内部管理及业3、每扩展框两块IB交换板及汇聚框3+3互连,其中直连2根交叉1根IB线,内部存储4、中心框上行2+2(40GE),外部业务5、刀片接受计算存储融合方式(CH223),每刀片主要配置:1块2*10GE(MZ510),1块2*56Gb(MZ611),2块SSD主存6、每扩展框存储单面带宽2*56Gb=112Gbps5 服务器数量规划5.1 Fus

36、ionStorage按容量和性能计算服务器数量1、IjFusionStorage存储资源池,两副本状况下最大96块硬盘或者32张SSD卡。三副本状况最大为2000块盘或者300张SSD卡。2、每个存储节点的FUSionStorage硬盘或者SSD卡的型号和数目保持相同。假如运用硬盘作主存,则每节点配置建议最小4块硬盘、最多12块硬盘。假如是SSD卡做主存,当前每个节点最少配置1张SSD卡,最多配置2张SSD卡。虚拟化场景下FUSionStOrage单盘/单卡IoPS:CaChe类型主存业务侧单盘假设条件IOPSNVDIMMSAS盘2002vCPU,2G内存/0SDCaChe命中率50%,读写比

37、例4:6,两副本NVDlMMSAS盘1102vCPU,2G内存/OSDCaChe命中率50%,读写比例4:6,三副本800GSSD卡NLSAS盘1203vCPU,3.5G内存/OSDCaChe命中率50%,读写比例4:6,三副本400GSSD卡NLSAS盘75NVDIMMSSD卡250006vCPU,2.5G内存/OSDCaChe命中率50%,读写比例4:6,三副本IoPS计算:对于小块随机场景(如VDI)。基础数据:业务侧单盘IOPS=X,硬盘数量为n,则卷/应用层面的有效IOPS公式为:总的有效IOPS=X*n容量计算:基础数据:磁盘标称容量=Z,FusionStorageOSD开销二r,

38、FUSiOnStOrage硬盘数目二m,磁盘空间利用率二q,副本数=k则卷/应用层面的有效容量公式为:总的有效容量=(z(1.0243)-r)*q*mk所需的硬盘数量二max(容量计算的硬盘数目m,IOPS计算的硬盘数目n)举例:某项目要求2000IOPS,20T容量,接受600GSAS盘按IoPS计算,硬盘数yl:基础数据:X=200则利用上述公式:2000=200*ylyl=10按容量计算,硬盘数y2:基础数据:z=600Gq=95%k=2r=20.7G则利用上述公式:20000=(600/(1.0243)-20.7)*y2*0.95/2y2=79(向上取整)须要的硬盘数N=max(yl,

39、y2)=max(79,9)=796 FusionStorage产品特性介绍6.1 性能卓越FUSiOnStOrage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备,供应比SAN设备更高的10,把性能发挥到了极致。FUSiOnStOrage支持运用SSD替代HDD作为高速存储设备,支持运用Infiniband网络替代GE/10GE网络供应更高的带宽,为对性能要求极高的大数据量实时处理场景供应完备的支持。分布式机头FUSionStorage接受无状态的分布式软件机头,机头部署在各个服务器上,无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源

40、,供应比集中式机头更高的I0PS。分布式缓存FUSiOnStorage实现了计算和存储的融合,缓存和带宽都匀整分布到各个服务器节点上。FUSionStOrage集群内各服务器节点的硬盘运用独立的I/O带宽,不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FUSionStorage支持将服务器部分内存用作读缓存,NVDIMM和SSD卡用作写缓存,数据缓存匀整分布到各个节点上,全部服务器的缓存总容量远大于接受外置独立存储的方案。即使接受大容量低成本的SATA硬盘,FUSiOnStorage照旧可以发挥很高的IO性能,整体性能提升3倍,同时供应更大的有效容量。FUSiOnStO

41、rage支持PCleSSD用作数据缓存,除具备通常的写缓存外,增加热点数据统计和缓存功能,加上其大容量的优势,进一步提升了系统性能。FUSiOnStorage计算和存储融合:全局负载均衡FUSiOnStOrage的实现机制保证了上层应用对数据的IO操作匀整分布在不同服务器的不同硬盘上,不会出现局部的热点,实现全局复负载均衡。第一,系统自动将数据块打散存储在不同服务器的不同硬盘上,冷热不均的数据会匀整分布在不同的服务器上,不会出现集中的热点。其次,数据分片支配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的匀整分布,换句话说,每块硬盘上的主用副本和备副本数量是匀整的。第三,扩容节点或者故障

42、减容节点时,数据复原重建算法保证了重建后系统中各节点负载的均衡性。分布式SSD存储FUSionStOrage支持为高性能应用设计的分布式SSD存储系统,拥有比传统的机械硬盘(SATA/SAS)更高的读写性能。华为SSD卡具有如下特点高带宽:接受PCle2.0x8的接口,供应高达3.0GB的读/写带宽。高10:4KB数据块,100%随机,供应高达600K的持续随机读IOPS和220K的持续随机写IOPSoFUSiOnStorage分布式SSD存储系统通过以下措施增加了牢靠性:内嵌的ECC检错/纠错引擎和RAID5引擎,数据通道间形成二维的检错/纠错机制。内置DATASCrUbbing引擎定时检测

43、存储数据,提前预防数据错误的产生。通道间运用DynanIiCRAID算法,实现通道间的资源共享,确保在芯片坏块过多甚至是多个芯片故障的状况下均能正常工作。内部实现冷热数据分类及管理,协作先进的磨损算法,最大程度上提升回收效率,降低写磨损,从而提升SSD的运用寿命。FusionStorage支持分布式SSD存储系统高性能快照FUSionStOrage供应了快照机制,将用户的逻辑卷数据在某个时间点的状态保存下来,后续可以作为导出数据、复原数据之用。FUSiOnStorage快照数据基于DHT机制,快照不会引起原卷性能下降。通过一次HaSh查找即可推断有没有做过快照,以及最新快照的存储位置,因此效率

44、很高。FusionStorage快照:M2憧3高性能链接克隆FUSiOnStorage基于增量快照供应了链接克隆机制,基于一个快照创建出多个克隆卷,各个克隆卷刚创建出来时的数据内容及快照中的数据内容一样,后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。FUSionStorage支持1:256的链接克隆比,提升存储空间利用率。FUSiOnStorage支持批量进行虚拟机卷部署,能够在秒级批量创建上百个虚拟机卷。克隆卷继承一般卷全部功能:克隆卷可支持创建快照、从快照复原以及再次作为母卷进行克隆操作。FusionStorage 链接克隆:克罐卷克窿卷作为用卷克庭卷创建快照高速Infiniban

45、d网络FUSiOnStOrage支持为高带宽应用设计的Infiniband网络,存储交换无瓶颈。56GbpsFDRInfiniBand,超高速互联。标准成熟多级胖树组网,平滑容量扩容。近似无堵塞通信网络,数据交换无瓶颈。纳秒级通信时延,计算存储信息刚好传递。无损网络QOS,数据传送无丢失。主备端口多平面通信,冗余通信无忧。单口56GbPS带宽,完备协作极速SSD存储吞吐,性能无限。6.2 高牢靠集群管理FUSiOnStorage分布式存储软件接受集群管理方式,不会出现单点故障,一个节点或者一块硬盘故障自动从集群内隔离出来,不影响整个系统业务的运用。集群内选举进程Leader,Leader负责数据存储逻辑的处理,当Leader出现故障,系统自动选举其他进程成为新的Leader。多数据副本FUSionStorage存储系统中没有运用传统的RAlD模式来保证数据的牢靠性,而是接受了多副本备份机制,即同一份数据可以复制保存多个副本。在数据存储前,对数据进行分片,分片后的数据依据确定的规则保存集群节点上。如下图所示,对于服务器SerVerl的磁盘DiSkl上的数据块PL它的数据备份为服务器SerVer2的磁盘Disk2上Pl,PI和Pl构成了同一个数据块的两个副本。FusionStorage多数据副本:数据一样性数据一样性的要求是:当应用程序成功写入一份数据时,后端的几个数据副

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 在线阅读 > 生活休闲


备案号:宁ICP备20000045号-1

经营许可证:宁B2-20210002

宁公网安备 64010402000986号