第06章 网络可靠性设计[增强版].ppt

《第06章 网络可靠性设计[增强版].ppt》由会员分享，可在线阅读，更多相关《第06章 网络可靠性设计[增强版].ppt（151页珍藏版）》请在课桌文档上搜索。

1、,第1页 共150页,第6章 网络可靠性设计,6.1 可靠性设计概述6.2 网络冗余设计【重点】6.3 存储网络设计【重点】6.4 高可用集群系统设计,第2页 共150页,6.1 可靠性设计概述,第3页 共150页,6.1 可靠性设计概述,6.1.1 网络可靠性分析与计算网络可靠性指网络自身（设备、软件和线路）在规定条件下正常工作的能力。人为攻击（如黑客）或自然破坏（如雷击）造成的网络不稳定性属于网络安全问题。可靠性约束条件：预算限制，部件失效，不完善的程序代码，人为失误，自然灾害，不可预见的商业变化，都是达到100%可用性的障碍。,第4页 共150页,6.1 可靠性设计概述,1.网络可靠性参

2、数如何定义网络结构的可靠性参数，网络业务可靠性参数，如何度量网络整体可靠性，是当前正在研究解决的问题。目前网络工程项目的可靠性验收，只能在双方商定好的具体网络应用案例上，进行测试。如连通性测试，流量测试，拥塞测试，广播风暴测试等。,第5页 共150页,6.1 可靠性设计概述,2.网络可靠性计算方法可靠性用平均无故障工作时间（MTBF）衡量。MTBF是一个统计值，它通过取样、测试、计算后得到，它与真实测试值有一定的差异。MTBF值的计算方法：MIL-HDBK-217（美国国防部可靠性分析中心提出的军工产品标准）GJB/Z299B（中国军用标准）Bellcore（AT&T Bell实验室提出的民用

3、产品标准）。,第6页 共150页,6.1 可靠性设计概述,4.网络可靠性的成本分析网络系统的可靠性是以各种投入为代价而实现的，并不是越高越好。各种业务对服务中断的容忍度不同。如银行业务数据与办公数据属于不同的业务等级。减少损失需要考虑的因素：网络系统发生故障时对业务带来的损失；故障发生的可能性。,第7页 共150页,6.1 可靠性设计概述,6.1.2 网络可用性分析与计算1.可用性计算方法可用性是衡量网络系统提供持续服务的能力。系统可用性计算方法：系统年停机时间=一年总时间（1-系统可用性）以上计算的是严重失效，即那些需要恢复程序数据，重新加载程序，重新执行等情况的失效，一般小的问题不计算在内

4、。,第8页 共150页,6.1 可靠性设计概述,P133表6-1 网络通信系统可用性类型,第9页 共150页,6.1 可靠性设计概述,2.通信系统可用性指标国家通信标准规定：具有主备用系统自动切换功能的数字通信系统，允许5000km双向全程每年4次故障；对于420km数字段，允许双向全程每3年1次故障。市内数字通信系统假设链路长度为100km，允许双向全程每年4次故障；50km数字段双向全程每半年1次故障。,第10页 共150页,6.1 可靠性设计概述,3.网络可用性计算（1）串联型网络结构可用性计算在串联系统中，可用性最差的单元对系统的可用性影响最大。串联型网络的可用性按（6-4）式计算。（

5、6-4）,第11页 共150页,6.1 可靠性设计概述,【案例6-2】网络拓扑结构如图6-1所示，计算路由器A至路由器B之间的可用性。AB之间的可用性=0.9990.99990.9950.98 0.950.980.9950.99990.999=90.1%,第12页 共150页,6.1 可靠性设计概述,（2）并联型网络结构可用性计算并联型网络的可用性按（6-5）式计算。（6-5）【案例6-3】网络拓扑结构如图6-2所示，计算路由器ABCD整体的可用性。,第13页 共150页,6.1 可靠性设计概述,路由器ABC之间的可用性=0.990.970.98=94.1%路由器B+D并联体的可用性=1-（1

6、-路由器B的可用性）（1-路由器D的可用性）=1-（1-0.97）（1-0.95）=99.85%路由器ABCD整体可用性=A可用性（B+D可用性）（C可用性）=0.990.99850.98=96.9%,第14页 共150页,6.1 可靠性设计概述,4.网站可用性分析【案例6-4】国外知名微型博客网站Twitter（推特）2008年前4个月的可用性只有98.72%，有37小时16分钟不能提供服务，连2个9都达不到。国外电子商务巨头eBay在2007年的可用性是99.94%，考虑到eBay网站的规模与应用的复杂程度，这是个很不错的可用性指标了。不同业务类型决定不同网站对可用性的要求不同。,第15页

7、 共150页,6.1 可靠性设计概述,提高网络可用性的常规策略：消除单点故障部署冗余设备（或集群）设计高可用集群网络等电信级传输网中，通信设备的可用性要求达到99.999%，这要求系统在一年的连续运行中，因各种可能原因造成停机维护时间少于5分钟。,第16页 共150页,6.1 可靠性设计概述,6.1.3 网络可靠性设计原则网络最重要的两个特性是速度和可靠性。高可用性的7R原则（1）冗余（Redundancy）主控设备冗余，交换设备冗余，存储设备冗余，电源冗余，风扇冗余，多处理器等；在结构设计中，采用双机热备系统等；在存储设计中，采用磁盘阵列技术等；在链路设计中，将网络负载分散到两条链路上。冗余

8、虽然提高了网络的可靠性，但是增加了系统成本和网络的复杂度。,第17页 共150页,6.1 可靠性设计概述,（2）品牌（Reputation）品牌指产品供应商一贯的良好记录。可以通过以下方法衡量厂商的品牌：占有市场分额的百分比；专家的测试分析报告；在该领域内的历史记录；客户中的良好口碑。,第18页 共150页,6.1 可靠性设计概述,（3）可靠性（Reliability）可靠性分析经验：检查并分析故障管理日志；从操作人员那里获得反馈信息；从支持人员那里获得反馈信息；从供应商的维修人员那里获得反馈信息；专家的分析报告等。操作人员的反馈通常是公正的，而且有很好的参考作用，能够反映出设备真正的性能和问

9、题。,第19页 共150页,6.1 可靠性设计概述,（4）维修能力（Repairability）衡量这项能力的标准是：完成维修的时间长短，维修工作多长时间就要进行一次。（5）恢复能力（Recoverability）重新对磁盘进行读取或者写入网络的重新传输热插拔技术等,第20页 共150页,6.1 可靠性设计概述,（6）响应（Responsiveness）供应商和网络工程师对问题做出快速有效的反应时间；对资源（备用部件）的备用冗余准备情况。（7）活力（Robustness）硬件和软件的发展前途和兼容性设计。一个有活力的系统经受过长时间不同的考验。,第21页 共150页,6.1 可靠性设计概述,2

10、.网络设计中的可靠性要素（1）无故障运行时间按故障后果的严重程度分为：致命故障严重故障轻度故障（2）环境条件（3）规定的功能,第22页 共150页,6.1 可靠性设计概述,6.1.4 可靠性设计案例分析系统优化改造思路网络设备的冗余配置。冗余线路。提高故障的快速恢复能力。在现有防火墙的基础上增加策略路由的功能。,第23页 共150页,6.2 网络冗余设计,第24页 共150页,6.2 网络冗余设计,6.2.1 冗余设计的基本原则1冗余设计的目的冗余设计是网络可靠性设计最常用的方法。冗余设计的目的：提供网络链路备份；提供网络负载均衡。链路备份和负载均衡在结构上完全一致，但是完成的功能不同，工作模

11、式也不同。冗余链路用于网络备份时，2条冗余链路只有一条工作，另一条处于热备监控状态；冗余链路用于负载均衡时，多条冗余链路同时工作，不存在备份链路。,第25页 共150页,6.2 网络冗余设计,2单点故障网络冗余设计的原因是网络中存在单点故障。单点故障是指网络某一节点或某一链路发生故障时，可能导致用户与核心设备或网络服务的中断。链路冗余防止了服务丢失,第26页 共150页,6.2 网络冗余设计,P138图6-4 单点故障与冗余链路,第27页 共150页,6.2 网络冗余设计,3冗余设计的内容冗余设计包括：链路冗余（端口冗余，双绞线冗余，光纤冗余）设备冗余（交换机冗余、路由器冗余、服务器冗余、电源

12、系统冗余等）软件冗余（远程备份，软件镜像，虚拟机等）最好的冗余方式是多台主机互为热备，但这种方案投资大，而且冗余控制需要一定的开销，对网络性能有一定影响。,第28页 共150页,6.2 网络冗余设计,5冗余设计要求冗余设计要求：只在网络正常链路中断时，才使用冗余备份链路。尽量不要将冗余链路用于负载均衡，否则当发生网络故障需要使用冗余链路时，网络由于负载失衡而产生不稳定性（性能颠簸）。一般在核心层采用链路聚合技术。尽量减少路由器的路由数量，减少路由跳数。,第29页 共150页,6.2 网络冗余设计,6.2.2 网络结构的冗余设计1核心层全网状冗余设计全网状结构的优点：提供多个到任意目的地的可用路

13、径；到任意目的地只需要1跳；在最坏情况下，到核心层最大为3跳。,第30页 共150页,6.2 网络冗余设计,全网状的缺点：投资与节点数量呈现几何增长关系。随着节点数量的增加，增加了路由器选择最佳路径的计算量，加大了收敛时间。随着路由器数量的增多，处理广播消息的带宽和CPU资源也会增加。,第31页 共150页,6.2 网络冗余设计,P139图6-5 核心层全网状冗余结构,第32页 共150页,6.2 网络冗余设计,2核心层部分网状冗余设计部分网状结构结合了网络冗余，路由收敛以及线路投资等方面的考虑。部分网状结构在网络设计中得到了大量应用，成为主干网络中最流行的一种形式。部分网状结构的连接不是随意

14、设计的，要综合考虑网络结构特点，灵活应用其他冗余设计技术。缺点：某些路由协议不能很好地处理多点对多点的部分冗余网状设计。,第33页 共150页,6.2 网络冗余设计,P139图6-6 核心层部分网状冗余结构,第34页 共150页,6.2 网络冗余设计,3汇聚层与核心层之间的双归冗余设计双归链路提供了很好的冗余，当一条链路出现故障时，不会削弱汇聚层路由器的可到达性。双归接入的缺点：使汇聚层路由器通往核心层设备的路径比单连接增加了一倍，从而会降低网络路由收敛速度。强迫使用某一路径时，需要使用浮动静态路由。双归路由器的“升级”问题。如果核心层路由器R3-R2之间的链路中断，双归路由器R4就会升级到核

15、心层，路由器R4承担了核心层路由器的功能，在性能上有可能达不到要求。,第35页 共150页,6.2 网络冗余设计,P140图6-7 汇聚层与核心的双归冗余结构,第36页 共150页,6.2 网络冗余设计,6.2.3 网络链路的冗余设计【案例6-6】如图6-9所示，某公司总部与分部之间有三条链路相连，DDN与FR之间的路由器配置动态路由协议选路，并配置策略路由从而实现负载均衡；另外还通过PSTN提供静态路由备份。,第37页 共150页,6.2 网络冗余设计,6.2.4 网络设备的冗余设计1.网络设备和部件冗余技术设备端口的冗余。主控冗余技术。在交换机、路由器等网络设备中，提供两块主控制板，互为备

16、份。主控板与备用从控板之间的切换检测方法可采用硬件心跳线或其他方式。,第38页 共150页,6.2 网络冗余设计,2.不间断转发技术路由器进行主备切换时，在路由协议层面会与邻居路由器之间发生信号震荡。这种邻居关系的震荡将导致路由震荡，进而导致业务出现暂时中断。NSF（不间断转发）技术可以保证路由器控制层面出现故障（如系统重启或路由震荡）时，数据转发不间断地正常进行，保护网络流量不受影响。具备NSF的路由协议有：OSPF、IS-IS、BGP、LDP（标记分发协议）等。,第39页 共150页,6.2 网络冗余设计,3.设备热插拔技术热插拔包括：热替换热添加热升级。通过热插拔功能，用户可以在不影响业

17、务的情况下，对组件进行维护更新。,第40页 共150页,6.2 网络冗余设计,6.2.5 HSRP热备份路由设计VRRP（虚拟路由器冗余协议）是一种容错协议。VRRP在网络边界布置2台路由器或3层交换机，然后在2台路由器上配置VRRP和静态路由，如果其中一台路由器发生故障，另一台路由器马上可以及时工作，从而保持通信的连续性和可靠性。HSRP（热备份路由器协议）是Cisco公司私有协议。HSRP功能与VRRP完全一致。,第41页 共150页,6.2 网络冗余设计,1.HSRP工作原理HSRP协议利用优先级决定哪个路由器成为主动路由器。如果一个路由器的优先级比其他路由器的优先级高，则该路由器成为主

18、动路由器。刚开始工作时，各个路由器广播自己的HSRP优先级，HSRP协议选优先级最高的路由器为当前的主动路由器。HSRP指定一个虚拟IP地址作为缺省网关地址，网络中的主机将缺省网关指向该虚拟地址，主动路由器负责转发由主机发到虚拟地址的数据包。,第42页 共150页,6.2 网络冗余设计,2.三层交换机的HSRP配置命令格式（1）设置端口 IP 地址。命令格式：Router(config-if)#ip address（2）启用HSRP功能，设置虚拟IP地址。命令格式：Router(config-if)#standby ip（3）设置HSRP抢占模式。命令格式：Router(config-if)#

19、standby preempt,第43页 共150页,6.2 网络冗余设计,（4）设置路由器的优先权值。命令格式：Router(config-if)#standby priority,第44页 共150页,6.3 存储网络设计,第45页 共150页,6.3 存储网络设计,6.3.1 SCSI与SAS接口技术1SCSI接口技术SCSI（小型计算机系统接口）是连接存储设备与服务器最通用的方法。SCSI接口可以连接硬盘、光驱、磁带机和扫描仪等外设。目前SCSI技术已经逐步被SAS技术替代。,第46页 共150页,6.3 存储网络设计,2SAS接口技术SAS（串行连接SCSI）是SCSI总线协议的串行

20、版。SATA标准是SAS标准的一个子集，因此SAS和SATA在物理上和电气上有一定的兼容性。SAS接口与SATA（串行ATA）接口很相似，SAS接口是双端口设计，SAS硬盘无法插入SATA插座，而SATA硬盘可以安全插入SAS接口的第1端口。,第47页 共150页,6.3 存储网络设计,P140图6-12 SAS硬盘接口与SATA硬盘接口比较SAS与SATA有相同的物理层，因此它们的线缆与连接器很相似，但电气上有些差别。SATA信号电压不到SAS信号电压的一半，因此SAS接口传输距离可达6m，SATA只能达到1m。,第48页 共150页,6.3 存储网络设计,案例 SAS接口硬盘,第49页 共

21、150页,6.3 存储网络设计,P145表6-3 SAS、SATA和PATA硬盘接口性能对比,第50页 共150页,6.3 存储网络设计,6.3.2 RAID磁盘阵列技术改进磁盘存取速度的方法：磁盘高速缓存技术RAID（廉价磁盘冗余阵列）技术。1RAID技术的类型（1）软件RAIDWindows及Linux均支持软件RAID。所有操作由服务器CPU处理，系统资源利用率很高，从而使服务器系统性能降低。软件RAID的优点是不需要添加硬件设备。,第51页 共150页,6.3 存储网络设计,（2）硬件RAID硬件RAID通常采用PCI-E接口的RAID控制卡，RAID卡上有处理器及内存，不占用系统资源

22、。硬件RAID可以连接内置硬盘或外置存储设备。无论连接那种硬盘，都由RAID卡控制。,第52页 共150页,6.3 存储网络设计,P146图6-13 磁盘阵列机外观与系统结构,第53页 共150页,6.3 存储网络设计,案例 磁盘阵列机内部结构,第54页 共150页,6.3 存储网络设计,（3）大型磁盘阵列机磁盘阵列机是一台独立的精简型服务器（如IBM TotalStorage DS4500）大型磁盘阵列机的控制部分与磁盘阵列部分采用分开的设备，存储容量可达到数百TB。磁盘阵列机采用精简型操作系统，如Linux等。磁盘阵列机可以通过自带的网卡接连到网络中。,第55页 共150页,6.3 存储网

23、络设计,P146图6-13 大型磁盘阵列机,第56页 共150页,6.3 存储网络设计,案例 大型磁盘阵列机技术参数,第57页 共150页,6.3 存储网络设计,3RAID的级别RAID级别是一种工业标准。广泛应用的RAID级别有4种：RAID 0RAID 1RAID 01RAID 5,第58页 共150页,6.3 存储网络设计,RAID级别大小并不代表技术的高低。RAID 0没有安全保障，但速度快；RAID 1适用于需安全性又要兼顾速度的系统；RAID 2及RAID 3适用于大型视频等处理；RAID 5多用于银行、金融、股市、数据库等大型数据处理中心。,第59页 共150页,6.3 存储网络

24、设计,4RAID 0条带技术 RAID 0采用无数据冗余的存储空间条带化技术。如图6-14所示，这里用4个硬盘组成一个RAID 0阵列，在存储数据时，由RAID控制器将文件分割成大小相同的数据块，同时写入阵列中的磁盘。连续存储的数据块就像一条带子横跨所有的磁盘，每个磁盘上的数据块大小都是相同的。软件RAID 0中，数据块大小为64KB。硬件RAID 0中，数据块大小有1KB、4KB、8KB等，甚至有1MB、4MB等大小。,第60页 共150页,6.3 存储网络设计,P147图6-14 RAID 0结构,第61页 共150页,6.3 存储网络设计,RAID 0写入和读取数据时，4个磁盘可以同时进

25、行，读写性能虽然不能提高300%，但比单个硬盘提高200%的性能是可能的。RAID 0没有数据冗余和校验恢复功能，所以阵列中任何一个硬盘损坏，就可能导致整个阵列数据的损坏，因为数据分布存储在多个硬盘中。RAID 0最低必须配置2块或以上的相同规格硬盘，但是多于4块硬盘的配置是不必要的。,第62页 共150页,6.3 存储网络设计,5RAID 1镜像技术RAID 1采用两块硬盘数据完全镜像技术，这等于内容彼此备份。阵列中有两个硬盘在写入数据时，RAID 1控制器将数据同时写入两个硬盘。这样，其中任何一个硬盘的数据出现问题，可以马上从另一个硬盘中进行恢复。两个硬盘不是主从关系，而是相互镜像的关系。

26、,第63页 共150页,6.3 存储网络设计,P148图6-15 RAID 1结构,第64页 共150页,6.3 存储网络设计,RAID 1提供了有力的数据容错能力，但这是以牺牲硬盘容量为代价获得的效果。例如，4个500GB的硬盘组成的RAID 1阵列时，总容量为2TB，但有效存储容量只有1TGB，另外1TB用于数据镜像备份。,第65页 共150页,6.3 存储网络设计,6RAID 5校验技术RAID 2、3、4、5可以对磁盘中的数据进行纠错校验，当数据出现错误或丢失时，可以由校验数据进行恢复。在RAID 2、3、4中，这种纠错机制需要单独的硬盘保存校验数据。RAID 5不需要单独的校验硬盘，

27、而是将校验数据块（Parity Block）以循环的方式放在磁盘阵列的每一个硬盘中。,第66页 共150页,6.3 存储网络设计,P148图6-16 RAID 5结构,第67页 共150页,6.3 存储网络设计,案例 安装在机柜中的磁盘阵列设备,第68页 共150页,6.3 存储网络设计,案例 RAID磁盘阵列管理,第69页 共150页,6.3 存储网络设计,RAID 5对联机交易处理系统，如银行、金融、股市等或大型数据库的应用提供了最佳解决方案，因为这些应用的每一笔数据量都很小，磁盘输入/输出频繁，而且必须具有数据容错功能。RAID 5既要求磁盘速度快，又要处理数据，计算校验值，做错误校正等

28、工作。因此，RAID 5的控制较为复杂，设备成本较高。利用多个磁盘组成RAID时，磁盘阵列最大可用容量与阵列中最小磁盘容量有关。,第70页 共150页,6.3 存储网络设计,案例 RAID模式下磁盘空间利用情况,第71页 共150页,6.3 存储网络设计,6.3.3 FC光纤通道存储网络设计光纤通道（FC）是一种数据传输接口技术。FC适用于服务器共享存储设备的连接。1光纤通道技术FC采用全双工串行通信方式，支持点对点、仲裁环和交换式三种拓扑结构。FC的兼容性较差，因为厂商以不同的方式解读FC标准，而且以多种技术实现。,第72页 共150页,6.3 存储网络设计,FC是在SCSI接口技术上发展的

29、一个高性能接口。由FC组成的网络不同于以太网技术，它的带宽资源几乎全部可用于传输数字信号，FC网络基本上没有管理信息。FC组建的存储网络（SAN）有较好的性能。,第73页 共150页,6.3 存储网络设计,案例 FC组建的存储网络（SAN）,第74页 共150页,6.3 存储网络设计,2FC存储网络设计FC技术有三种光纤信道交换方法。（1）主控制器交换模式主控制器是一个多端口、高带宽的网络交换机。主控制器中某个部件失灵不会影响正常应用，因为主控制器采用全冗余、热插拔部件。主控制器支持在线错误检测、故障隔离和恢复。主控制器可提供99.999%的可用性。主要应用：不允许宕机的关键任务系统、企业SA

30、N存储网、应用密集型系统等。,第75页 共150页,6.3 存储网络设计,（2）网络交换模式采用光纤交换机作为主要设备，在交换机所有端口之间进行数据高速传输。光纤交换可以构成一个存储网络，这个网络对连接设备来说是透明的。网络交换应用：部门级连接、分布式存储占主导地位的应用、小型SAN的标准构件等。,第76页 共150页,6.3 存储网络设计,【案例6-9】由光纤交换机组成的存储网络拓扑结构如图6-17所示FC组成：光纤交换机（FC-SW）主机光纤通道卡（HBA）磁盘冗余阵列（RAID）光纤链路（FC）等。,第77页 共150页,6.3 存储网络设计,P149图6-17 FC存储网络结构,第78

31、页 共150页,6.3 存储网络设计,P149图6-17 FC存储网络设备,第79页 共150页,6.3 存储网络设计,案例 FC光纤交换机,第80页 共150页,6.3 存储网络设计,案例 FC光纤交换机,第81页 共150页,6.3 存储网络设计,案例 HBA卡功能,第82页 共150页,6.3 存储网络设计,案例 存储设备,第83页 共150页,6.3 存储网络设计,案例 光纤连接方式,第84页 共150页,6.3 存储网络设计,案例 光纤交换机管理,第85页 共150页,6.3 存储网络设计,案例 光纤交换机管理,第86页 共150页,6.3 存储网络设计,3FC的局限性FC本是一个高

32、速存储系统，虽然具备了一些网络互连功能，但远不是一个完善的网络系统。没有专门的服务器来管理FC网络。现有的FC还无法达到基本的安全管理要求。由FC组成的区域存储网络（SAN），无法使存储设备在因特网上运行。FC-SAN的物理覆盖距离不超过50km。,第87页 共150页,6.3 存储网络设计,6.3.4 SAN存储区域网络设计1网络存储技术的类型（1）直接附加存储（DAS）DAS是直接连接在服务器主机上的存储设备。如硬盘、光盘、USB存储器等设备。在DAS中，所有存储操作都要通过CPU的I/O操作来完成，存储设备与主机操作系统紧密相连。这种存储方式加重了服务器主机负担。,第88页 共150页,

33、6.3 存储网络设计,案例 磁带机技术参数,第89页 共150页,6.3 存储网络设计,案例 DAS存储,第90页 共150页,6.3 存储网络设计,（2）网络附加存储（NAS）NAS是一种连接在网络上的专用存储设备。NAS以文件传输为主，提供跨平台海量数据共享功能。NAS最典型的产品是专用磁盘阵列主机、磁带库等设备。NAS连接在局域网上，客户端可以通过NAS系统与存储设备交互数据。NAS直接运行文件系统协议，如NFS、CIFS等。客户端可以通过磁盘映射和数据源建立虚拟连接。,第91页 共150页,6.3 存储网络设计,P150图6-18 NAS结构,第92页 共150页,6.3 存储网络设计

34、,案例 存储网络,第93页 共150页,6.3 存储网络设计,（3）存储区域网络（SAN）存储区域网络是在服务器和存储设备之间利用专用的光纤通道连接的网络系统。,第94页 共150页,6.3 存储网络设计,P151图6-20 具有冗余结构的SAN存储网络,第95页 共150页,6.3 存储网络设计,案例 SAN存储网络应用,第96页 共150页,6.3 存储网络设计,案例 SAN存储网络应用,第97页 共150页,6.3 存储网络设计,（4）JBOD存储技术JBOD（磁盘组）是将一些物理硬盘串联在一起，从而提供一个大的逻辑硬盘。JBOD上的数据简单的从第1个硬盘开始存储，当第1个硬盘的存储空间

35、用完后，再依次从后面的硬盘开始存储数据。JBOD性能与单一硬盘相同，不提供数据安全保障。JBOD的存储容量等于组成JBOD所有硬盘容量的总和。JBOD支持热插拔。,第98页 共150页,6.3 存储网络设计,P151图6-19 JBOD结构,第99页 共150页,6.3 存储网络设计,一些厂商的产品允许通过硬件开关或者跳线将JBOD升级成磁盘阵列。JBOD经常安装在19英寸机柜中，JBOD大都为十几块磁盘，甚至几十块磁盘，它们之间采用菊花链连接，因此总存储容量十分巨大。如果一个磁盘发生故障就会造成整个设备故障，这对系统是一个巨大的风险。简单的解决办法是采用软件RAID技术。,第100页 共15

36、0页,6.3 存储网络设计,3SAN设计案例【案例6-11】SAN设计案例如图6-21所示。方案采用SAN存储服务器作为整个系统的核心设备，直接接到磁盘阵列机和磁带机，然后通过千兆交换机为所有服务器提供高速、可靠的存储服务。一台服务器安装备份软件作为备份服务器。其他服务器安装数据代理软件，系统将根据用户的备份策略，自动将各个服务器的应用数据备份到SAN中。,第101页 共150页,6.3 存储网络设计,P152图6-21 简单SAN拓扑结构,第102页 共150页,6.3 存储网络设计,RAID和磁带机为整个存储网络提供存储资源。千兆交换机为SAN存储服务器和应用服务器之间提供千兆高速网络传输

37、带宽。,第103页 共150页,6.3 存储网络设计,SAN存储系统软件有：数据保护模块；数据备份和恢复模块；数据迁移或分级存储模块；数据归档模块；灾难恢复模块；存储资源管理模块；SAN网络管理模块；集中统一管理等软件。,第104页 共150页,6.3 存储网络设计,5存储网络的安全问题对备份数据实行加密保护并不是件容易的事情，会产生一系列问题，如系统性能降低、应用响应延时，以及数据备份/恢复和管理的复杂度增加等。很多存储网络产品虽然都提供了安全功能，但是，如果用户使用Cisco公司的NAS设备、安氏公司的安全设备、HP公司的主机、D-Link公司的网卡，这些设备要相互协调工作，会变得相对困难

38、。,第105页 共150页,6.3 存储网络设计,6.3.5 IP存储网络设计1.IP存储技术的发展存储网络工业协会（SNIA）推出的SMI-S（存储管理接口规范）使不同的存储设备供应商，提供的存储系统之间能够互相兼容。SMI-S是一个面向对象的信息模型，它定义了系统构件的物理和逻辑结构。CIM（通用信息模型）则是基于Web的企业管理的一部分，它包括一个基于XML的加密规范和一个通过HTTP访问模式化对象的方法。,第106页 共150页,6.3 存储网络设计,IP存储目前的主流技术是iSCSI，它将SCSI指令封装在TCP/IP协议中传输。iSCSI吸收了光纤通道技术的优点，同时也继承了以太网

39、和IP技术的优点。iSCSI克服了光纤通道技术的距离限制。iSCSI兼容的设备要比光通道设备便宜得多。其它IP存储技术包括有iFCP，FCIP等。,第107页 共150页,6.3 存储网络设计,2iSCSI技术iSCSI与主机的连接有3种实现方式。P154图6-23 iSCSI实现方式,第108页 共150页,6.3 存储网络设计,由于采用不同的协议，iSCSI与FC之间不兼容。3iSCSI工作原理iSCSI存储网络由iSCSI服务端和客户端两部分组成。服务端包括服务器及连接的iSCSI网络。客户端一般采用Windows或Linux操作系统，iSCSI客户端通过网络访问服务端。对于客户端来说，

40、访问存储网络和本地硬盘完全相同。,第109页 共150页,6.3 存储网络设计,4iSCSI的优点与缺点iSCSI的基础是传统的以太网和因特网。基于FC技术的SAN及DAS安全性相对较低。iSCSI支持IPSec机制，并在芯片层面执行有关指令，确保数据的安全性。问题：距离和带宽之间的矛盾；广域网传输的成本；网络传输效率和延迟等。,第110页 共150页,6.4 高可用集群系统设计,案例 IP网络存储系统,第111页 共150页,6.4 高可用集群系统设计,第112页 共150页,6.4 高可用集群系统设计,6.4.1 计算机集群系统的类型集群系统是将2台以上的计算机（如PC服务器），通过软件（

41、如Rose HA）和网络（如以太网与RS-232），将不同的设备（如磁盘阵列）连接在一起，组成一个高可用的超级计算机群组，协同完成大型计算任务。根据2009年统计数据，世界500强计算机中，有379台计算机采用集群结构，占76的比例。集群是目前超级计算机的主流体系结构。,第113页 共150页,6.4 高可用集群系统设计,【案例6-13】Google数据中心集群计算机如图6-25所示。一个计算中心有多个机架；每个机架安装有80台服务器；每个机架通过2条1000M以太网链路连接到1000M以太网交换机；一个数据中心最多可以容纳5120台服务器。,第114页 共150页,6.4 高可用集群系统设计

42、,P155图6-25 Google数据中心计算机集群系统,第115页 共150页,6.4 高可用集群系统设计,案例 数据中心计算机集群系统,第116页 共150页,6.4 高可用集群系统设计,集群系统的类型HA（高可用）集群；负载均衡集群；科学计算集群。（1）HA集群HA集群具有容错和备份机制，主节点失效后，备份节点能够立即接管相关资源，继续提供服务。HA集群最典型的结构是双机热备系统。HA集群主要用于网络服务，数据库系统，以及关键业务系统等。,第117页 共150页,6.4 高可用集群系统设计,案例 硬件双机热备系统,第118页 共150页,6.4 高可用集群系统设计,案例 纯软件双机热备系

43、统,第119页 共150页,6.4 高可用集群系统设计,（2）负载均衡集群负载均衡集群主要应用于高负载业务情况。负载均衡集群能够使业务（如DNS请求）尽可能平均地分摊到不同计算机进行处理。负载均衡集群非常适合运行同一组应用程序（如Web服务）的大量用户。,第120页 共150页,6.4 高可用集群系统设计,（3）科学计算集群科学计算集群主要用于大规模数值计算。如天气预报石油勘探分子模拟生物计算等。,第121页 共150页,6.4 高可用集群系统设计,6.4.2 HA集群软件系统结构商业HA集群软件有：Rose HAIBM HACMP开源HA集群软件有：HeartbeatRHCS等,第122页

44、共150页,6.4 高可用集群系统设计,1.Linux平台上的HA集群软件（1）Heartbeat（心跳服务软件）集群软件Heartbeat是开源HA集群中最为成功的一个软件。Heartbeat基本功能：跳检测资源接管系统监测共享IP地址转移等。很多Linux版本都自带了Heartbeat套件。,第123页 共150页,6.4 高可用集群系统设计,（2）Beowulf（贝奥武甫）集群软件Beowulf是著名的Linux科学计算集群软件。它是在Linux内核上运行的一组公共软件工具。Beowulf软件模块包括：MPI（消息传送接口）；PVM（并行虚拟机）；修改后的Linux内核；DIPC（分布式

45、进程通信）服务等。DIPC机制允许从任何节点访问任何进程。,第124页 共150页,6.4 高可用集群系统设计,2.Windows Server平台上的HA集群软件（1）MSCS（微软公司集群服务器）集群软件Windows Server带有MSCS集群软件。MSCS支持主/从、主/主工作模式；支持SQL Server，Oracle等数据库。在Windows 2003 Enterprise Server平台上，MSCS最多可以管理8个节点的集群。,第125页 共150页,6.4 高可用集群系统设计,（2）Co-Standby集群软件Co-Standby Server是Windows Server

46、平台的HA集群软件。该集群软件支持磁盘镜像和共享磁盘两种存储模式，支持主/从、主/主工作模式，支持SQL Server、Oracle等数据库。由于支持磁盘镜像模式，这对一些没有磁盘阵列，但希望保证关键业务高可靠性的用户，是一种很好的解决方案。,第126页 共150页,6.4 高可用集群系统设计,4.多操作系统平台的HA集群软件Rose HA是功能非常强大的商业集群软件。支持众多的专用UNIX平台。如：IBM AIX、HP-UX、SUN Solraris、UnixWare、SGI、NEC、SIEMENS等；也支持PC平台的UNIX系统，如：FreeBSD、SCO Unix、Solraris x8

47、6等；还支持Windows、Linux等操作系统。Rose HA集群软件支持的数据库有：Oracle、MS SQL、Excheng|、Lotus/Nose、DB2等。商业集群软件还有Symantec公司的VERITAS Cluster,第127页 共150页,6.4 高可用集群系统设计,5.HA 集群软件的基本结构HA集群软件主要模块：守护进程；应用程序代理；管理工具；开发脚本。不是每个应用程序都能够实现HA集群管理，也不是每个HA集群软件可以管理所有的应用程序。HA集群软件的代理模块一般支持使用频度较高的软件，如数据库系统、Web系统、邮件系统等。,第128页 共150页,6.4 高可用集群

48、系统设计,案例 HA集群软件系统结构,第129页 共150页,6.4 高可用集群系统设计,6HA集群系统的工作原理【案例6-14】图6-27是一个HA集群系统的典型结构图。在HA集群中，最核心的部分是心跳监测网络和集群资源接管模块。心跳监测一般由串行接口（RS-232）通过串口线路来实现。,第130页 共150页,6.4 高可用集群系统设计,P158图6-27 HA集群系统典型结构,第131页 共150页,6.4 高可用集群系统设计,HA集群系统工作原理两台主机在运行过程中，两个节点之间通过串口（心跳线）相互发送报文来告诉对方自己当前的运行状态，系统软件和硬件运行状态，网络通信和应用程序运行状

49、态等。如果在指定时间内未受到对方发送的报文，就认为对方主机运行不正常（故障）。备机上的HA软件模块就会立即在自己机器上启动故障机上的应用程序，将故障机的应用程序及资源（IP地址和磁盘空间等）接管过来，使故障机上的应用在本机上继续运行。,第132页 共150页,6.4 高可用集群系统设计,应用程序和资源的接管过程由HA软件自动完成，无需人工干预。当两台主机正常工作时，也可以根据需要，将其中一台主机上的应用人为地切换到另一台备机上运行。,第133页 共150页,6.4 高可用集群系统设计,案例HA集群 通信机制,第134页 共150页,6.4 高可用集群系统设计,6.4.3 HA集群系统硬件设备H

50、A集群系统必须的硬件设备有：服务器主机，网络和网卡。为了增强HA集群的功能和可靠性，一般会增加一些其他设备，如：串口卡，Fence设备，共享磁盘阵列，HBA卡，光纤交换机，以太网交换机等。,第135页 共150页,6.4 高可用集群系统设计,1.服务器主机HA集群系统至少需要2台服务器主机，普通PC服务器即可，也可在虚拟机上安装HA集群软件。2.网卡HA集群中每台服务器主机至少需要有2个以太网卡（或集成网口）和1个COM串口（没有COM口时需要串口卡）。一个以太网卡用于连接2台服务器之间的私用网络（TCP/IP），另一个以太网卡用于连接公用网络（TCP/IP）。,第136页 共150页,6.4