《2节点服务器群集及网络存储系统集成方案.docx》由会员分享，可在线阅读，更多相关《2节点服务器群集及网络存储系统集成方案.docx（16页珍藏版）》请在课桌文档上搜索。
1、O执行第一次发布版本状态编制人审核人修订内容批准人日期UN=APlOOO核电项目2节点服务器群集及网络存储系统集成方案ZBICCBCGD533文件编号级别版本编制部门ZBICCBCGO5332A信息中心发布单位：中国核工业第五建设公司AP1000施工总承包部版权声明：此文件内容属中国核工业第五建设公司全部，未经同意不得引用、复制、借阅或发表。1 .说明32 .需求分析与选型原则32.1 需求分析32.2 选型原则43 .2节点服务器群集介绍44 .服务器群集方法比较55 .网络存储系统技术介绍55.1 网络存储技术分类55.2 网络存储方式对比66 .网络存储技术方案整合76.1 NAS+SA
2、N方案76.2 NAS+SAN融合构架87 .网络存储平安98 .存储方案总结108.1 相同点108.2 不同点109 .总承包部网络存储部署方案109.1 总包部存储及服务器运用状况109.2 部署方案选择109.3 产品的选型1110 .存储系统划分HU.Oracle数据库集群部署错误!未定义书签。11.1 Oracle群集系统的介绍1111.2 WindoWS平台下OraCIe集群的安装步骤131.说明随着总包部信息系统的深化应用，信息系统内的服务器担负着总包部的关键应用，存储着重要的信息和数据，为总包部领导及决策部门供应综合信息查询服务，因此，建立牢靠的网络群集存储系统,爱护关键应用
3、的数据平安是重中之重,本方案是依据APlOOO三门核电项目信息系统的特点而编制的，在总包部现有计算机网络平台的基础上，构建一套群集存储系统，保证数据的完整性，避开数据不会破坏和丢失。2 .需求分析与选型原则2.1 需求分析随着总承包部业务数据的增加和应用对数据的依靠性的增加，数据的有效汇合、集中管理、综合分析以及容灾备份等处理要求日益提高，总承包部存储系统应具备以下的需求： 数据集中化数据存储与管理集中化这种模式有利于总包部各项业务间的联动处理，并且有利于实现分级授权，加强限制和监督，提高总包部集约化管理水平； 业务综合化业务综合处理就是将各种业务紧密结合起来成为一个整体，使得各系统之间、部门
4、之间信息共享，以消退总包部信息孤岛现象，为数据挖掘与决策分析奠定坚实基础； 数据平安性存储系统作为数据高度集中的系统，数据的平安是第一位的，必需从网络、操作系统、数据库、存储设备等方面建立起一套严密的保障措施，保证总包部、用户和业务数据的100%可用； 高牢靠性与高可用性存储系统的数据备份是保证数据高牢靠、高可用的基本手段，在本地及异地建立与业务系统相同的备份系统，或将各种系统的数据进行实时备份，将大大提高数据资源的牢靠性； 效率与成本总包部目前的数据由于比较分散，管理和备份都相当的难度，简洁造成损坏或丢失,平安性很低，新部署的存储系统，数据需高度集中，管理和备份都特别便利，可以提高了工作效率
5、同时也可以降低系统成本； 兼容性和可扩展性由于总包部工作的进一步开展和扩大，数据量会快速的增加，存储系统的可扩展性尤为重要，良好的扩展性可以保证系统的连续性； 数据备份存储系统正式运行后，数据及应用系统都迫切须要行之有效的数据平安爱护措施，在此状况下，必需实行有效的数据备份手段，确保网络系统、应用系统的高度平安，建立自动化、跨平台网络备份管理系统有利于以后系统管理要求；2.2 选型原则 先进性群集及网络存储集成系统采纳的技术必需是先进而成熟的；现在计算机技术的发展日新月异，要爱护总包部的投资就必需采纳先进的技术，并且这种技术和产品必需被业界公认为成熟且有发展前途的； 好用性建设群集及网络存储集
6、成系统的目的是要解决总包部数据信息的共享和交换，供应现代化的管理，因此，部署存储系统的动身点就是要满意用户的信息要求； 经济性在进行设备选择时不但要考虑采纳技术的先进、牢靠，而且还必需考虑总包部的经济负担。因此，群集及网络存储集成系统方案必需具备很高的性价比； 高可管理性与高牢靠性由于总包部整个信息系统的数据实行集中式的存储策略，所以群集及网络存储集成系统必需具备很高的可管理性，另外，计算机网络系统的外部环境是多变的，存储方案必需能够很便利地进行调整，以满意外部环境的变更； 高可扩充性与升级实力群集及网络存储集成系统方案必需能够适应总包部网络系统发展的须要，具备高可扩充性与升级实力，存储系统必
7、需是可以扩充的，必需具备较高的扩展实力，而且随着计算机技术的发展可以对存储局域网络进行升级； 开放性与标准化群集及网络存储集成系统中所采纳的技术和选用的产品都必需是目前业界公认的主流，而且必需满意开放性的要求。3 .2节点服务器群集介绍2节点服务器群集是通过两台服务器共享一个外部的磁盘存储设备，全部要求高可用的数据和应用程序代码存储在共享的设备中，两台服务器分别对磁盘存储设备具有访问权，当一个服务器发生失效的时候，另外一个服务器仍旧可以对共享存储设备中的数据进行访问，客户端网络的访问，可以由这台服务器接着维持。4 .服务器群集方法比较簸娥局限性被动备份服务器只是在主服务器发生故障时，第二服务器
8、才能投入运行,接管一切。易于实现.成本高.因为第二服务器不能处理其它任务.活动的第二服务器第二服务器也被用来运行任务处理.成本低。因为第二服务器也能运行.复杂性噌加。“全部复制”方式每个服务器都有自己的磁盘。主、次服务器之间不停进行数据拷贝.高可用性和容错.适合于对可用性敏感的环境。拷贝操作使剧络及服务器负荷很大.可能会有发生不同步的风险.有故障发生时，可能会有丢失事件。应用程序需要全面的修改.“0共享”方式服务器连到相同的磁盘系上,但每个服务器都拥有属于自己的磁盘，如果某个服务器出错，它的磁盘将由另一服务器接管。因为无需拷贝数据，所以降低了屈络及服务器的一般运行开销。通常需要磁盘镜像或RAI
9、D技术来补偿磁盘故障给系统带来的灾害.“全部共享”方式多个服务器可同时共享磁盘存取.低屈络及服务器运行开销.由于磁盘故障而引发系统停机的风险被降低需要锁定管理软件，一般需要磁盘镜像或RAID技术.5 .网络存储系统技术介绍众所周知，目前主流存储应用的体系结构主要有DAS、NAS和SAN三种模式，三种模式从体系架构的逻辑上看，有明显的区分，依据总包部实际状况，本方案必需符合性能、平安性、扩展性、易用性、整体拥有成本、服务等要求。5.1 网络存储技术分类5.1.1 DASDAS是大型服务器采纳的主要存储方式，是指将外置存储设备通过连接电缆，干脆连接到一台或多台服务器上，采纳干脆外挂存储方案的服务器
10、结构犹如PC机架构，外部数据存储设备采纳SCSl技术，干脆挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种状况下往往是数据和操作系统都未分别，DAS这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需求，并且单台外置存储系统的容量，已经从不到1TB,发展到了2TB,随着大容量硬盘的推出，单台外置存储系统容量还会上升，此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满意数据存储对高可用的要求，从目前发展趋势上看，DAS仍旧会作为一种存储模式，接着得到应用。5.1.2 NASNAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，N
11、AS设备的安装、调试、运用和管理特别简洁，采纳NAS可以节约肯定的设备管理与维护费用，NAS设备供应RJ-45接口和单独的IP地址，可以将其干脆挂接在主干网的交换机或其它局域网的桌面交换机上，通过简洁的设置就可以在网络即插即用地运用NAS设备，而且进行网络数据在线扩容时也无需停顿，从而保证数据流畅存储。5.1.3 SANSAN的支撑技术是光纤通道技术，光纤通道是ANSl为网络和通道I/O接口建立的一个标准集成，支持HlPPI、IP1.SCS1.IP、ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开，这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络运
12、用单I/O接口，使得系统的成本和困难程度大大降低，光纤通道支持多种拓扑结构。5.2 网络存储方式对比5.2.1 NAS1）特点NAS可理解为是一整套的网络存储服务器产品，它和客户之间通过NFS和CIFS协议通信，网络中多个不同操作系统的应用服务器都支持这两个协议，在服务器集群系统尤其显得重要，可以实现不同操作系统之间文件共享，即异构平台实现文件共享；2）缺点 单一连入网络简洁单点失败，一旦出错，系统将无法访问数据； 扩张性能方面，NAS不保证服务持续，添加新的磁盘将引起服务中断; NAS是供应文件级的访问，经过TCP/IP打包才能传输数据，打包解包影响传输速度； NAS的备份和复原相当困难，备
13、份时间依数据量而定，简洁使网络饱和；因此NAS不能满意事务处理。5.2.2 SAN1）特点SAN可理解为一个专用网络，可以把一个或多个系统连接到存储设备和子系统,是负责存储传输的“后端”网络，而“前端”网络（即数据网络）负责正常的数据传输，SAN主要通过FibreChannel连接，在光纤协议上映射SCSlmingIing,实现块级数据访问，可以实现高可用性、高扩张性、集中存储、较小备份周期等。2）缺点只实现设备及共享，各个客户端的存储空间是分别的；通过FibreChannel实现连接，设备价格昂扬，SAN的实现须要相当高的费用；同时网络维护也须要相当的开销；6 .网络存储技术方案整合6.1
14、NAS+SAN方案NAS+SAN网络存储方案适合于大型企业存储，将两种方式进行融合，依据总包部实际须要进行选择组合，即可以运用以NAS为主、SAN为辅，也可以运用SAN为主、NAS为辅；6.1.1NAS为主、SAN为辅NAS为主的整合方法是将NAS中的操作系统与存储服务器分开,通过SAN连接操作系统和存储资源，对外通过NFS和ClFS协议供应基于文件级的数据访问，同时还可以通过ISCSl协议供应对基于块数据级访问。网络可以利用SAN来统一管理存储资源，并进行高效备份和远程容灾，还可以通过存储服务器，对外供应异构平台数据共享，不过通过存储器访问存储资源，会有肯定开销，拓朴图如下：以太网应用股务器
15、NAS为主.SAN为辅6.1.2SAN为主、NAS为辅SAN为主、NAS为辅的方法是将应用服务器中文件系统功能剥离出来，集中到元数据服务器，对外通过干脆供应和SAN相连，并通过存储服务器实现块级数据的访问，对于访问文件级数据而言，须要通过元数据服务器访问SAN,对元数据服务器会产生而外开销,拓朴图如下：NA5为为。6.2NAS+SAN融合构架存储服务器为NAS服务器，其他服务器除了和以太网连接外，还和SAN干脆连接，即解决了NAS单点失败问题，也解决了SAN块级数据访问问题。此方案可以满意上述2个系统的存储需求，又有较高的I/O速度，实现数据备份和远程容灾，供应较高牢靠性,因此，此方案适合很多
16、大中型企业，不仅可应用于关键业务，也可以实现文件级和块级数据访问，部署结构图如下：7 .网络存储平安存储平安实质上是指系统中的数据受到爱护，不受偶然的或者恶意的缘由而遭到破坏、更改、泄露，系统可连续牢靠正常地运行；因此，在网络存储选型时必需考虑其平安性并保证符合以下要求： 保密性：存储信息不泄露给非授权用户、实体或过程； 完整性：数据未经授权不能进行变更的特性；即信息在存储或传输过程中保持不被恶意修改、破坏和丢失； 可用性：可被授权实体访问并按需求运用的特性，即当须要时能否存取所需的信息； 可控性：对存储信息及内容具有限制实力。8 .存储方案总结NAS、SAN与传统网络存储技术相比而言，无论是
17、从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和平安性等方面来说，其优越性是不言而喻的，所以，我们在选择存储方案时，事实上也是就对NAS和SAN的择择了，可以说，NAS和SAN各有其长短之处，在实际应用中也各有不同之处，对于缝实力不足，有传统以太网络，且急需扩充存储空间的用户，NAS无疑是一种便宜、快速的方案，而对于拥有强大经济后盾，对网络性能要求较高及将来发展势头强劲的用户，则应当选择SAN或者选择NAS+SAN模式;8.1 相同点NAS和SAN也有很多共同的特点，它们都供应集中化的数据存储和整合优化，都能有效的存取文件，都允许在众多的主机间共享并支持多种操作系统，都允许从
18、应用服务器上分别存储。而且，它们都供应数据的高可用性，都能通过冗余部件和RAID保证数据的完整性；8 .2不同点实施和维护的难易程度不同；二者的设备管理难易成度不同；9 .总承包部网络存储部署方案9.1 总包部存储及服务器运用状况总包部原有2台IBMNETFinity7000服务器、一台磁盘阵列和一台磁带机，磁盘阵列和服务器仅用于数据库群集运用，目前，由于设备老化缘由，已经依据正常程序报废,目前总包部的存储方式采纳不同服务器之间进行数据互为备份，由于数据比较分散等缘由，管理和备份都相当的难度，简洁造成损坏或丢失，平安性很低，因此，随着总包部数据量的不断增加，急需扩展存储容量.9.1.1 服务器
19、目前运用状况9.1.2 服务器资源整合9.2 部署方案选择从系统的兼容性、稳定性与牢靠性角度动身，并且考虑爱护项目部已有的投资，经过市场调研和信息中心分析，认为选择基于SAN架构的数据存储方案可以满意要求；本方案中运用光纤通道交换机、本地磁盘阵列、备份磁带库及远程容灾磁盘阵列组成SAN系统，为不同平台的操作系统和磁盘系统供应支持，为容灾备份供应无缝支持，并且可以将现在已有的投资与长期的存储解决方案结合起来，建立一个可扩展、易管理、能够敏捷地适应不行预见的存储须要的网络存储环境。9.3 产品的选型10 .存储系统划分11 .Orade数据库集群部署11.1 OraCle群集系统的介绍11.1.1
20、 Oracle集群体系统结构Oracle集群实际是运用2台或多台服务器访问同一Oracle数据库，这样一方面可以避开一台服务器务器出现故障时数据库不能正常运用数据库，同时也可以进行并行运算或负载均衡。从软件组件上讲，oracle集群由2台或2台以上服务器组成，每台服务器有自己的临听器，用于临听自己的网络端口，每台服务器有自己的OracleRAC服务，用于数据库的集群访问；每台服务器有自己的集群就绪服务，用于集群管理；全部的服务器通过自己的操作系统访问一个共享的存储设备，共享存储设备的存储设备的存储机制可运用裸设备(RaW),集群文件系统(C)CFS),自动存储管理(ASM)或网络区域存储(NA
21、S),当客户端访问时，由上而下依次调用相应的软件。11.1.2 群集部署软件的组成要安装Oracle集群，至少须要两个软件，分别为：Oracle数据库软件和OraeIeClusterWare;从逻辑结绝上讲，集群中的每台服务器有一个实例，每台服务器上的实例都对应到同一个数据库，详情如下图所示：数据文件、限制文件、日志文件从上图中可以看出，在集群中有两台服务器，每台服务器拥有一个实便，每个实例都访问同一个数据库，数据库存储在共享磁盘上，关于OraCIe软件，即可以存储在本地磁盘上，也可以存储在共享磁盘上，关键取决于安时选择的存储机制。11.1.3 有关OraCIe集群的存储选项1）软件和空间序号
22、项目说明最少磁盘空间备注1ClusterWare软件集群软件700M2VotingDisk记录信群集节点信息100M3OCR（OraCIe集群注册）存储集群配置信息200M4Oracle数据库软件数据库软件1.5G5RAC数据库存储全部数据库文件依据数据量来确定6复原文件(ReCOVeryFile)用于快速复原数据3G2）OraeIe集群的存储机制序逐项目存储系统存储位置备注1ClusterWare软件NTFS本地磁盘2VotingDiskOCFSRawdevice共享磁盘3OCR（OracIc集群注册）OCFS、Rawdevice共享磁盘4Oracle数据库软件OCFS（共享）、NTFS（本
23、地）本地磁盘或共享磁盘5RAC数据库OCFSASM、Rawdevice共享磁盘6复原文件(RCCoVeryFile)OCFS、ASM共享磁盘3）存储机制的选择从下表可以看出，要想运用单一文件系统，必需运用OCFS文件系统，但是，由于OraCle供应了特别便利的存储管理系统ASM,因此，此方案中我们采纳OCFS来存储Clusterware的数据和oracle数据库软件，运用ASM来存放数据库文件。序号存储选项支持的文件类型备注Clusterware数据库复原文件1ASM否是是2OCFS是是是3RawDevice是是否11.2 WindOWS平台下OraCle集群的安装步骤11.2.1 安装前的打
24、算工作1）系统要求序号项目要求备注1体系结构32位2操作系统windowsserver2003+SP23内存2G4网络协议TCP/IP5网络适配器2*NIC6阅读器IE6.O以上2）网络规划序号主机名类型IP地址注册位置备注1公共DNS2公共DNS3虚拟DNS4虚拟DNS5Nodel专用主机文件6N0de2专用主机文件3）数据存储策略项目存储系统存储位置备注1ClusterWare软件NTFS本地磁盘2VotingDiskOCFS共享磁盘3OCR（OraCIe集群注册）OCFS共享磁盘4Oracle数据库软件OCFS共享磁盘5RAC数据库OCFS共享磁盘6复原文件(ReCOVeryFile)O
25、CFS共享磁盘11.2.2 安装集群就绪软件1）关闭磁盘写缓存在安装集群就绪软件之前，须要分别在两节点上关闭磁盘写缓存，方法为，打开windows磁盘管理器，在共享磁盘上点右键，选择“属性”在“属性”对话框中，选择“策略”标签，在策略标签中将“启用磁盘上的写入缓存”复选框去掉。2）开启windows2003磁盘自动加载功能由于此方案运用的系统是windows2003,存储策略选择了OCFS,ASM等存储系统，因此必需开启磁盘自动加载功能，在Windows2003中开启自动加载功能，运用diskpart工具即可，首先在WindOWS2003的吩咐行运行diskpart吩咐，然后在diskpart
26、的提示符下运行automountenable吩咐即可，完成后运行exit吩咐退出diskpart工具。3）创建磁盘分区依据磁盘安排规划，在节点1上创建磁盘分区，并且在创建分区时不要安排盘符，也不要格式化。4）设置网络依据1021中的第2点，在节点1和节点2上，将本地连接重名为PUbliC,本地连接2重命名为PViVate,留意，配置完之后，再运用iconf查看网络设置时，要确保public被列在第一个。5）主机名称解析由于主机名，ItNODEkNODE2外，其他都通过DNS服务器来解析，因此，我们只须要在HoStS文中解析用于内部通信的主机名，方法为，分别编辑节点1和节点2上的C:window
27、ssystem32driversetchosts文件，在文件内输入如下内容：11.2.2.1 NODEl11.2.2.2 NODE26）重新启动节点为了确保配置生效，须要对两节点进行重新启动，启动节点后，检查每个节眯的磁盘管理，确保在每个节点上没有给共享磁盘的分区安排盘符，如有发觉某节点给共享磁盘的分区他配了盘符，删除盘符安排，并重新启动该节点。7）起先安装在其中一个节点上执行安装程序SetlIp,进入ClUSterWare的安装界面，点击“下一步”接着。8）设置安装书目指定OraCIeHome的名称和安装的书目位置，因为CRS为集群就绪软件，在集群起来之前，每个节点必须要启动该软件，所以只能
28、将其安装在各个节点的本地磁盘上。9）安装条件检测安装程序会自动进行安装条件检测，假如没有报告错误，则点击“下一步”接着,假如报告错误，根根错误提示作相应的设置。10）指定集群配置指定集群名称及集群节点的相关信息，相关配置参见10.2.1中的第2点；11）指定网络接口用途在确保设置了公用IP（用于外部通讯）的网络接口类型是公用的，设置了私网IP（用于内部通讯）的网络接口的类型为专用的，假如有错，在确定配置正确的前提下可以点击“编辑”进行手工修改，完成后点击“下一步”接着。12）配置存储选项在存储选项配置中，列出了可用的磁盘分区，依据磁盘安排方案选中相关的分区，点击“编辑”将出现指定的磁盘配置对话
29、框，分别选择：“用CFS来格式化分区”，“将分区用于存储软件”，并为该分区指定一个在两个节上都能运用的盘符，然后点击“确定”确认配置，依次选择其次分区，依据用途对磁盘进行相应的处理，完成磁盘配置后，点击“下一步”接着，此时会出现一些警告信息，提示是否须要对C）CR和表决盘做冗余。13）起先安装软件出现安装概要后，查看各项概要是否符合要求，点击“安装”起先安装软件，此时，请耐性等待安装过程，安装完成后点击“退出”程序。11.2.3 安装OraCIe数据库软件1）执行安装程序将数据库光盘插入光驱中或将OraCle源程序复制到服务器中，然后执行SETUP.EXE程序，待出现安装界面后，点击“下一步”
30、接着。2）选择安装类型在安装类型择时，选择“企业版”。3）选择软件的安装位置由于本方案采纳OCFS存储系统，在创建OCFS时，将软件安装在已规划好的共享盘符中。4）选择安装模式在安装模式中，选择集群安半，并选中要集群的全部节点，然后点击“下一步”接着，留意：只有安装了集群就绪软件，才会有集群安装选项。5）检查安装条件安装程会自动检测系统环境是否满意安装条件，假如不能满意，依据错误码提示进行调整，如没有错误，点击“下一步”接着。6）选择配置选择在配置选项中，选择“仅安装数据库软件”，点击“下一步”接着。7）安装软件在概要查看时，假如查看概要信息正确，然后点击“安装”起先安装数据库软件。11.2.
31、4 创建数据库11.2.5 CA在吩咐行执行dbca创建数据库，在选择创建数据库类型时，选择OracleRealAPPliCatiOnChlSterS数据库”，点击“下一步”接着，然后在选择要进行的操作时;选择“创建数据库”点击“下一步”接着。2）选择集群节点选择要运用该数据库的集群节点，点击“下一步”接着3）选择模板在选择数据库模板时，可以选反“一般用途、事务处理、定制数据库、数据仓库”，我们这里选反“一般用途”即可，然后点击“下一步”接着。4）输入数据库名称输入数据库名的全局名称和SID,这里我们输入全局数据库名为：Canppe2.sanmen.local,SID为：CANPPE2,然后点
32、击“下一步”接着。5）管理选项在管理选项中，为了以后管理简洁，“运用EnterPriSeManagerS配置数据库”，这样以后可以运用EnterPriSeManagerS来管理数据库，然后点击“下一步”接着。6）指定数据库管理员口令为内置的几个管理帐户设置口令，然后点击“下一步”接着，留意，口令肯定要记住。7）选择存储机制在选择存储机制的选择中，选择“群集文件系统”然后点击下一步，接着。8）选择数据库的存储位置在选择存储位置时，选择“运用oracle管理的文件J数据区填入数据库须要存入的路径，然后点击“下一步”接着。9）指定快速复原区在快速复原区指定路径并输入快速复原区大小。10）选择数据库内容选择是否安装“示例”方案，我这里选择担心装，然后点击“下一步”接着。11）配置TAF策略假如要运用TAF策略，须要进行配置，这里，不对策略进行配置，干脆点击“下一步”接着。12）设置初始化参数关于初始化参数据的设置事实上是对oracle数据库进行优化，这里可以运用缺省配置即可，点击“下一步”接着。13）配置数据库存储在配置数据存储时，运用默认配置，点击“下一步”接着。14）创建数据库点击“完成”起先创建数据库。在创建数据库时，由于无法在各个节点上检测到可用的网络临听程序，会出现提示，只要点击“是”接受创建默认的临听程序即可。12.附录EMCCX4-120存储具体配置参数如下：
