《全液冷冷板系统参考设计及验证白皮书.docx》由会员分享，可在线阅读，更多相关《全液冷冷板系统参考设计及验证白皮书.docx（36页珍藏版）》请在课桌文档上搜索。
1、目录第一章液冷行业背景及技术优化方向031 .液冷行业背景及政策042 .液冷数据中心主流技术介绍及对比073 .先进冷板液冷数据中心介绍084 .冷板液冷服务器设计技术优化方向09第二章全液冷服务器系统架构设计101 .全液冷冷板服务器创新实践112 .系统组成及管路布局123 .通流方式选择及流量计算13第三章全液冷服务器冷板关键部件设计161.CPU冷板设计172 .内存液冷设计173 .硬盘液冷设计184 .PCIe/C)CP卡液计195.电源冷板设计21第四章全液冷服务器冷板性能测试231 .测试项目介绍242 .测试结果分析25第五章铝冷板全液冷方案设计与测试291 .铝冷板全液冷
2、方案设计302 .铝冷板性能与兼容性测试313 .铝冷板测试结果及分析32第六章冷板液冷未来思考展望351 .全液冷冷板技术应用拓展362 .冷板液冷新技术展望37第一章液冷行业背景及技术优化方向1 .液冷行业背景及政策2 .液冷数据中心主流技术介绍及对比3 .先进冷板液冷数据中心介绍4 .冷板液冷服务器设计技术优化方向03I全液冷冷板系统参考设计及验证白皮书1.1数据中心行业发展 及问题1.2碗中心有皿攵策 介绍1.液冷行业背景及政策国家十四五规划提出大力发展数字经济，计算力代表着生产力，而计算力的承载体就是数据中心。根据IDC发布算力报告指出：算力提升与经济发展成正相关关系，计算力指数每提
3、高一个点，数字经济会增长35%,GDP会增长1.8%。数据中心基础设施作为算力的载体已成为支撑数字经济的数字底座，而其本身也是碳排放大户，2022年，中国数据中心碳排放量相当于5000万辆燃油汽车的年排放总量.在双碳目标下，作为“耗电大户”数据中心的节能减排备受关注。当前，芯片功耗与服务器功耗逐步上升。与之对应，单机柜功率密度也不断增大.根据相关机构调研，2020年数据中心平均机架功率为85kW机柜，相比于2011、2017年有明显提高，年复合增长率达到15%。高功耗芯片，高密度服务器及单机柜密度的演进，对于传统风冷散热来说，既容易出现局部热点,影响换热性能；又需要不断降低送风温度，增大送风风
4、量，影响制冷能耗。因此，传统风冷制冷模式在换热性能及能耗优化方面逐步受限。液冷是一种新兴的冷却技术，该种技术通过采用液态冷却工质流动方式带走发热元件热量替代风冷换热中采用空气换热的模式。与风冷对比，液冷技术可以更好地支持高功耗芯片解热，保持芯片低温运行，延长寿命；充分利用室外自然冷源冷却，降低数据中心PUE;提高关键部件换热效率，减少服务器散热热点，支持机柜更高密度；降低数据中心噪声，提升数据中心环境适应性。因此，未来数据中心建设中，液冷技术的应用将会是在数据中心制冷方向的重要组成部分，也是实现绿色算力和双碳目标达成的重要举措。“碳中和成为全人类共识，已有130多个国家宣示了碳中和承诺。近年来
5、随着数据中心规模快速增长，其耗电量约占全球总用电量的2%,且还在急剧增加。Uptime全球数据中心报告2022指出，2014年以来，全球大型数据中心PUE连续8年维持在1.6左右，数据中心能效水平仍存在较大优化空间.为推动数据中心绿色发展，多个国家、国际组织发布相关政策。多地已开始限制高PUE的数据中心的建设，相关政策和数据中心机房对PUE提出明确限制，鼓励液冷技术、IT设备高密度集成技术及IT设备能效提升技术实施，促进数据中心液冷技术进一步发展。1.3液冷数据中心标准化 建设标准化是衡量技术成熟度的重要凭证，对于液冷数据中心的标准化建设，一直以来都是行业领域、学术界与工业界关注的重点。国内标
6、准方面，已发布1项与电子设备相关的冷板液冷国家标准,GB/T15428-1995电子设备用冷板设计导则.该标准主要规定电子设备使用的冷板换热计算和结构设计，对于冷板核心参数定义，性能定义，材料定义，加工工艺，漏液检测定义和测试方法及要求均不涉及；同时据统计，近五年来国内有十余家标准组织或技术组织正在开展液冷技术相关的标准化工作，已发布行业标准9项，团体标准28项，涉及液冷部件，节点，系统和数据中心四个层面的技术要求和测试方法，适用于液冷系统的设计、施工、部署、运维、测试等环节的技术指导（清单详见下表）；此外国内也已发布20余项白皮书或研究报告成果。表L现有液冷数据中心标准序号标准类别标准编号标
7、准名称归口单位1国家标准GB/T15428-1995电子设备用冷板设计导则全国电工电子设备结构综合标准化技术委员会2行业标准YD/T4024-2022数据中心液冷服务器系统总体技术要求和测试方法中国通信标准化协会3行准YD/T3983-2021数据中心液冷服务器系统能源使用效率技术要求和测I试方法中国通信标准化协会4行业标准YlYT3982-2021数据中心液冷系统冷却工质体技术要求和测试方法中国通信标准化协会5行业标准YD/T3981-2021数据中心喷淋式液冷服务器系统技术要求和沃Ji昉法中国通信标准化协会6行业标准YD/T3980-2021数据中心冷板式液冷服务器系统技术要求和沃方法中国
8、通信标准化协会7行业标准YD/T3979-2021数据中心浸没式液冷服务器系统技术要求和测试方法中国通信标准化协会8行业标准YD/T4274-2023单相浸没式液冷数据中心设计要求中国通信标准化协会9行业标准YD/T4411-2023浸没式液冷数据中心测试方法中国通信标准化协会10团体标准T/CESA1249.1-2023服务器及存储设备用液冷装置技术规范第1部分：冷板中国电子工业标准化技术协会11团体标准T/CESA1249.2-2023服务器及存储设备用液冷装置技术规范第2部分：连接系统中国电子工业标准化技术协会12团体标准T/CESA1249.3-2023服务器及存储设备用液冷装置技术规
9、范第3部分：冷量分配单元中国电子工业标准化技术协会13团体标准T/CESA1249.4-2023服务器及存储设备用液冷装置技术规范第4部分：液冷监控中国电子工业标准化技术协会14团体标准T/CESA1271-2023液冷式高性能计算机技术参考架构中国电子工业标准化技术协会15团体标准T/CESA1272-2023高性能计算机浸没式液冷系统技术要求中国电子工业标准化技术协会16团体标准T/CCSA239.2-2020服务器用液冷系统第2部分：喷淋式中国通信标准化协会序号标准类别标准编号标准名称归口单位17团体标准T/CCSA239.1-2018服务器用液冷系统第1部分：间接冷板式中国通信标准化协
10、会18团体标准T0E087-2020单相浸没式直接液冷数据中心设计规范中国电子学会19团体标准T/QE091-2020温水冷板式间接液冷数据中心设计规范中国电子学会20团体标准T/QE090-2020数据中心温水冷板式间接液冷设备通用技术要求中国电子学会21团体标准T/QE0882020非水冷板式间接液冷数据中心设计规范中国电子学会22团体标准TaE089-2020喷淋式直接液冷数据中心设计规范中国电子学会23团体标准T0E098-2021液/气双通道热管冷板间接液冷数据中心设计规范中国电子学会24团体标准T0E097-2021液/气双通道热管冷板间接液冷数据中心散热设备通用技术规范中国电子学
11、会25团体标准T/QE096-2021相变浸没式直接液冷数据中心设计规范中国电子学会26团体标准T/QE050-2018液-气双通道散热数据中心机房验收标准及测试方法中国电子学会27团体标准T/QE051-2018液-气双通道散热数据中心机房设计规范中国电子学会28团体标准T/ZSA216-2023相变浸没式直接液冷数据中心设计规范中关村标准化协会29团体标准T/SHSIC0202-2023数据中心浸没式液冷系统单项冷却工质技术指标和测试方法上海市通信学会30团体标准T/CA307-2023数据中心浸没液冷系统破冠类冷却工质技术要求和测试规范中国通信工业吩会在国外标准方面，ASHRAETC9.
12、9定义了供给冷量分配单元的一次侧冷却水的温度等级，从W17到W+共6个温度等级，的内容如下表所示。表2.ASHRAE机房等级划分及参数ASHRAE机房等级W17W27W32W40W45W+一次侧供水温度17X27324045452.液冷数据中心主流技术介绍及对比2.1数据中心有业发展及问题冷板液冷和浸没式液冷是目前数据中心行业应用的两种主流液冷技术。冷板式液冷是指采用液体作为传热工质在高导热金属冷板内部流道流动，通过热传递对热源实现冷却的非接触式液体冷却技术。浸没式液冷是将发热电子元器件直接浸没在非导电冷却工质中，通过冷却工质循环流动来进行散热的接触式冷却技术。根据液冷工质在换热过程中是否会发
13、生液气相转变，冷板和浸没式液冷又分成单相式和两相式.单相冷板和单相没式液冷由于技术相对简单，在教科研、互联网和通信等多行业里已经有一些典型部署案例。相比单相浸没式液冷，单相冷板式液冷主要有以下优势：I技术相对成熟，生态完善，对机柜和服务器改造小，初投资少，成本优势明显.I不改变客户的使用习惯，运维模式、机房承重与风冷场景也基本一致。I冷却工质不直接接触芯片和服务器内其他部件，对材料兼容性要求低，可以相对容易地与不同厂商和型号的计算设备兼容，提供更多的硬件选择空间；对服务器高速链路信号完整性也无影响。I占用空间相对较少，适合于对空间有限制的数据中心和计算环境.I对冷却工质的需求量少，冷板液冷冷却
14、工质相比浸没式液冷用氟化液也更加环保。I单芯片散热能力在IkW以上,相比单相浸没式液冷有更高的单点散热能力。除此之外，相比于单相浸没式液冷，单相冷板式液冷（以下均简称为冷板式液冷）的缺点主要集中在以下几个方面：I数据中心系统PUE更高：由于冷板式液冷服务器中冷板结构多数仅覆盖CPU、GPU等高功耗发热部件，其余部件常以风冷辅助冷却，服务器仍需配置冷板及风扇两套冷却部件，数据中心需要配置CDU和空调两套冷却系统。随着空调及压缩机制冷，通常冷板液冷数据中心PUE高于浸没式液冷系统（II系统存在漏液短路风险：冷板式液冷系统通常冷却工质选择去离子水或乙二醇/丙二醇水溶液，如果冷却工质与冷板材质选择和后
15、期维护不当，长期运行后可能出现腐蚀，导致冷却工质泄露，最终对服务器造成宕机或者烧板的风险。I基于上述冷板式液冷的优劣势情况，鉴于冷板式液冷在整体系统架构改造，产业链成熟度，初投资等方面均有优势.如果冷板液冷能够逐步增加液冷覆盖面积，同时避免因冷却工质泄露导致的系统短路风险，冷板式液冷优势会更加明显.3.先进冷板液冷数据中心介绍为了更清晰地了解先进冷板式液冷数据中心形态功能及应用情况，选取行业数据中心典型代表进行分析，详细数据如下：3.1先进冷板液冷数据中心介绍 FrontierFrOntier系统安装在美国田纳西州ORNL椽树岭国家实验室，系统总共配有74个独立机柜，包括9408个CPU和37
16、632个GPU,搭载CPU和GPU的9408个刀片服务器通过全冷板液冷的方式进行冷却散热。 AuroraAUrOra系统安装在美国能源部下属阿贡国家实验室，根据规划，AUrora在建设完成后将配备21248个CPU,63744个GPU,搭载CPU和GPU的10624个刀片服务器通过全冷板液冷的方式进行冷却散热.3.2病中心特点及问题分析FrOntie评口AUrora数据中心均采用了冷板全液冷高密服务器架构，冷板全液冷顾名思义就是用冷板液冷技术实现服务器内接近100%的热捕获。冷板全液冷服务器在全球很多高算力，高供电密度的数据中心中已有很多商业部署案例，其带来的好处是T高效节能与静音：服务器内去
17、风扇，数据中心去空调化运行，数据中心PUE低至1.1以下，运行噪音低于60dB.这对于大规模高密度计算集群来说是一个重要的优势，有助于进一步提高能源使用效率，把更多的电力用于提升算力。T高集成：采用全液冷技术，利用一套高温水系统可以实现系统换热，机房内部无需空调冷凝器设备，机房外部无需额外配置空调蒸发器，冷水机组及各项管路，全液冷服务器布置可以通过去除空调系统及相应基础设施节省30%以上的空间。I高密度：全液冷产品可以忽略风扇及空调的影响，使服务器的布置和机柜内排布更紧密，单机柜可支持100KW以上，无需安装冷热通道封闭设施，节省了大量的空间，从而能够在单位空间布置更多的服务器，提高数据中心运
18、算效率。除去以上全液冷冷板系统应用可以带来的诸多好处之外，全液冷冷板服务器系统大规模推广应用还存在很多挑战，需要后续逐步优化去解决：I随着服务器内液冷覆盖率的增高，服务器冷板液冷环路设计复杂度提升，对适合的服务器系统架构有一定要求，需要设计者在早期就针对全液冷方案规划合理的服务器架构设计，减少全液冷环路设计的复杂性。I随着液冷环路包含的部件增多，服务器内冷板方案的重量和体积也会有大幅提升，对液冷环路的安装和维护带来更多挑战。I服务器内冷板方案的成本也会随着液冷覆盖率的提高而有所提升，需要通过部件液冷方案设计优化及标准化以促进规模应用，降低成本.4.冷板液冷服务器设计技术优化方向结合冷板式液冷特
19、点及行业先进液冷数据中心分析，冷板液冷未来技术优化方向主要围绕通过技术创新进一步提高能效，降低初投资成本，减少漏液安全隐患及提高运维便利性展开。I完善部件液冷方案，提高液冷覆盖率。除CPU,GPU,内存之外，目前业界对服务器内其他发热部件如何通过冷板液冷实现经济有效散热的探索还比较少，方案尚未成熟，价格昂贵，有待通过设计方案的创新实现标准化，规横化应用的经济性和可靠性，进一步提高冷板液冷数据中心能效，减少数据中心空调用量和成本，降低冷却系统复杂度。I提高通用化及可维护性。目前已知的全冷板液冷方案大多基于高度定制化服务器设计，液冷方案无法灵活适用于传统通用服务器架构.对硬盘和网卡等通常需要热插拔
20、的部件无法支持不断电维护.内存液冷方案对冷板管路加工精度要求非常高，在内存安装，维护及可靠性方面也存在一定的弊端。I拓展冷板液冷材料范围，减轻重量，降低成本。服务器重量随着液冷部件的增多大幅上升，对服务器运维和运输过程中的可靠性带来诸多挑战。拓展低密度低成本冷板液冷材料范围，有助于推动行业多样化发展。I提升液冷系统长期使用的安全性，降低漏液风险,选取合理的冷板环路材料和液冷冷却工质，并进行充分的相容性测试及系统性能老化性测试，是保障液冷系统全生命周期内安全稳定运行，降低漏液风险的关键.第二章全菠冷服务器系统架构设计1 .全液冷冷板服务器创新实践2 .系统组成及管路布局3 .通流方式选择及流量计
21、算1.全液冷冷板服务器创新实践为了进一步推动液冷技术发展和生态成熟，浪潮信息联合英特尔深耕通用高密服务器液冷优化设计，除了业界目前广泛尝试的CPU和GPU液冷，对高功耗内存，固态硬盘，OCP网卡，PSU电源，PQe和光模块液冷也进行了深入的探索和研究，打造行业最高液冷惹盖率，满足用户多种液冷惹盖占比部署要求，为互联网、通讯等行业客户提供通用基础能力及多样化技术期.此次全液冷冷板系统开发是基于浪潮信息2U四节点高密计算服务器i24,每个液冷节点支持两颗英特尔第五代至强平台可扩展处理器，搭配16根DDR5内存，1张PQe扩展卡和1张OCP3.0网卡。整机可支持8张SSD固态硬盘,在实现高密算力的同
22、时满足客户存储需求。服务器主要的发热部件包括CPU、内存,I/O板卡,本地硬盘，机箱电源等。液冷方案实现了系统中95%左右的热量通过冷板接触热源由液体直接带走，剩余5%左右的热量经由PSU电源后置的风液式换热器里面的冷却水带走，系统级即可实现接近Io0%液冷热捕获率.整体设计理念是基于在满足性能和可靠性要求的基础上，从系统级解决方案开始，探索高能效，低成本和易于运维的全液冷服务器全新设计之道：V节点与硬盘区域实现内部水电信号盲插结构共用，去除了多余管路，单节点运行即可支持多张固态硬盘液冷。T节点冷板设计采用串联主流路，冷板焊接接口明显减少，降低漏液风险。I全新的内存液冷设计方案，颠覆了业界现有
23、方案在散热性能，公差控制，维护便利性及信号接触可靠性方面的弊端，为解决高功耗内存散热难题打开了新思路。I全新的OCP网卡和硬盘液冷方案简单可靠，均可支持30次以上热插拔，方便客户在开机状态下进行维修，扩容或系统更新操作。I此全液冷冷板方案最大化地利用现有风冷横组及业界成熟的冷板和风冷散热器加工工艺，避免定制化液冷部件和复杂加工工艺，优化成本。I对低密度低成本铝冷板的散热可行性及与冷却工质的长期相容性做了大量拓展研究，为铝冷板在数据中心行业应用可行性分析积累了宝贵实践数据.2.系统组成及管路布局2.1全液冷服务器整机介绍图1.2U四节点全浓冷JK务器2.2全液冷服务器单节点介绍全液冷服务器的节点
24、由节点外壳、主板、CPC芯片、内存模组、内存冷板、CPU冷板，IO冷 板，电源及电源后置换热器等组成。2U四节点全液冷服务器系统由节点、机箱、中背板、固态硬盘模组组成。节点和机箱组件间通过快接头、电源及信号连接器实现水、电、信号盲插。图2.全液冷厦务国节点3.1全液冷冷板通流方式选择3通流方式选择及流量计算为了简化流路设计的复杂性，此全液冷服务器的散热冷却工质流路选用串联流路设计，冷却工质整体由低功耗器件往高功耗器件流动和散热，详细流动方向见下图及表所示。S3.2U四节点全液冷服务1串联流踣*3.冷却工质流动序I流动顺序冷却部件CDU冷却工质经快接头1流入电源冷板经节点快接头2流入节点内IO冷
25、板（Pele,0CP3.0,PCH和10部件）内存冷板流出节点，经快接头3流入SSD冷板经快接头3流回节点，流入CPU冷板，经快接头2、1流出系统返回CDU3.2全液冷冷板流量削全液冷服务器流量需要满足系统散热需求：1)为了确保二次侧管路材料的长期可靠性，二次侧回水温度不超过65。(：；2)确保全液冷服务器各零部件在定义的边界条件下满足散热需求，选取铜冷板+PG25作为流量设计分析.为了满足二次侧回水温不超过65。C要求，通过下列公式计算出单节点PG25最小流量Qmin:Qmin=Psys(p*C*B13(LPM)其中：PSyS指单节点功耗，通过计算硬件配置以及电路损耗，单节点功耗约为IlOO
26、W。P指PG25在目标温度下的密度.C指PG25在目标温度下的比热容.T=140C指二次侧进水温度51。C到最高回水温度65。C的温差.为进一步验证该流量下，各个冷板覆盖部件是否超温，通过CFD软件进行散热仿真.结果显示全液冷服务器铜冷板在进水温度51C(W45)以及冷却工质PG251.3LPM流量条件下所有零部件温度都满足温度要求，且具有一定的安全温度裕量，详细数据如下表所示：表4.CFD散热仿真条件序号项目仿真数据1冷板材料纯铜2冷却工质PG253进水温度SIX(W45)4环境温度35。C5节点流量1.3LPM表5.CFD散热仿真结果序号部件仿真功耗W温度规格仿真结果1CPU3508763
27、（壳温）2Memory12.985733VRO32110834VRl32110815PCH1386556BMC586617CPLD5.3110638SSD13.570679OCP4105S310HCA25.71059111QSFP4.77572综上分析所述，全液冷服务器采用单节点流量L3LPM完全满足系统散热设计目标，而且经济合理利用CDU提供的冷却工质。第二早全液冷服务器冷板关键部件设计1 .CPU冷板削2 .内存液冷设计3 .硬盘液冷设计4 .POe/OCP卡液5 .电源冷板设计1.CPU冷板设计CPu冷板模组是基于英特尔第五代至强平台可扩展处理器冷板的设计要求，综合考虑散熟，结构性能，成
28、品率，价格及不同材质冷板设计兼容性等因素优化而成的一款CPU冷板参考设计，主要由CPU冷板铝支架，CPU冷板及冷板接头等部件组成。2.内存液冷设计B4.CPU冷板酬内存液冷设计采用的是创新型的枕木散热器液冷方案，因内存插满如铁轨上的枕木而得名。它将传统风冷散热和冷板散热相结合，通过内置热管的散热器（或纯铝/铜板、VaporChamber等）把内存上的热量传递至两端，与冷板通过选定的导热垫片接触，最终通过冷板内的冷却工质把热量带走实现内存散热。内存限散热器可在系统外通过治具进行组装形成最小维护单元（下文称之为内存模组）.内存冷板上设计有内存模组固定结构可确保散热器和内存冷板之间良好接触，内存模组
29、固定结构根据需要可以用螺丝固定或者无工具维护。内存冷板顶部给内存散热，底部则可以根据需要给主板其他发热元器件散热，比如VR,最大化利用内存冷板。为简化内存冷板设计，内存和主板之间可以设计转接支架来满足不同主板的限高区.内存一内存模组固定结构内存冷板支架3.硬盘液冷设计与市场上现有的管路(Tubing)内存液冷方案相比，枕木散热器液冷方案的主要优势有：易于维护。内存维护时只需像维护风冷内存一样维护内存模组，无需将散热器和扣具取下，极大地提高了液冷内存组装效率和可靠性，降低了内存在系统内拆装时可能对内存颗粒和导热垫片造成的损伤。通用性好。不同内存的颗粒厚度和内存间距不影响该方案的散热性能，该方案最
30、小适应7.5亳米的内存间距，往上兼容。散热器和冷板解耦设计，可重复利用和内存液冷标准化。更高的性价比.内存散热器可根据内存功耗选取不同的工艺和散热技术，且数量可根据内存按需配置。在7.5毫米内存间距情况下，即可满足30W以上内存的散热需求。易于制造和组装。内存插槽之间没有液冷管路，无需复杂的管路焊接和工艺控制，可以采用传统风冷散热器和通用的CPu冷板制造工艺。组装散热器时，散热性能对散热器和主板在垂直于内存颗粒平面方向的公差不敏感，不会出现热接触不良，更容易组装。可蠡性好.枕木液冷方案避免了组装过程中可能对内存颗粒和导热垫片造成的损伤，并可满足多次插拔需求。此外，它还避免了内存和管路液冷散热方
31、案安装后内存与插槽间由于倾斜而造成信号接触不良的风险，极大地提升系统可靠性。创新的固态硬盘液冷方案是通过内置热管的散热器把硬盘区域的热量导出与硬盘区域外的冷板通过导热垫片垂直接触实现换热。此固态硬盘液冷方案主要由装有散热器的固态硬盘模组，固态硬盘冷板，硬盘模组锁紧机构，及硬盘支架组成。硬盘模组锁紧机构固定在硬盘支架上提供合适的预紧力来保证固态硬盘模组和固态硬盘冷板的长期接触可靠性。为了方便硬盘冷板环路在狭小空间内的安装，硬盘支架在服务器深度方向采用了抽屉式的安装方式设计。相比业界已有的硬盘液冷尝试，此方案的先进性主要体现在：可支持30次以上系统不断电热插拔硬盘安装过程中对导热界面材料无剪切破坏
32、风险，锁紧机构的设计可以保证长期的接触可靠性液冷散热方案对加工工艺要求低，只需采用传统的风冷和CPU冷板加工工艺硬盘间无水设计，多硬盘可供用同一冷板，减少了接头数量，降低漏液风险可灵活适配不同厚度和数量的固态硬盘系统4.4.1PCle液冷方案PCIeZOCP卡液冷设计PCIe卡液冷方案是基于现有风冷PCle卡，通过开发一款可以与系统冷板接触的PCle卡散热模块来实现对光模块及PCle卡上主要芯片的散热。光模块的热量通过热管传导到与PeIe卡主芯片上的散热模块主体，散热模块主体与IO冷板通过合适的导热界面材料接触实现换热。液冷PCle卡主要由QSFP散热板夹子、PCle芯片散热模块及PCIe卡组
33、成。QSFP散热板夹子要设计合适的弹性量，确保与PCIe散热模块上的QSFP散热板和笼子配合实现光模块安装时的合适浮动量，以保证良好的用户体验，避免损坏光模块，并实现良好的接触稳定性而达到预期的散热效果。QSFP做热板夹子PCIe散热模块图7.PCle卡液冷模组4.20CP3. 0液冷方案OCP3.0JEJR0CP3.0卡液冷方案跟PClc卡类似，通过给OCP3.O卡定制一款液冷散热器，把卡上发热芯片热量传导到液冷散热器，最终通过散热器与系统I。冷板的接触把热量带走实现散热。OCP3.0液冷模组主要由散热器模块，0CP3。卡及其支架组成。锁紧机构由于空间限制采用了弹簧螺II,以保证液冷OCP3
34、0卡组装后散热器模块与IO冷板之间的长期接触可维性。Se.ocp3.0液冷IiUa考虑到后期维护的便利性及0CP3.0卡的多次热插拔需求，锁紧机构的设计和导热界面材料的选型也做了很多优化来提高整体方案的可靠性及运维的便利性。4.3Q冷板是具有多功能的冷板，不仅仅实现主板io区域内的发热部件的散热，也实现了液冷IO冷板方案PCle卡和液冷OCP3.0卡的散热.图9.10冷板图10.液冷PCIe卡，液冷OCP3.0及IO冷板位IO冷板主要由IO冷板主体和铜管流道组成。IO冷板主体采用铝合金材质，铜管主要承担冷却工质流道和加强散热的作用，具体设计需要根据主板布局及部件的散热要求进行优化。液冷PCIe
35、卡及液冷OCP3.0卡上的散热模块与IO冷板沿箭头方向接触。冷却工质流道材料的选型需要考虑与系统管路冷却工质及浸润材料的兼容性。5.电源冷板设计此10冷板液冷方案实现了多个部件在多维度的组装需求，铜铝材质的混合使用，解决了材料兼容性问题，保证散热效果，同时帮助减轻60%冷板重量并降低了成本。电源液冷解决方案是在现有风冷电源的基础上通过外接一个风液换热器来冷却PSU风扇吹出的热风，以减少系统对外界数据中心环境的预热。PSU后置换热器为多层结构，流道与鳍片相互叠加。PSU后置换热器的尺寸须在不影响电源线的插拔功能和满足系统机柜空间限制的条件下，平衡散热需求，重量及成本做出最优选择。PSU后置换热器
36、独立组装在节点支架上。EEiipsi后换热此创新的电源液冷解决方案，无须重新开发新的液冷专用电源，缩短开发周期，降低开发成本；良好的通用性可以灵活适配多家厂商的电源方案，比定制化液冷电源节约成本60%以上。针对于整机柜的应用场景，电源液冷还可以采用集中式风液换热器的解决方案，即对整机柜前后门进行封闭，在机柜底部布置一个集中式风液换热器，借助集中式结构替代PSu后置的分布式风液换热器结构。集中式风液换热器是由喷涂亲水涂层强化换热的铝制波纹翅片，配合高换热系数铜管组成的换热器，可在能够在10C温差下提供不低于8kW冷却能力；换热器流路仿真优化，在低阻下承载更多流量；具备防凝露设计和全方位漏液检测，
37、杜绝安全隐患。采用特殊的较链设计，满足高承重要求；同时卡盘式连接设计，方便安装，易于维护。按照单台全液冷服务器超过95%热量均由冷板解热，仅有不足5%热量需要风液换热器解热计算，单个节点仅有40-50W风液解热量，单台集中式风液换热器支持8kW换热量，可支持不低于150节点的电源风液散热，且成本远低于150个分布式风液散热器价格。利用该种方案，服务器电源可以不做任何改造，产生的热量在机柜后部由集中式风液换热器统一收集与热交换，同时该部分热量在机柜内形成自有循环，不会对机房环境造成任何影响，真正做到Rackasacomputer,。集中式风檄热器图12全海M蝴柜（含全液冷服务器集中式风微热国第四
38、章全液冷服务器冷板测试验证1 .测试项目介绍2 .测试结果分析1.测试项目介绍全液冷服务器冷板性能测试分别针对单机系统和整机柜系统进行测试，详细测试项目及介绍如下：1.1散热性能测试测试单台全液冷冷板服务器和全液冷整机柜系统在W32、W40与W45一次侧供液温度，服务器满载情况各个部件运行参数。1.2HCR溅式测试单台全液冷冷板服务器液体散热量比例。13流阻测试测试全液冷服务器冷板在不同流量及入水温度的流阻曲线。2.2.1单机系统测试测试结果分析(1)系统散热性能测试结果全液冷服务器系统散热性能测试按照最高散热设计目标二次侧供水温度51。C(W45),冷板系统在相应冷却工质单节点流量1.3LP
39、M进行，测试结果如下表：表6.系统热性能测试条件序号项目测试数据1冷板材料纯铜2冷却工质PG253进水温度51X(W45)4出水温度605环境温度246节点流量13LPM表7.嘏掘性能涌试结果序号部件加压读取功耗W温度规格C测试结果1CPU3508777/74(结温)2Memory12.485703VRO/110784VRl/110775PCH/86538SSD11.570659OCP/1055410QSFP/7556全液冷服务器系统散热性能测试结果表明满配系统在最差工况条件下：供水温度51匕和额定流量1.3LPM,所有的散热部件都满足部件的温度要求，并且还有十分安全的裕量。下图为CPU冷板测
40、试散热性能曲线：Flowraie(LPM)-PG25-CuCPPsi_d(CW)-kCPPD0(pa)（2）液冷热捕获效率（HCR）测试结果液冷热捕获效率（HCR）通常用来衡量液冷系统液冷散热效率，在全液冷服务器单系统热性能测试中收集相关数据，用下列公式计算HCR值：HCR=PJiquicVP-system*100%其中：Piquid指通过液体散发的热量P_sy$tem指液冷系统总功耗全液冷服务器液冷热捕获效率（HCR）测试结果如下图：H2O1.3LPMAIHCR(%)H2O1XPMCuHCR(%)APG251.2LPM-AIHCR(%)-Linear(H2O1.3LPM-AIHCR(%)-U
41、near(H2O1.3LpMCuHCR(%)Linear(PG251.2LPM-AIHCR(%)图14液冷HCR曲线全液冷服务器热捕获效率（HCR）测试结果表明：液冷热捕获效率（KR）与AT（系统供水温度和环境温度之间的差值）直接相关，该越小液冷捕获效率（HCR）值越高。在典型的液冷系统工作边界条件下：供水温度38C（W32）,空气环境温度359,液冷热捕获效率（HCR）大约93、左右。如果要达到HCR100%,则需要供水温度低于空气环境温度10,即供液温度降低至25。C左右，但在这种工况下，需要综合考虑结露的风险。26全港冷冷板系统叁考设计及蛉证白皮书3全液冷服务器系统流阻测试结果冷却工质P
42、G25和纯水在不同流量不同温度下全液冷服务器系统流阻测试结果如下图所示：PG25-51cPG25-46cPG25-38cPG25-27C-*-DIH20-51C-*H20-46o,C-*-H20-38C-*H20-27C全液冷服务器系统流阻测试结果显示工质PG25在相同温度和流量下比纯水流阻高205左右，同一工质温度越高流阻越低，PG25的流阻相比纯水对温度更为敏感。在51(进水温度1.31巾1流量条件下，采用冷却工质PG25和纯水的系统流阻分别是118kPa和99.6kPao2.2整机柜系统测试(1)系统散热性能测试整机柜系统散热性能测试采用前后封闭液冷机柜，配置3台液冷服务器，分别位于机柜
43、上中、下3个位置，每台液冷服务器含有4个节点，合计12个服务器节点。服务器节点去除分布式风液换热器，机柜底部配置集中式风液换热器，除服务器及风液换热器外，其余机架采用盲板结构封存，系统内外均无列间空调使用和运行。由于单节点已完成整机热性能测试，整机柜测试测试工况选择CDU二次侧供水温度工况38C(W32),集中式风液换热器连接一次侧供水工况32C(W32).测试结果表明在上述工况下，系统可正常运行。具体测试数据如下表：表&全液冷整机柜换热测试数据类型项目数据测试条件数据系统冷板的冷板节点数贵12冷却工质纯水风液换热器一次侧进水温度316CCDU二次侧进水温度37.8X整机柜CDU供水流量14.
44、9LPM整机柜集中式风液换热器供水流量2.9LPM测试环境温度35X风液换热器送风温度36测试结果数据风液换热器一次侧回水温度34.8CCDU二次侧回水温度48.1。C整机柜IT总功耗11.4kW风液换热器回风温度44.3服务器节点温度正常无超温（2）液冷树毓效率（HCR）测试结果针对于液冷热捕获效率（HCR）,相关计算数据如下：冷板液冷解热量：10.6kW,集中式风液换热器解热量：0.6kW,因此整体液冷解热量ll2kW,参考整机颗加耗ll4kW计舸得，HCR为98.2%。与单服务器在35C环境中进行测试相比，在全液冷机柜环境中，由于机柜前后门封闭，热量无法从服务器中逃逸至外部环境中，更容易被风液换热器进行捕获，因此系统HCR值更高。这也从另一个角度证明，在该种工作情况下，以全液冷整机柜（全液冷服务器+集中式风液换热器）为载体，可以最直观和容易实现系统无风扇全液冷.综合上述分析可得，全液冷服务器和全液冷整机柜系统可在满足服务器关键部件的散热的基础上，有效提升系统液冷占比，在规定的冷却工质流量及温度的条件下，实现100%的液冷散热，整体设计与测试均能互相验证并满足要求.第五章铝冷板全液冷方案设计与测激鲤1 .铝
