《新一代核心交易系统网络底座建设实践.docx》由会员分享，可在线阅读，更多相关《新一代核心交易系统网络底座建设实践.docx（10页珍藏版）》请在课桌文档上搜索。
1、新一代核心交易系统网络底座建设实践一、挑战与目标数字化转型背景下，证券行业核心交易系统面临四大挑 战：一是高可用。目前，证券行业正处于持续发展阶段，无 论客户还是监管部门，都对证券公司核心交易系统的高可用 能力提出了极高要求，这就意味着对核心交易所在的基础架 构底座提出了更高要求。二是高吞吐。伴随证券市场的蓬勃发展，2015年国泰君 安在“大行情”时的交易峰值达到了每秒5. 2万笔；到2022年, 国泰君安的客户数量已达千万级，是2015年的3倍，“大行 情”时的交易量也迎来了更高的峰值。三是低延时。证券市场交易永远追求超低延时，虽然目 前国泰君安的集中交易生产环境委托单笔延时仅为30毫秒,
2、但依然无法充分满足部分投资客户的实际需求。四是高安全。目前，集中交易系统大多使用WindOWS操 作系统、SQL SerVer商用数据库和CiSCO网络设备，在全力 推动数字化转型的大背景下，亟须在下一代核心交易系统建 设中采用我国自主创新的操作系统、数据库以及网络设备。针对上述难点，国泰君安于2018年开始自主研发新一 代低延时分布式核心交易系统，并于2021年试点投产。新系 统在高可用、低延时以及大容量等方面均对基础网络环境提 出了更高要求。例如，在高可用方面，要求同城双中心高可 用网络集群故障或服务器故障自动切换RT010秒、RPO=O; 主备数据中心切换RTO1分钟，RPO=O;异地容
3、灾中心切换 RTO5分钟，RP(Xl分钟。在低延时方面，新系统要求委托上 行时延小于2毫秒，系统内部回路时延小于40微秒。在大 容量方面，新系统要求25G接入与40G汇聚，且接入设备最 大组播量在IOK以上，核心设备最大组播量在20K以上。二、技术选型国泰君安集合应用开发团队、系统运维团队、技术架构 团队等骨干力量组成专项技术攻坚小组，在技术选型阶段针 对市场上多款交换机产品进行了详细的对比测试，全面覆盖 了功能测试、组播测试及可靠性测试等内容。具体实践中， 攻坚小组通过专业测试仪打流，确认待测设备的交换容量和 包转发率均满足要求，之后对VLAN、MAC地址、IP路由、虚 拟化等功能以及组播路
4、由协议、组播特性及组播容量等进行 了详细测试，确认有两款产品可满足要求。在此基础上，攻坚小组开展了多项破坏性测试，例如在 设备高负荷运行时，将部分电源及风扇强制拔出，以确认设 备的高可用性满足要求，同时针对核心交换机与接入交换机 在二层网络及三层网络的单播和组播等多个场景，对时延进 行了深入测试，确认了各款产品的具体时延。经过严格的PoC 测试和技术选型，国泰君安最后选择了一款高性能核心交换 机作为新一代核心交易系统的网络底座，并于2021年在两 地三中心建设完成了新一代高性能核心交易系统。三、路由设计对新一代核心交易系统而言，其核心交易网络主要涉及 来安路、金桥和南方三个数据中心（如图1所示
5、），其中，来 安路数据中心是国泰君安的生产主中心；金桥数据中心是在 上交所租用的托管机房，定位是同城双活及灾备中心；南方 数据中心是在深交所租用的托管机房，定位为异地灾备中心。南方数据中心来安路数据中心图1国泰君安核心交易网络在实际运行中，每个数据中心的网络架构均为“核心交换 机+接入交换机的模式。来安路数据中心与金桥数据中心采 用两条IOG裸光纤互联，南方数据中心分别采用了 IOG和 2. 5G的专线连接来安路数据中心和金桥数据中心，且每个中 心均部署了全套交易组件，支持独立运行。此外，整个网络 通过VPN-Instance实现逻辑隔离，并在每个数据中心的核 心交换机配置三层互联接口，在互联
6、接口为每个域划分了子 接口，子接口与VPN-InStanCe绑定。在路由设计方面，数据中心之间使用BGP路由协议互联 互通，使用Loopback 0作为BGP的Router-ID,通过子接口 的互联地址建立BGP邻居关系，负责将该域在数据中心的业 务网段以及BGP的Router-ID. Anycast RP的Local地址等 信息，通过NetWork发布进对应的BGP-VPN实例地址簇，进 而实现每个域在数据中心之间的路由学习。值得强调的是, 由于金桥数据中心和南方数据中心之间距离较远，而BGP的 收敛能力仅为秒级，难以满足低时延网络要求，故国泰君安 在网络中专门配置了 BFD来提供毫秒级的检
7、测精度，以快速 识别故障并触发BGP路由的收敛，从而确保业务连续性。四、组播设计新一代核心交易系统的各应用组件在同城数据中心之 间使用组播实时同步，并支持在同步完成后通过单播发送给 南方数据中心进行备份。在此过程中，上海同城数据中心互 联接口开启PIM-SM,数据中心内部在各组件的网关地址下开 启PIM-SM以及IGMP V3功能，以满足组件之间的业务访问 需求。同时，为增强PIM-SM中RP节点的可靠性，上海两个 数据中心配置了 PIM Anycast RP,且每个数据中心核心交换 机均配置了相同的RP地址，RP地址间通过Loopback地址建 立对等体关系，从而实现组播源就近注册和接收者就
8、近加入, 既能缓解单个RP的负担，也可实现RP备份，同时优化了转 发路径。PIM AnyCaSt注册过程如图2所示。在二层网络中，为 防止组播流量泛洪对带宽造成影响，所有连接服务器的交换 机通常会配置IGMP Snooping,通过侦听三层组播设备和用 户主机之间发送的组播协议报文来维护组播报文的出接口 信息，进而管理和控制组播报文在数据链路层的转发过程。 通过组播技术，新一代核心交易系统的数据传输效率整体提 升了 5倍以上，目前核心交换机的组播表项已达8900个。1.2.核心1与核心2之间建立PIM Anyca组播成员先点播组播，忽略接入设13 .组播源注入组播流量，源端DR向核4 .核心1
9、向PlMAnyCaSt对等体发送Pl5 .核心2将PlM注册解封装，转发内层6 .若核心2无对应组播流点播信息，贝!RegisterJSit7 .成员DR收到组播流量后，按照SPr图2 PIM Anycast注册过程五、模块化部署在部署设计方面，来安路数据中心的每个机柜额定功率 为5kW,按照每台服务器功率不超过40OW计算，每个机柜可 放置12台服务器。基于此，国泰君安将3个机柜作为一个 标准模块，并为每个模块配置一对接入交换机，可同时支持 48台服务器的双网卡接入。此外，每个机柜中同时部署交易 节点、外部接入群集、数据库群集、控制群集等各类业务组 件，通过将每个节点中各组件的主备节点部署在
10、不同的标准 模块中，确保即使某对接入交换机同时发生故障，组件的整 体处理能力亦不会受到太大影响，从而可最大程度保证系统 可用性。对于同城灾备中心及异地灾备中心而言，因托管机房对 单个机柜的电量限制，导致每个机柜部署的服务器数量会相 应减少，故金桥数据中心以4个机柜作为一个标准模块，而 南方数据中心则是以5个机柜作为一个标准模块。六、整网性能指标新一代核心交易系统部署完成后，同城双中心的网络集 群中任何一台设备故障对系统均不会造成影响，且标准模块 下的网络设备发生故障时，应用亦可实现平滑切换。在时延 方面，新一代交易系统网络满足了业务委托上行时延小于2 毫秒，系统内部处理时延小于40微秒，查询时
11、延小于100微 秒，单笔时延小于200微秒，速度提升10倍以上。在容量方 面，系统通过压测整体达到每秒30万笔交易，并且支持后期 根据业务需求进行水平扩展。经过应急演练验证，主备数据 中心切换RTo1分钟、RPO=O,异地灾备中心切换RTO 5分 钟、RP(Xl分钟，可用性高达99.999%。目前,国泰君安近400 家营业部已经全部切换至新一代核心交易系统，新平台承载 T 1500万零售客户交易。国泰君安新一代核心交易系统成功上线，代表新一代分 布式低时延架构在中国证券公司核心交易领域取得了重大 突破，不仅标志着千万级账户规模的证券公司零售交易系统 正式从以数据库为中心的大集中交易系统时代，走向以消息 处理为核心的新一代分布式低时延交易系统时代，更是标志 着金融核心系统自主创新方案的不断成熟，推动网络设备应 用从测试网、办公网逐步走向了最核心的交易网，进而为后 续全面创新转型积累了宝贵经验、增加巨大信心。
