《5G网络承载的超高清视频质量测试方法.docx》由会员分享,可在线阅读,更多相关《5G网络承载的超高清视频质量测试方法.docx(17页珍藏版)》请在课桌文档上搜索。
1、团体标准T/GZGQXXXX-20245G网络承载的超高清视频质量测试方法MeasureMethodforUltraHighDefinitionVideoQualityCarriedby5GNetwork(征求意见稿)2024-XX-XX 发布2024-XX-XX实施广州超高清视频产业促进会发布前言-4-5G网络承载的超高清视频质量测试方法-5-1. 范围-5-2. 规范性引用文件-5-3. 术语和定义-5-3.1 AAA服务器-5-3.2 时延delay-5-3.3 带宽-6-3.4 丢包Packetloss-6-3.5 5卡顿Stuck-6-3.6 吞吐量Throughput-6-4. 略
2、缩语-6-5. 指标要求-7-5.1 用户QOS指标测试-7-5.2 用户QOE指标测试-7-6. 测试条件-7-6.1 测试网络架构-7-6.2 测试设备-8-7. 测试方法-9-7.1 eMBB场景下超高清视频直播业务传输时延测试-9-7.2 URLLC场景下视频业务传输时延测试-H-7.3 7.3超高清视频业务业务吞吐量测试-12-7.4 5G超高清视频用户客观QoE测试-13-7.5 5G超高清视频用户主观QoE评价-14-3-随着5G技术与大视频业务的协同发展,受5G网络传输能力和速率的影响,当今的视频内容生产和消费可以实现更高质量的传输和播放,在移动端随时随地浏览高分辨率、高帧率H
3、FR、高动态HDR品质视频,成为视频消费升级的主流方向,这使得未来传统视频还有望逐步向超高清、沉浸式、交互式、VR/AR等空间视频演进。本标准主要针对超高清视频直播、超高清远程会议等超高清视频+5G典型应用,参照ITU-TRcc.G.IOll和RFC2544标准文件,结合超高清视频在5G网络承载下的实际应用编制。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由广州超高清视频产业促进会归口。本文件起草单位:工业和信息化部电子第五研究所、中国移动通信集团广东有限公司广州分公司、中国广电广州网络股份有限公司、广州柯维新数码科技有限公司、中山大学、超讯通信股份有限
4、公司等本文件主要起草人:。5G网络承载的超高清视频质测试方法1 .范围本文件规定了5G网络承载的超高清视频质量测试方法。本文件适用于视频直播、视频会议等5G超高清视频典型削BB、URLLC业务,其他超高清视频应用可参考使用。本文件中的技术内容包括测试设置信息、设备配置要求、测试方法以及测试评价依据。测试和测量的具体制造商信息未包含在本文件中,除非选择或使用替代设备可能会对测试结果产生负面影响。2 .规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
5、ITU-TRec.G.IOl1(06/2015)Referenceguidetoqualityofexperience(QoE)ITUTG.1011建议书(06/2015)用户体验质量评估方法参考指南RFC2544BenchmarkingMethodologyforNetworkInterconnectDevices网络互连设备的基准测试方法3 .术语和定义下列术语和定义适用于本文件。3.1 AAA服务器指认证(Authentication)服务器、授权(AUthoriZation)服务器和计费(Accounting)服务器的统称,负责集中管理用户信息。3.2 时延delay时延是指数据从网络
6、的一端传送到另一端所需的时间,即通过网络设备或通过网络并返回测试端口时处理和传播延迟的总和。3.3 带宽指在单位时间内从网络中的某一点到另一点所能通过的最高数据率,反映通讯线路所能传送数据的能力。3.4 丢包Packetloss指系统在一定的负载下,一个或多个数据数据包从源成功传输但从未在目标位置接收到数据帧。3.5 卡顿Stuck指由于丢包导致在视频播放过程中出现的停顿、不流畅的现象。3.6 吞吐量Throughput指DUT在不丢包的情况下,在单位时间内能够处理或传输的最大数据量,以比特率或数据包速率来衡量,反映网络设备的处理能力和网络的负载能力。4 .略缩语下列术略缩语适用于本文件。eM
7、BB增强移动宽带(EnhanCedMobileBroadBand)mMTC大规模物联网(massiveMachineTypeofCommunication)uRLLC超高可靠超低时延通信(Ultra-ReliableLowLatencyCommunications)MCU主控单元(MicrocontrollerUnit)RU远端接入单元(RemoteUnit)GW小基站网关(Gateway)NFV网络功能虚拟化(NetAVorkFunctionVirtualization)SeGW安全网关(SeCUreWebGateway)HNMS小基站网管设备(HomeNodeBNetworkManagem
8、entSystem)QoS服务质量(QualityofService)QoE用户体验质量(QUalityofExperience)SLA服务水平协议(ServiceLevelAgreement)DMRS解调参考信号(DeModUIationReferenceSignal)5 .指标要求5.1 用户QoS指标测试用户QoS反映用户使用网络服务时的客观评价,表1为用户QoS参数要求。表1用户QOS指标测试要求指标测试要求描述网络架构5G分布式开放网络架构通信频段2.6GHz、3.5GHz、4.9GHz毫米波频段天线配置2T2R射频指标满足3GPP38.104相关指标要求发射功率2.6GHz和3.5
9、GHz频段支持2T2R、2*250mW4.9GHZ频段支持2T2R、2*500mW亳米波频段支持有源天线系统EIPR不小于40dBm应用场景类型视频直播、视频会议业务类型典型eMBB业务、典型URLLC业务时延指标2.6GHz、3.5GHZ以及4.9GHZ频段下:对典型eMBB业务,用户面时延(单向)不高于4ms对典型URLLC业务,用户面时延(单向)不高于Ims、控制面时延不高于IOmS系统吞吐率指标不低于2Gbps5.2 用户QOE指标测试用户Q。E反映用户观看视频体验,表2为各业务场景下用户QOE指标要求。表2用户QoE指标要求指标类为指标名称指标要求值用户客观QoE指标视频直播初始时延
10、播放时长的2%视频整体卡顿率播放时长的5$视频会议视频整体卡顿率会议时长的5强音画分离次数5次用户主观QoE指标用户主观反馈平均评分4.75(满分5分)6 .测试条件6.1 测试网络架构基于PC802芯片的5G开放网络架构系统,其前传、射频模块高度集成在RAP远端模块盒中,满足分布式室内架构的需求,同时支持多模、多业务的需求。其中,1、5G小基站需支持eMBB、URLLC、刷TC三种业务的敏捷切片技术,可覆盖2.6GHz、3.5GHz、4.9GHZ三个通用5G频段及毫米波频段;2、分布式数字化小基站应包括三部分:MCU.ECU(可选单元,本测试中未作考虑)、RU;3、硬件平台应支持NFV,可根
11、据用户需求自由网络分片,对CU、DU等模块进行分片和重组。系统架构的网络侧设备需具备:GW,包括信令和媒体网关;SeGW;AAA服务器;4、HNMS;路由器及其他辅助连接设备等,充分支持小基站数字化室内分布式布设。6.2 测试设备所需测试设备如表2所示。表3测试设备列表序号设备名称设备数量15GCPE125G分布式基站DU135G分布式基站CU145G室内AAU155G核心网164K/60超低延时视觉无损发送器274K/60超低延时视觉无损接收器28亳米波发射天线SiVerS19亳米波上下变频器TMYTEKUDBOX110UBX射频子板1114K超高清显示屏412频谱仪113合路器314全千兆
12、云管理POE交换机115USRP216光交换机27 .测试方法QoS监测包含:典型eMBB场景下超高清视频业务传输功能测试、典型URLLC场景下数据业务传输时延测试和视频业务吞吐量测试。QoE保障与测试评估针对直播与会议应用领域,主要包含:超高清视频直播质量测试、超高清视频会议质量测试。7.1.1 eMBB场景下超高清视频直播业务传输时延测试7.1.2 1.l概述对于超高清视频直播业务等典型eMBB场景下用户面传输时延,采用对比视频帧行号差别的方法来计算。在发射端通过压缩并发送超高清直播码流,接收端核心网侧接收并解压,并于接收端4K超高清显示器2中显示接收到的视频。7.1.3 测试框架图2视频
13、直播业务传输时延测试框图7.1.4 测试方法采用对比视频帧行号差别的方法来计算典型eMBB场景下用户面传输时延。(1)参照图2连接测试链路,并给设备加电;(2)配置各设备IP地址,配置示例见表4;表4IP地址配置示例设备名称IP地址5GCPE192.168.1.99/24接收端上位机192.168.1.44发送端上位机电脑172.20.0.44分布式基站-MCU172.20.O.IlO5G核心网172.20.0.180(3)配置5G室内AAU输出信号频段(如:3.5GHZ),并通过频谱仪观测并拍照记录信号发射频谱,论证系统所发射信号满足CMBB场景要求;(4)通过CPE网管系统配置CPE,同时
14、在核心网处通过指令socatUDP4-LISTEB:10002,reuseaddr,forkUDP4:20.0.x.x:10002”设置下行报文转发规则,其中“20.0.x.x”为核心网为5GCPE分配的IP地址;(5)建立通信链路后,在发送端上位机打开WindowsPowerShell,在指令行处输入“ffplay.exe-video_size3840x2160-framerate60-ixxx.yuvv,播放带有视频帧号的超高清测试视频;2222222222222222222233333333333333333333OoooooooooooooooooooOoooooooooooooooo
15、ooo图3带有帧号的超高清测试视频(示例)2222222222222222222233333333333333333333OoooooooooooooooooooOooooooooooooooooooo表5指令参数及描述参数参数描述-video_size3840x2160表示该视频为4K超高清视频流-framerate60表示视频刷新率为每秒60帧xxx.yuv播放的视频源名称图3为超高清视频示例图,每帧图像的左右两边带有相应的帧号。(6)观察发送端4K超高清显示器1与接收端4K超高清显示器2之间的视频传输情况。通过拍照获取同一时间点两个4K超高清显示器中所显示的图像帧行号刷新的位置差异,记录
16、接收端图像帧行号刷新相对于发送端延时的行数差(单位:行)和图像帧刷新速度A(单位:帧/每秒),且每帧对应20个图像帧行号,则传输时延心厢为:100O(1)tdy=*n(侬)(7)根据步骤(1)-(4),重复20次测试,取平均值。7.2 URLLC场景下视频业务传输时延测试7.2.1 概述在发射端,通过利用第三方测试仪器模拟终端传输短报文数据的方式,模拟典型URLLC场景下用户面业务传输流程,测试典型URLLC场景下用户面传输时延。7.2.2 测试框架图4 URLLC场景下视频业务报文数据时延测试框图取务M效业包7.2.3 测试方法(1)参照图4连接测试链路,并给设备加电;(2)采用支持PTP协
17、议的服务器,给模拟终端、5GRAN以及5G核心网等完成时间同步;(3)在此测试过程中,CPE已经完成了注册流程,通过在模拟终端操作界面中输入指令产生http数据业务报文,并向5GRAN及5G核心网侧发送;(4)当通信链路建立时,通过使用上位机分别在在模拟终端和5G核心网侧抓取短报文数据包,记录下模拟终端发送报文的时间七和核心网侧接收到报文的时间t2t则最终该系统典型URLLC场景下用户面传输时延为:delay(2)(5)根据步骤(1)-(4),重复20次测试,取平均值。7.37.3超高清视频业务业务吞吐量测试7.3.1概述7. 3.2测试框架图5视频业务吞吐率测试测试5G分布式开放网络系统的视
18、频业务吞吐率,通过传输两路压缩后4K超高清视频流数据(压缩后每路下行视频数据码流大小为840MbPS)验证所搭建5G分布式网络架构系统吞吐量不小于2Gbpso7.3.3测试方法(1)参照图4连接测试链路,使用U5G-UE2006作为5GCPE,采用AAU+DU+CU的5G室内分布式基站作为5GRAN,使用IK5GC2服务器作为5G核心网,并给设备加电;(2)通过上位机电脑,参照表6配置各设备及5G核心网IP地址;表6IP地址配置示例设备名称IP地址上位机电脑10.0.1.100/245G核心网10.0.1.10/24超低时延视频无损发射器110.0.1.110/24超低时延视频无损发射器210
19、.0.1.111/24超低时延视频无损接收器110.0.1.112/24超低时延视频无损接收器210.0.1.113/24(3)视频业务传输仅占用5G分布式开放网络系统下行业务资源的情况下,参照表7进行配置:表7其他网络配置示例配置名称配置要求帧结构配置DDDDDDDSUU其中,D为下行时隙、S为特殊时隙、U为上行时隙。特殊时隙中时隙配比下行:保护间隔:上行二6:4:4此外每个上行、下行SlOl中包含一个DMRS上、下行调制及发送方式256QAM、Layer=2(4)当通信链路建立时,观察发送端4K超高清显示器1、2与接收端4K超高清显示器3、4之间的视频传输情况。a)若发送端4K超高清显示器
20、1、2与接收端4K超高清显示器3、4之间视频能够实现正常同步放映,则可认为所搭建5G分布式开放网络系统吞吐率不小于2Gbpsob)若4K超高清显示器3、4无法实现正常视频显示,则在存在错包/丢包情况。7.45G超高清视频用户客观QoE测试7.4.1. 概述影响5G超高清视频用户体验的主要指标有视频播放时的时延、视频的卡顿情况等。影响用户观看视频会议时QoE的主要指标有视频会议的卡顿情况、会议开始时的画质以及视频会议音画分离的程度。7.4.2. 超高清视频直播客观评价方法(1)在5G超高清视频框架下,通过工程机接入测试网络。(2)改变系统设置,让视频在播放前出现Is、3s的时延(时延同样会计入卡
21、顿时长),并控制视频码率为50Mbps以及100Mbps。(3)分别记录卡顿比例,记录格式见下表。表8超高清视频直播测试结果视频类型时延(s)带宽(Mbps)卡顿率10%原始无损视频3e3840有损视频155010035501005550100(4)计算平均视频整体卡顿率和初始时延。7.4.3. 超高清视频会议客观评价方法(1)在5G超高清视频框架下,通过工程机接入测试网络。(2)改变系统设置,让视频在播放前出现ls3s5s的时延(时延同样会计入卡顿时长),并控制视频码率为5Mbps、50MbPS以及100MbPs,让超高清视频会议出现卡顿、音画不匹配等问题。(3)分别记录卡顿比例和音画分离次
22、数,记录格式见下表。表9超高清视频会议质量测试结果视频类型时延(s)带宽(Mbps)卡顿率音画分离次数10%10原始无损视频3/840有损视频155010035501005550100(4)计算平均视频整体卡顿率和平均音画分离次数7.55G超高清视频用户主观QoE评价7.5.1. 概述评价用户观看视频直播时QoE直接反映了用户观看时的主观感受,7.5.2. 测试系统设置通过改变测试系统设置,让视频在播放前出现不同时延和视频码率。其中,码率的选择基于通过网络传输高清视频的常用参数。表10参数名称描述业务场景视频直播、视频会议等时延ls3s、5s带宽100Mbps、50Mbps、5Mbps7.5.
23、3. 主观评分标准评分为1-5分,评分标准如表8所示。表11QoE主观评分标准分数评分标准1体验很糟糕2体验较差3体验一般4体验较好5体验很棒7.5.4.5G超高清视频直播用户主观QOE测试方法(1)在4K屏幕中播放不同时延、不同比特率的测试视频,每条测试视频长度为20s。(2)测试员观看视频,并对不同视频直播的主观感受进行评分。(3)记录下测试员对每个视频的评分,得到每个视频的用户主观得分,评分表格式见表13o表125G超高清视频用户主观QoE评分表视频类型时延(s)带宽(Mbps)QoE评分MOS12345原始无损视频3e3840有损视频1550100355010055501007.5.5.5G超高清视频会议用户主观QoE测试方法(1)测试员在4K屏幕前接入视频会议,每次接入1分钟。(2)会议过程中,固定的主持人宣读相同的话以测试视频的音画效果。(3)测试员针对不同带宽、不同延迟下的视频会议进行评分,来衡量视频会议质量和用户体验,评分表格式见表13。