3GPP XR相关标准调研

​Labs 导读

3GPP的全称是3rd Generation Partnership Project，中文叫第三代合作伙伴计划，成立于1998年12月，多个电信标准组织伙伴共同签署了《第三代伙伴计划协议》，最初的目标是为了制定3G技术规范。其制定的3G和4G技术规范现在都是全球通用的标准，当前5G技术方案的研究制定正在进行中。

3GPP解决的是移动通信相关的问题，满足传输内容和交互方式快速发展引入的新的网络需求。3GPP制定的标准规范以Release作为版本进行管理，平均一到两年就会完成一个版本的制定，目前已经发展到Rel-18。中国通信标准化协会CCSA是其七个标准化组织成员之一。

图1 3GPP 的简介（3GPP演示文稿）

移动通信端到端系统通常划分为终端、无线接入网、核心网和业务等四个子系统，缺一不可。3GPP工作组分为三大TSG（技术规范组），包括RAN（无线接入网），SA（服务与系统），CT（核心网和终端），下设若干工作组（WG），具体参见表1。

表1 3GPP 工作组划分（3GPP 官网）

3GPP中负责多媒体相关标准制定的是TSG SA（Service and System Aspects）的第4个工作组（SA WG4 Codec），媒体和编解码工作组，简称SA4。制定用于多媒体业务相关的语音、音频、视频、图形和其他媒体类型的编解码器的规范，定义单播、组播和广播流的内容格式和传输协议，扩展云计算和边缘计算架构，包括媒体API、媒体处理、体验质量指标、流量特性的定义等。本文重点针对SA部分的相关规范，无线部分只做整体浅显的解析。

当前3GPP的规划的是5G相关的标准，整体看分为两个大阶段，R15/R16/R17这三个版本是5G演进的第一阶段，之后的R18/R19/R20这三个版本是5G演进的第二轮创新，也就是5G-Advanced。

在5G演进的第一阶段中，Rel-15是5G的基础标准，于2019年冻结，重点满足增强移动宽带（eMBB）和基础的低时延、高可靠（URLLC）应用需求。

Rel-16是5G的完整标准，于2020年冻结，主要聚焦于eMBB的增强，低时延、高可靠能力的完善，关注垂直行业应用及整体系统的提升，如面向智能汽车交通领域的5G V2X、面向IIoT领域的时间敏感联网等5G NR能力，以及定位、MIMO增强、功耗改进等系统性的提升与增强。

Rel-17是5G的增强标准，于2022年冻结，面向5G XR、新型物联网等新业务需求，重点引入了许多全新的特性和技术，比如Redcap终端、上行覆盖增强、动态频谱共享、多播广播业务、多卡技术、卫星5G网络、卫星 NB-IoT物联网、下行1024QAM、定位增强、MIMO技术进一步增强（FeMIMO）、节能增强、URLLC增强、CA/DC增强、辅链路通信增强、无线切片增强等。在Rel-15到Rel-17，3GPP已将5G从一系列愿景和流行语通过规范标准使能落地为强大的新移动通信环境，并在全球推广。

当前Rel-18已经启动，标志着5G进入第二阶段5G-Advanced，当前首批课题成功立项。除了传统的移动通信业务外，还包括工业和垂直服务相关的移动通信能力。Rel-18将考虑新技术和社会发展，例如环境要求、人工智能、XR等，继续推进5G的发展。

图2 3GPP 5G各阶段示意图[6]

XR内容作为新的传输媒体和新的交互形式的代表，是3GPP新需求研究的重点内容。下面我们一起了解3GPP XR相关规范的进展。

扩展现实（XR，eXtended Reality）是5G/5G-Advanced中需要引入的主要创新之一，XR包括AR（Augmented Reality，增强现实）、VR（Virtual Reality，虚拟现实）和MR（Mixed reality，混合现实），应用涵盖了健康、教育、娱乐、工业等领域（进一步了解XR）。增强现实、虚拟现实和混合现实的结合，再辅以云游戏，重新定义了人类与计算机、与网络以及人类彼此之间的互动方式。5G网络具备大带宽和低延时特性，将极大的促进业务的发展，然而对XR服务的有效支持给无线网络的发展也带来了新的挑战。从5G的第一个版本版就开始考虑如何更好在5G中交付XR应用。

相比传统的媒体业务XR有独特几个特性，首先作为可穿戴的移动设备要求外形轻薄且具有高续航能力，因此对能耗和算力有严格的限制，导致XR设备需要其他节点的协助，如边缘计算。第二，XR服务需要协同一个/多个下行链路(DL)视频流和上行链路(UL)中的运动/控制数据频繁更新紧密同步。最后，XR具有高流量和低延迟的特点。

图3 3GPP XR 典型用例[8]

如上图，3GPP XR 有三组典型场景：

虚拟现实（VR）：用户完全沉浸在超越现实世界物理存在感的虚拟世界。现代VR服务通常是通过优化的视口依赖的流媒体(VDS)来启用的。VDS是一种自适应流媒体方案，它使用网络状态和用户姿态信息来调整3D视频的比特率和内容。 

增强现实（AR）：AR是将虚拟对象与现实世界的实时三维视图合并，为用户提供虚实结合的交互环境。因而用户位置和视角（FOV）的定位跟踪很重要。当前主流解决方案是Inside-out的方式，通过AR设备的摄像头对惯性测量（IMU）设备的定位做补充。因此，AR需要将视频连续上传到XR服务器，通过IMU姿态跟踪+同时定位和建图(SLAM)来定位用户，在此基础上生成一个增强的3D场景，并渲染回传到用户设备。

自由度的云游戏：云游戏是指在云服务器上执行的一个交互式游戏应用程序。服务器根据用户设备发送的控制命令生成一个2D/3D场景序列作为视频流。对于XR云游戏，控制信号包括手持控制器输入和3/6个自由度运动数据。支持多个玩家可以参与同一个游戏环节。云游戏中生成的视频流依赖于用户的操作，因此，需要在UL中频繁更新运动/控制数据。

2.1 Rel-15 XR相关内容分析

3GPP Rel-15是对5G基础功能的定义。因此XR业务场景涉及内容相对比较基础，主要是以VR为代表的基本流媒体服务技术规范。‍

• VR流媒体服务的客户端架构和API定义；
• 一组操作关键点，涵盖从 Carboards 到高端系列HMD头显的各种设备功能；
• 媒体配置文件的定义，操作点到 DASH 交付的映射；
• 添加系统元数据以支持在 2D 屏幕上渲染 360 度体验，包括没有姿势信息的渲染方面。

并给出了5G传输XR的参考架构，见下图，为R16的进一步研究做好了铺垫。

图4 Extended Reality over 5G- Reference architecture under consideration（3GPP演示文稿）

Rel-16 XR相关内容分析从Rel-16开始XR逐渐成为5G标准中的重要内容，包括媒体流架构、沉浸式语音及音频编码、XR业务、直播上行链路媒体流（LUS，Live Uplink Streaming）、用户产生多媒体内容（例如多媒体消息业务MMS）等各方面持续研究和制定规范。本版本XR主要考虑的是业务应用场景的支持，在空口方面，复用原有支持时延敏感性业务的设施。VR产业发展整体比AR领先，因此在R16率先定义的是关于VR视频流媒体相关的标准。为5G赋能XR做了详细调研，梳理XR关键点、规范XR概念、梳理XR共性需求以及定义业务场景。

相关规范：

表2 Rel-16 SA XR相关主要规范列表

• TR26.918 主要包含VR音视频内容制作流程、VR业务用例、VR音视频质量评估、差距分析和备选解决方案等。
• TR26.891 中描述了5G网络上的3DoF/6DoF VR视频、VR游戏和AR应用。360度全景VR的用例有：不同视角的事件现场广播、VR点播/直播、社交VR、VR电话和在线教育等。
• TS26.118 定义了VR 360流媒体服务的互操作点。VR DASH流媒体应用的客户端参考体系结构等。
• TR26.928 是XR通用业务的QoE、分发、渲染、编解码、媒体格式等内容，还详细描述了23种XR用例，例如3D图像消息、AR分享、沉浸式6DoF媒体流、实时3D通信、6DoF VR会议、在线VR游戏等。主要内容总结见下图。

图5 TR26.928 内容简介

这个标准更像调研报告，目标是梳理需求，实现在5G系统中交付XR，内容全面且丰富，参考价值很大，涵盖了XR概念、关键技术、关键场景的梳理，以及提供了很多量化指标，其中对设备类型也做了详细分类如下图。

图6 TR26.928 设备类型定义

图7 TR26.928 XR设备云和边缘的处理

2.2 Rel-17 XR相关内容分析

在VR领域在前一个版本的基础上为提升用户体验，SA部分的规范主要是在边缘计算、沉浸式语音及音频编码方面进一步提升。SA1（应用场景的探索）、SA2（QoS KPI探索定义）、SA4（媒体方面）、SA6（设施边缘计算边缘云） 模型 QoS 时延特性等。

针对XR业务场景，RAN设施在用原支持时延敏感性业务的基础上，增加一些调度的增强，如调度增强、资源分配增强，采用基站预先分配一些资源等。基于“轻终端+宽管道+边缘云”的模式降低VR/AR对移动终端配置要求的门槛，摆脱有线的束缚，推动XR应用普及。R17评估这种边缘云+轻量化终端的分布式架构，并优化网络时延、处理能力和功耗等。

下面先分析TSG SA组相关的内容。相关规范：

表3 Rel-16 SA XR相关主要规范列表

TR26.998 AR/MR服务的设备外形尺寸应该更接近典型的眼镜的体验，与典型的智能手机相比组件的物理空间更小。这种物理限制降低了 AR/MR 设备的媒体处理和通信能力，在某些情况下，需要设备将某些处理功能由绑定的主机设备/服务器提供。本报告解决了将此类新设备(5G Glass)集成到 5G 系统网络中的问题，并确定了支持 AR 眼镜和 5G 中的 AR/MR 体验的规范的潜在需求。在此介绍其中媒体访问功能和AR会话的通用流程。

媒体访问功能支持AR UE访问和流媒体。为此，如下图所示的媒体访问功能包括：编解码器：用于压缩和解压缩富媒体。内容交付协议：UE和网络之间交付媒体内容的容器格式和协议。包括计时、同步、可靠性、报告和其他功能。5G 连接：允许UE连接到5G网络并访问功能和服务。媒体会话处理程序：设备上用于设置5G系统功能的通用功能。这可以设置边缘功能、提供 QoS 支持、支持报告等。内容保护和解密：授权播放。

图8  TR26.998 AR媒体访问功能

规范还提供了AR会话的通用流程，如下图所示。步骤摘要：应用程序请求应用服务提供者以获取内容的入口（如URL）；应用程序初始化场景管理器；建立一个AR场景会话；场景管理器解析内容并创建沉浸式场景...

图9 TR26.998 AR 会话的基本工作流程

规范中还有很多编解码、交互、会话等细节定义。

TR26.999 内容是基于R16 TS26.118中的定义，提供了参考测试材料和测试结果，以提高TR26.118中技术的可用性。涵盖了VR全景视频从采集到互动体验全流程的重要参考信息。

在无线（RAN）方面，为了更好交付XR等业务定义了Redcap终端场景，主要是为满足可穿戴设备、工业无线传感器、视频监控等类业务，他们的网络能力需求介于eMBB、uRLLC和mMTC能力之间的业务需求。XR业务相关设备如AR/VR眼镜等就是典型的可穿戴设备场景。

众所周知，5G eMBB支持载波带宽100MHz以上，峰值速率可达10Gbps；uRLLC支持毫秒级时延和超高可靠性；而mMTC由4G时代的NB-IoT和eMTC演进而来，主要支持带宽小于1.4MHz、速率低于1Mbps的低速率、低成本、低功耗的物联网连接。

表4 RedCap 三类终端对网络能力的需求[4]

但从上表不难发现，可穿戴设备、工业无线传感器、视频监控等用例的网络能力需求介于eMBB、uRLLC和mMTC能力之间。因此，为了匹配对速率、设备成本和电池寿命等要求介于eMBB、uRLLC和mMTC之间的这些用例，3GPP在R17版本中定义了对RedCap NR设备的支持。

图10 5G NR 技术演进示意图[4]

2022年6月9日结束的3GPP RAN第96次会议上，3GPP R17标准宣布冻结，标志着5G第一阶段的标准正式完成。

2.3 Rel-18 XR相关内容分析

Rel-18开启了5G标准的第二阶段：5G-Advanced。它被认为是5G的升级版，承担着5G和6G之间过渡和衔接的作用。任务是进一步提升网络的潜力，创造更大的社会和经济价值。5G-Advanced的关键网络特征为泛在万兆体验和千亿联接。当前R18 Stage1的工作已经冻结（Stage1业务需求，Stage2技术方案，Stage3接口规范）。

整体看是在ITU定义的5G三大标准场景eMBB、mMTC、uRLLC基础上，5G-Advanced进行了深入的增强和扩展，新增了三大新场景，即：UCBC（上行超宽带）、RTBC（宽带实时交互）和HCS（通信感知融合）。进行扩展后，5G-Advanced可以极大地丰富5G产业空间，更贴合数字经济和产业数字化转型的真实需求。

图11 5G传统场景升级[6]

在三大方向下，进一步细化出了多项关键技术。通过这些关键技术，5G-Advanced将支持下行万兆（10Gbps）峰值速率、上行千兆（1Gbps）峰值速率、毫秒级时延、低成本千亿物联，以及感知、高精定位等超越连接的能力。

其中R18 SA 分组整体状态见下图。涉及到XR的领域除了SA4之外，SA2、SA5也有部分关联内容。如SA2提到了下一代实时通信、触觉和媒体服务。

图12 Rel-18 SA状态概览（3GPP演示文稿）

和沉浸式媒体强相关的SA4分组将根据5G-advanced业务需求，增强5GMS服务和稳定性，并探索其商业特性，提供研发工具、软件、中间件等多媒体技术部署。主要包括三个方面的工作：

• 定义沉浸式多媒体的类型和内容格式，例如AR/MR新媒体格式、AI/ML模型或媒体、触感通信等；
• XR相关业务研究，包括VR/AR/MR及云游戏业务，研究XR QoE、QoS指标、分布式计算以及通话业务增强等内容；
• 通用媒体方面，媒体分发增强，作为5GMS服务扩展需求，开展网络性能增强、上行流增强、边缘计算、物联网等媒体功能增强服务。

此外无线方面，首先RedCap的标准化并没有在R17彻底结束，3GPP R18 RedCap的标准化，已经启动了，计划见下图。

图13 3GPP RedCap 标准化工作进程（来自5G RedCap 技术白皮书）

R18 RedCap的目标，是对标Cat.1/1bis，进一步降低终端复杂度，实现RedCap终端复杂度的极致简化。RedCap这项技术，未来还有很长的路要走。此外还有为了满足XR和工业互联网对低时延和上下行吞吐量的同时有较高要求而做的全双工演进。以及专门针对XR场景的进一步研究，包括XR业务特性的研究，包括细化QoS区分和参数定义和应用层参数对基站可见的跨层优化；XR终端节能与容量研究。X-Layer跨层融通，一个专门为XR业务量身定制的技术，用于满足XR业务的百Mbps和5ms时延，以及未来元宇宙高达10Gbps的速率和毫秒级低时延的需求等。

Rel-18计划见下图。第2阶段功能冻结计划在2023年3月，第3阶段冻结计划在2023年12月。

图14 3GPP后续版本规划（来源3GPP）

XR设备和服务的应用和发展是未来无线通信系统发展的驱动力之一。除了前面提到的Rel-15~Rel-18内容之外，未来随着无线网络的发展，包括通过网络定位和传感技术增强用户设备定位，以及采用人工智能和机器学习(AI/ML)来更好地适应时变XR流量。当前虽然最先进的5G网络已经可以运行一些XR服务，但更完善支持XR的标准化工作仍处于早期阶段，对于5G-Advanced和6G系统，有许多开放的研究问题有待解决。

展望5G-Advanced以及6G的未来，在更好地满足XR业务场景的基础上，继续满足元宇宙其他更多场景的需求会变成重点。面向元宇宙场景进化，计算+网络进入融合发展新阶段。类比电气时代的电网，元宇宙时代需要构筑一套算力网络，“一种根据业务需求，在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施”。实现 “算力泛在、算网共生、智能编排、一体服务”。可实现天地空网络一体化， “一点接入、即取即用”的社会级服务，达成“网络无所不达、算力无所不在、智能无所不及”的愿景。

图15 算力网络赋能生活场景[7]​