交互式观赛，为观众带来沉浸式新体验

伴随5G时代来临、以及三维视觉与显示技术的进步，视频技术从“看得清”进入“看得真”的超高清和沉浸式虚拟现实时代。而作为全球冰雪运动盛会——北京冬奥，如何依靠5G技术为观众打造一种全方位、多角度、深层次的观赛体验成为一大难题。幸运地是，一系列中国自主研发的高新技术成果助力冬奥使观众交互式观赛成为可能。那么交互式观赛有什么魅力呢？其中又蕴含了哪些黑科技呢？

交互式观赛的魅力

我们以前观看各类体育赛事如NBA、世界杯、世乒赛等都是一种被动式的观赛，我们看到的视频画面都是由导播人员在转播车上对多路摄像机拍摄的画面合成的一路信号，导播切成什么，我们就只能看什么，这种方式会极大降低观众的观赛体验。有很多人都会有这种感觉，在某场比赛中想多关注某个选手，唯一能做的就是祈祷导播不要切换视角，极度不自由。而交互式观赛的魅力就在于用户可以通过手机、VR头盔和电视大屏等实现自由视角和VR直播观看，突破传统固定视角和被动式观赛，实现用户自主自由观赛体验，每一路信号在手机端都可以观看，观众可以选择导播导切的这一路信号，也可以选择近景视角、远景视角，也可以进行人物跟踪，用户想看哪个运动员就可以一直观看这个运动员。真正实现“〖360〗^°”无死角呈现比赛现场的精彩画面。同时，相关负责团队还通过三维重建和渲染技术实现了连续自由视点视频生成与传输，让观众不仅看得清晰，更能看得真实，“身临其境”地感受比赛的刺激。而交互式观赛的实现离不开几大关键技术的支持。

通过VR头盔体验单视点“〖360〗^°”观赛

交互式观赛的关键技术

一、“自由视角”视频技术。自由视角是指以被拍摄物体或场景为中心，让用户能够通过操控界面，从多角度自由旋转观看被拍摄物体或场景的业务形态。自由视角在节目制作时，以多轨广播级4K影像同步采集编码和画面合成为核心，采用云端渲染及内容推送为手段，直播方利用多机位或环绕机位，向用户提供环绕整个场地的多角度视频信息，用户能以旋转切换的方式自由观看角度。用户端可随时随地实现多视角切换、自由缩放、随时暂停、定格旋转、慢动作环绕等功能，在不同终端(手机、平板及电视等)真正实现直播画面的“千人千面”互动体验。该技术与传统的VR技术相近，主要区别在于拍摄方式，自由视角是360度往里拍的环物模式而VR是360度往外看的环景模式，因此，自由视角技术拍摄的画面人物立体感更强，其应用场景也更加广泛。整个自由视角系统的技术架构主要包括画面采集、信号传输、“时空凝结”特效生成、云端内容发布、5G客户端接收等模块。

自由视角技术架构

二、“子弹时间”技术。该技术是由数十台相机组成一个圆，对拍摄主体进行180度全景拍摄，然后利用5G高速率低延时的特点将拍摄内容上传到云端进行图像处理，处理完毕后再将视频回传至拍摄地从而体现5G低延时大连接的特点。这一高科技的实现，让“时空凝固”成为可能。这就是电影或电脑游戏中的摄影技术模拟变速的特效，把运动员精彩动作、华丽进球、炫酷特技等精彩片段瞬间定格，呈现出让这些精彩动作“再飞一会儿”的视觉效果。就像电影《黑客帝国》里面，主人公在精彩的特效下做出来的那种闪躲子弹的状态，在现场是可以亲身去感受的。同时，“子弹时间”技术不仅能够满足观赛需求，还可被运动员和教练员用于多角度直观回顾训练细节，科学提高运动员成绩。

三、VR孪生推演系统。VR孪生推演可以理解为数字模拟，即通过数据手段模拟特定范围内的物理世界中的物体。而这样的模拟通过VR可以让被模拟的物体在观察者的眼中变得更加真实。因此，设计师可以在虚拟的数字环境中模拟使用产品或运行系统从而在更广的视角内了解产品在真实环境中的缺陷以及能够改善的方向。该目标只能通过VR软件来实现，在使用阶段可视化产品，并用仿真数据补充3D模型。基于冬奥场馆的数字孪生实现赛场环境的真实渲染、多相机高真实感模拟、多相机快速拼接等功能，完成镜头轨迹规划创意设计的修正反馈和逼真推演。通过对多角度、高清VR全景赛事视频的采集与分析进行视听语言研究，创造出令观众过目不忘的视听效果。

数字孪生系统

四、8K实时编码器。8K实时编码器是在我国自主超高清视频编码国家标准AVS3的基础上研发的。自2002年至今，我国已经制定三代AVS（数字音视频编解码技术）标准。AVS1标准实现了全国地面数字电视覆盖，使我国数字音视频产业实现了“中国制造”到“中国创造”的规模化战略转型。AVS2标准能够从技术源头上支撑我国视频产业的健康发展，使我国音视频技术和产业正式进入“超高清”和“超高效”的“双超时代”。AVS3 标准则是8K 超高清视频编码标准，为新兴的 5G 技术、虚拟现实和智能安防等应用提供技术规范，引领未来8K 超高清和虚拟现实（VR）视频产业的发展。技术人员基于一系列快速编码模式决策技术和并行编码技术成功研发8K实时编码器，将其与自适应传输技术相结合能够大幅度提升VR 和“自由视角”视频的分辨率和清晰度，最大限度地革新观众的视觉体验与感受。

面向5G网的AVS3 8K编解码器与端到端系统

五、超短焦VR眼镜。在设计超短焦VR眼镜时，为了减轻VR眼镜的重量，设计人员在眼镜内部加入了一种多光学功能件来对光路进行多次折叠，不仅不会影响VR眼镜的功能，还能极大缩短光学系统的厚度从而达到降低眼镜重量的目的。相比于市场上VR一体机400~700g的重量，设计团队研发的130g左右重量的超短焦VR眼镜更加符合人机工程学，观众可以长时间佩戴而不会觉得累，更加不会错过冬奥赛场上的任一精彩环节。

北京冬奥不仅是一场冰雪运动的盛会，也是一个展示国家创新技术成果和创新实力的窗口。交互式观赛相关技术会在北京冬奥相关赛事中进行示范应用，为观众带来一场场“身临其境”似的视觉盛宴。同时，其产出的一系列成果在未来助力5G技术的应用推广、促进我国自主超高清和虚拟现实技术与产业发展等方面具有重要的意义。