多维交互、数字手语主播、子弹时间…新技术带你沉浸观冬奥

||||

撰文/记者 李鹏 赵天宇 编辑/刘昭 丁林

科学性审核：

杨旖旎（博士，国际裁判）

李学明（北京邮电大学数字媒体与设计艺术学院院长、教授）

2022年北京冬奥会各项赛事正如火如荼进行中。受到疫情等因素影响，多数人通过线上方式收看比赛。这也让冬奥会这场体育的盛会，成为了各类视觉技术的展现场所。接下来，我们就来认识一组服务于冬奥观赛的新技术。

❄ ❄ ❄

“云转播”，服务智能时代的冬奥观众

北京冬奥会注定非常吸睛，各种“新科技”将轮番上阵助威，其中“云转播”无疑是全球媒体最关注的焦点技术之一。有了它，转播商足不出户就能为全球观众奉上视觉盛宴。

▲北京科技周主场活动室内展区，工作人员介绍“云转播”系统（图片来源/新华社）

其实，在此前举办的东京奥运会上，“云转播”就曾经大显身手。当时，受到新冠肺炎疫情影响的东京奥运会处处显得格外不同：“空场”办赛，闭环管理……由于观众无法进场观看奥运赛事，这就对电视转播提出了更高的要求。东京奥运会首次采用了中国科技公司阿里云与奥林匹克广播服务公司联手打造的云上转播平台OBSCloud，支撑全球转播。国际奥委会主席巴赫曾对媒体表示：“云上转播平台OBSCloud是东京奥运会一项重大创新。”

▲2019年3月，北京冬奥组委与阿里云联合正式启动“云上转播”行动（图片来源/新华社）

OBSCloud基于云计算、人工智能和互联网高速传输技术，可实现转播设备云端化和人员服务远程化。它在东京奥运会上首次被使用，为全球转播机构提供云上转播支持，这也是奥运历史上首次采用云计算支撑全球转播，标志着奥运转播从此迈入“云时代”。

简单地说，“云转播”就是通过云的能力，把转播拆解成前端信号采集、云端信号传输、导播制作三个环节。在赛事中，所有转播内容全都储存在OBSCloud云上转播平台里，向全球转播方分发，全球的持权转播商可直接进入平台查找需要的内容。

转播方不仅可以接收赛事内容，还可以在平台上建立自己的内容创作、管理和分发系统。这使得转播方工作人员无需到现场，就可以直接在远程制作中心通过云端和现场互动，实现云端节目导播切换、配图文台标等加工制作，生成的最终节目内容通过网络传输到媒体机构进行后期深加工播出。这既可以节省人力成本，降低现场系统部署的难度，同时也适应了疫情防控的要求。东京奥运会证明了这一点。据悉，东京奥运会转播量比里约奥运会多了30%，但OBS办公室的面积比以前小了25%，这就是黑科技的魅力所在。

▲五棵松体育馆无人混采测试（图片来源/新华社）

当然，它带来的惊喜不止于此。

“云转播”还为其他技术的实现提供了更多可能。比赛中，它提供的3D运动员追踪技术，可在比赛进行时为观众专业解读运动员的实时表现。该解决方案根本不需要搭载动态传感器，而是以普通摄录机、配合人工智能技术和计算机视觉，在运动员身体上的20多个位置生成3D网格，再将数据转化为丰富影像，从而提升例如田径赛事中冲刺时刻的转播效果，也就是说在田径短跑项目中，观众可以看到运动员的奔跑速度。

此外，云转播平台还属于“远程无人混合采访”的一个环节。远程无人混合采访包含赛事现场混采区（运动员端）、云转播平台和远端记者三个部分，这一区域设在比赛场地旁的一个指定区域。区别于传统赛后混采区多个媒体的聚集采访，这种采访方式完全将记者和运动员隔离，现场只提供视频采集设备和视频展示屏幕，运动员只需通过系统，便可接受远程记者的访问。

远程无人混合采访基于云转播系统，利用5G网络的高速率、低延时、多并发的特点，保证采访实时传输，同时提供高品质的音视频素材。

❄ ❄ ❄

“数字主播”上线，冬奥手语播报AI数字人

一些对我们而言轻而易举的事情，对于听障人士来说，却非常困难——比如“看”冬奥会。这次他们有福了！据悉，将有一位“数字主播”——手语播报AI数字人亮相北京2022冬奥会和冬残奥会，她会在大屏幕上根据主持人的语音用手语将冬奥赛事进行同步播报。

▲2021年9月24日，在2021中关村论坛之“人工智能与多学科协同创新”平行论坛上，北京智源人工智能研究院学术副院长、清华大学教授唐杰发布了“冬奥手语播报数字人系统”成果（图片来源/中国科学报 郑金武摄影）

根据国内统计数据，中国有超过 2700 万听障人士，对教育、社交、娱乐、信息获取有巨大的需求。如果算上需要与他们交流的亲人、朋友和同事，更是会涉及到上亿人。

传统的手语播报，主要靠手势来传递信息，一方面因不同的人有不同的手势习惯，容易造成信息传递偏差；另一方面，会造成手语播报主持人翻译工作量大、与节目主持人配合难度高，从一定程度上限制了听障人士对于信息的获取。手语播报AI数字人首先可以避免“千人千面”，始终保持统一；其次，可以根据收听到的语音，自动实时生成手语手势，提供精确的播报服务。

数字手语主播不仅需要真实的数字人形象，也需要能够理解、翻译语音和手语的数字大脑。手语播报数字人，是一个“智能人”，它不仅拥有生动的表情神态、丰富的肢体语言，还拥有“大脑”——能够理解、翻译语音和手语的数字双轮驱动虚拟数字脑。它配置了口形、表情、姿态、手部动作等多种素材以便进行“表情管理”。

▲2021年9月23日，北京，2021年中关村论坛上手语播报数字人（图片来源/视觉中国）

为了提高冬奥播报的准确性，研发团队还对手语播报数字人进行了“培训”，构建了冬奥手语语料库，包括多模态肢体动作、表情、手指等语料，教授数字脑掌握手语表达的方法。同时，手语数字脑可以通过计算机模仿听障人士的大脑，将看到的中文文本信息转换成手语词汇序列，让听障人士实时了解赛事进程。通过 AI 技术将播报内容翻译合成为手语，并利用数字人虚拟主播来播报，成为解决这一难题的重要途径。

手语数字播报的实现，是因为背后有 “悟道2.0” 超大规模人工智能模型的技术支撑。结合冬奥会的有关信息，悟道大模型可以实现文本到手势的自动转化。当播报员播报时，数字人可以将文字转换成手语，方便听障人士收看赛事专题报道，这是“悟道 2.0”超大规模预训练模型的首次实际场景应用。依托 “数据”与“知识”，冬奥期间赛事新闻实现了实时手语翻译播报，填补了这一领域的空白。

▲2021年6月3日，观众在2021北京智源大会上参观智能模型“悟道2.0”的资料介绍。“悟道2.0”模型的参数规模达到1.75万亿，是目前中国首个、全球最大的万亿级模型（图片来源/视觉中国）

据了解，这一“冬奥手语播报数字人系统”由北京市科委、北京市残联发起，科技冬奥专项支持，智谱AI、凌云光和北京广播电视台联合打造，项目还得到了市残联聋人协会的大力支持。

数字人的未来不只是手语播报，随着人工智能技术的不断演进，数字人也进入了其它领域，如向大家介绍空间站情况的数字记者小诤、游戏直播行业涌现的各类虚拟人物等。

如今，在技术蓬勃发展的新风口下，数字人不仅达到了人像的写实级逼真程度，还具备了一定的沟通交流能力。虚拟互动技术的扩展，让数字人可以进入到医学、矿学和航天学等精细或危险领域。未来，数字人将具备类似人的看、听、说和知识逻辑能力，人工智能将进一步发展。让我们翘首以待吧！

❄ ❄ ❄

从影视到赛事， “子弹时间”技术的发展由来

“子弹时间”技术并非指画面中出现子弹，而是一类特效镜头的统称。

1999年，美国科幻电影《黑客帝国》上映，其中男主角尼奥“仰身躲子弹”的片段以360度慢动作环绕的震撼视角为观众呈现，“子弹时间”由此得名。

“子弹时间”最早并不是利用摄像机来完成的。当时，制作方在演员身边环绕部署了120台单反相机，并在极短时间内依次激活快门，拍下了120张照片。在后期剪辑中，只要按照每秒24张的正常帧率连续播放，电影中子弹穿梭的画面就成功实现了。

在数字特效技术尚不成熟的20多年前，“子弹时间”这样的镜头堪称惊艳，因此被奉为经典，随后被运用到影视、广告、创意活动等领域当中。但受限于系统成本高、部署复杂、计算时间消耗久等因素，该技术一直无法广泛推广和应用。

随着相关技术的进步，“子弹时间”特效开始从影视走向赛事，让观众可以360度无死角地回看赛场上的精彩瞬间。而在计算机硬件及网络传输条件大幅进步后，不仅快速生成“子弹时间”画面成为了可能，“子弹时间”的升级版“自由视角”也闪亮登场了。

（来源：新华社）

从观众的需求来看，只能看到单个人物的360度环绕画面显然不够过瘾，人们更加渴望能够通过主动交互，旋转到任意的角度观看整个过程。尤其是在体育比赛当中，这种需求能带来更为身临其境的体验。

“自由视角”实现的正是这一目标。该技术近年来在赛事直播领域兴起，它将“子弹时间”系统当中部署的相机，替换成为了高精度同步摄像机。

在2018年，西甲联赛最早在足球转播领域推出了类似“自由视角”的360°回放功能，这一度成为西甲比赛转播的一大标志性卖点（甚至连知名足球游戏《FIFA》当中，只有玩西甲球队的比赛时才能看到360°回放）。

短短3年之后的东京奥运会赛场，从田径、体操赛场到足球、篮球赛场，“自由视角”转播技术已经被全面运用，并被更多观众所熟知和喜爱。

在2022年北京冬奥会中，负责“自由视角”的摄像机全部为4K分辨率，并组成了圆环型的拍摄阵列。这些摄像机与网络联接，并由软件控制。

▲国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”亮相“相约北京”冬季体育冰上项目测试活动（来源：新华社）

比赛开始后，这些4K摄像机将同步开始工作。由于有软件控制，多台摄像机可以在极短的时间内，实现拍摄参数同步、极速对焦，精准捕捉运动员动作细节等功能，实现真正意义上的“指哪看哪”。

高清摄像机拍摄的视频素材首先被传送到图像处理引擎中，经过芯片处理后，形成多维度视频数据，继而充分利用5G网络“低延迟、高吞吐”的能力，传输到电视/PC/手机等用户终端。如此一来，观众不仅可以欣赏到“子弹时间”式环绕镜头，还可以自由选择观赏角度、进行放大缩小，俨然成为自己的“导播”。

目前，“自由视角”技术已确定将大范围应用在北京冬奥会直播当中。

2021年4月，“相约北京”冬季体育系列测试活动的冰球赛场上，观众已经可借助相关技术，在比赛过程中“凝固时空”，立体观看运动员拼抢瞬间的画面。相信在本届冬奥正式比赛的现场，配合VR头盔等设备，“自由视角”技术会给观众带来更好的沉浸式观赛体验。

▲VR眼镜视角观赛效果图（来源：新华社）

（本内容由北京科技报与中国数字科技馆联合制作）

出品：科普中央厨房

监制：北京科技报 | 北科传媒

欢迎分享到朋友圈