解密“头号玩家”里的VR技术

    出品：科普中国

    制作：中国科学院半导体研究所 苏涛

    监制：中国科学院计算机网络信息中心

　　这两天一部电影刷爆朋友圈，那就是由史蒂文·斯皮尔伯格执导的“头号玩家”。 

　　该片根据恩斯特·克莱恩同名小说改编，讲述了在未来世界，由于现实生活无趣，无数年轻人沉浸在VR的虚拟世界中。而主人公韦德逐渐发觉：自己在现实和虚拟世界里都面临困境，并且他需要和小伙伴们一起拯救世界。（潮点，没看电影的人快拿小本本记下来，要不这两天没谈资了！） 

　　这部电影不光在票房上大卖，而且在各大影评网站都广受好评。 

豆瓣评价分布呈“P”型，典型的高质量电影 

　　原作小说中，VR 眼镜基本上只作为进入虚拟世界的工具存在；而电影却十分逼真地展示了VR 眼镜对于两个世界如何联结和互动、人如何通过VR技术改头换面的重要作用。尤其是对于现实世界被 VR 所改变后的景象，描绘之精彩令人叫绝。 

　　随着这部电影的热度，我们也可以预见到这将会在现实世界中促进VR产品市场大热。 

　　那到底什么是VR技术？它又是怎么发展到今天的呢？ 

什么是VR技术？ 

　　VR（Virtual Reality）技术，中文即虚拟现实，就是通过一系列技术手段来制造虚拟场景，并模拟各种感官感受来欺骗大脑，营造一种身临其境的真实感受。 

　　这个概念最早可以追溯到Aldous Huxley 1932年推出的长篇小说《Brave New World》。这篇小说以26世纪为背景，描写了以机械文明为代表的未来社会中人们的生活场景。书中提到，“头戴式设备可以为观众提供图像、气味、声音等一系列的感官体验，以便让观众能够更好地沉浸在虚拟的世界中。” 

　　23年后的1955年，摄影师Morton Heilig才设计出了头戴式设备的原型图。  

VR眼镜初代机 

　　这可以称得上是一个巧妙的装置，完美地结合了光学、人类视觉成像原理和大脑视觉感知系统，其架构今天仍然在使用。如今市面上卖199包邮的VR眼镜，基本都是这玩意儿。 

　　实际上我们完全可以用一个纸壳子代替！ 

自制五毛钱VR眼镜 

　　难道说，如果你带了这么一个VR眼镜，就能走进电影里那个奇幻的世界嘛？ 

　　并不能！ 

　　实际上，虚拟现实技术综合了硬件层面的传感器技术和软件层面的计算机图形技术、计算机仿真技术、显示技术等多种科学技术。它在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感，具有完美的环境交互作用能力。 

　　而连接虚拟和现实的物质基础，就是传感器技术。 

　　在使用VR设备时，最关键的指标就是：使用者在虚拟世界的物理信息。这主要是通过测量头部的朝向姿态及所处的物理位置来确定。据此，目前VR设备中的传感器主要可分为以下三类： 

　　首先，最主要的一类是IMU传感器，即惯性测量单元。包括陀螺仪、加速度传感器和地磁传感器等。 

　　想象一个笛卡尔坐标系，如下图所示，具有x轴、y轴和z轴；IMU传感器能够测量各轴方向的线性运动，以及围绕各轴的旋转运动。 

IMU传感器原理图 

　　在VR技术里，IMU传感器主要用于捕捉头部动作，特别是转动。对于VR设备而言，产品体验主要就是动作捕捉的准确性和显示的延迟这两方面，而这很大程度上，都是由设备中的IMU惯性传感器决定的。因此，IMU传感器在VR中起着基础核心的作用。 

让我们打开这个头戴式VR设备 

　　顺便说下，如果你体验过VR技术，就可以感觉到，那玩意儿太重了，如果能像电影里一样轻便，那就好了。 

　　而笔者所在的半导体所研究的MEMS技术（微机电系统）正致力于解决这个问题。什么叫MEMS？可以看下面这张图。 

　　MEMS，就是把又大又笨重的IMU传感器做的小巧，实现“大白变小白”的过程。 

　　其次，第二个大类是用于定位和动作捕捉的传感器，这个主要用来实现动作捕捉，特别是使用者前后左右的移动。目前的方案有红外摄像头和红外感应传感器等。 

　　这种传感器用到的最基本原理，大家在赵忠祥老师的全民公开课——“动物世界”里应该都学习过。 

“颊窝——蛇的红外感受器”（图片来源，中科院成都生物所） 

　　最后，就是我们常见的分类--其他类型传感器。 

　　我们把剩下的、不好分类的、杂七杂八的东西都放在这里，既有佩戴检测用的接近传感器、触控板用的电容感应传感器等已被广泛使用的传感器，也有被眼球追踪用到的高动态捕捉摄像头、实现手势识别、实现AR功能的传感器等可能会被应用在未来VR设备的传感器。 

　　当然，有了这些硬件基础产生的数据，你已经具备了进入一个身临其境的“梦”的基本条件。最终，还是需要一个“大脑”里进行处理，那就是计算机。（有人又要争辩道，“软件里只讲计算机不能算VR……VR！……码农的事，计算机能算VR么？） 

　　同时计算处理单元还负责给你构造一个完美的虚拟世界，正如电影里的“绿洲”。 

VR技术的奇妙之处 

　　有人会说，没想到为了给我创造好的游戏环境，科学家们真是煞费苦心。（哼，美得你） 

　　实际上，早期这门技术首先由美国军方研发，目的是为了解决战斗机的飞行员的驾驶问题。（对，飞行员叔叔刚开飞机，也晕也会吐） 

　　后来人们发现这种身临其境的沉浸感，有助于人机交互从而启发奇思妙想，所以逐渐被应用到民用领域。 

　　提到沉浸感就不得不说VR的三大特点：沉浸（Immersive），交互（Interaction）和构想（Imagination）。（业界也叫“3I”） 

　　沉浸感就是你玩VR感觉贼逼真，大脑相信自己所看、所听，所感受到的全部都是真实的，于是整个人全身心地投入到了这个虚拟的世界中去。 

　　这怎么做到呢？实际上就是让机器通过模拟各种感觉来欺骗大脑。按照现有的传感器和机械技术，实际上一般只能模拟出视觉、听觉等为数不多的几种感知，但这已经占据人全部感知的90%以上了。差的那不到10%，就是你去玩VR还是感觉有点假的原因。  

　　当然就算沉浸感贼真实，如果只能看不能摸，无法交互的话，大脑还会回过神来，意识到这一切终究是镜花雪月。 

　　因此，VR必须让你能在虚拟世界里拳打脚踢、上蹿下跳，这就是各种传感器大显身手的地方。通过传感技术，可以跟踪人手的精细动作，身体跑，跳等动作，并在虚拟现实中进行反馈。 

　　比方说，你伸手摸虚拟女友的脸，应该能感受到皮肤的细腻柔软和身体的温度。 

　　除了前面两点，虚拟现实的另一个重要特点就是构想。 

　　你不光能对现实建模，还可以模拟现实中完全不存在的场景、不存在的事物以及不存在的规律，从而以和现实完全不同的方式来对大脑进行操控。 

　　有了这些，虚拟世界将更加的真实，也能迸发出更多的想象力，让虚拟现实更好玩。 

VR的展望 

　　近几年，得益于半导体行业的高速发展，VR设备所需的传感器、液晶屏等零件价格降低，解决量产和成本的问题；随着通讯行业的发展，所有VR应用均可运行在云端，利用其强大的计算能力和渲染能力实现VR应用运行结果的处理，并把云端处理过的画面和声音再经过超低时延的5G网络发送到VR设备上。 

　　科技的进步使得VR离普及越来越近了，许多大公司纷纷推出自己的VR产品。比如谷歌推出了廉价易用的Cardboard，三星推出了Gear VR等，消费级的VR开始大量涌现。 

　　如今，VR不仅在游戏、（小）电影、直播、购物等娱乐领域野蛮生长，它在工作和生活中也有很多应用。如电视会议、教育模拟和旅游探索等，并向分布式虚拟现实发展。 

　　同时虚拟现实技术已成为新产品设计开发的重要手段。其中，协同工作、虚拟现实是VR技术新的研究和应用热点。 

开VR会议 

　　此外，VR已成为构造虚拟样机、支持虚拟样机技术的重要工具。VE――虚拟环境技术，可使工程师在三维空间中实时地与他们的设计样机（虚拟样机）进行交互。 

　　认真的男人最帅！ 

　　实际上，笔者认为VR技术不仅可以用在上面那些地方，同时可应用于以下场景： 

　　没人邀请我做报告，作为Poster在会议中该怎么体会做Oral的快感？ 

　　答：带上VR眼睛，在虚拟世界做Oral; 

　　实验员回家了，用不了实验室的我，要怎么才能在明早组会前完成实验方案？ 

　　答：带上VR眼睛，做模拟实验； 

　　如何在他人的婚礼待客宴上谈笑风生，而不被任何人看出你单生狗的失落？ 

　　答：下一题 

　　希望VR技术继续发展，未来真的能有一个美丽的“绿洲”，供我们寄放灵魂。 

    参考文献： 

    1.《头号玩家》.恩斯特·克莱恩(美). 

    2.《头号玩家》发布预告 虚拟世界“绿洲”极致呈现. 凤凰网. 

    3. <头号玩家>影评. 豆瓣网. 

    4.《动物世界》 20141015期 蛇的神奇之处（一）. 

    5.关于VR，这篇科普可以说是很全面了. 无线深海. 

    6.Lowe, David G. (2004). "Distinctive Image Features from Scale-Invariant Keypoints". International Journal of Computer Vision 60 (2): 91–110. doi:10.1023/B:VISI.0000029664.99615.94. 

    7.Bay, H., Tuytelaars, T., Van Gool, L., "SURF: Speeded Up Robust Features", Proceedings of the ninth European Conference on Computer Vision, May 2006. 

    8.Martin A. Fischler & Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" (PDF). Comm. of the ACM 24 (6): 381–395.doi:10.1145/358669.358692.