[科普中国]-增强现实

技术原理

增强现实(Augmented Reality，简称AR)，也被称为扩增现实(中国台湾地区)。

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。

主要特点AR系统具有三个突出的特点：①真实世界和虚拟的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用于多等领域。1

组成形式一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的，常用的有如下三种组成形式。

Monitor-Based

在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器。用户从屏幕上看到最终的增强场景图片。它虽然简单，但不能带给用户多少沉浸感。Monitor-Based增强现实系统实现方案如下图所示。

光学透视式

头盔式显示器(Head-mounted displays,简称HMD)被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-through HMD)。光学透视式增强现实系统实现方案如下图所示。

光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。

视频透视式

视频透视式增强现实系统采用的基于视频合成技术的穿透式HMD(Video See-through HMD)，实现方案如图5所示。

应用领域AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。2

* 医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位。

* 军事领域：部队可以利用增强现实技术，进行方位的识别，获得实时所在地点的地理数据等重要军事数据。

* 古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。

* 工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。

*网络视频通讯领域：该系统使用增强现实和人脸跟踪技术，在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟物体，在很大程度上提高了视频对话的趣味性。

* 电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时的将辅助信息叠加到画面中，使得观众可以得到更多的信息。

* 娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战。

* 旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料。

* 市政建设规划：采用增强现实技术将规划效果叠加真实场景中以直接获得规划的效果。

国内比较权威的增强现实学者是北京理工大学光电工程系的王涌天教授

国内首次将这项技术应用到普通生活中，是在苹果的AppStore上发布的一款免费的叫作出行百科(增强现实版)XINGWIKI的软件。

记事帖，人们希望将来可以很方便的在不同地点获得同样的媒体和信息，并且是跨越不同的设备上获得-从PC到手机，从投影仪到头戴式显示器。怎样能为用户提供一致的和方便易行的方式来让他们和对他们而言很重要的信息和媒体进行交互，看以下的图你就明白了，你所能操作的界面已经不再是那一块小小的电脑屏幕了，而是延伸到了更大的空间里,并且可以依据人们最为简便的方式随意的记录下你某一时刻突然迸发出的灵感。

* 水利水电勘察设计：在水利水电勘察设计领域，三维协同设计稳步发展，可能会在不远的将来取代传统的二维设计，AR技术在设计领域的应用为水利水电三维模型的应用提供了更好的展示手段，使得三维模型与二维的设计、施工图纸能更加紧密地结合起来。AR技术在勘察设计领域中可以有效地应用于实时方案比较、设计元素编辑、三维空间综合信息整合、辅助决策和设计方案多方参与等方面。3

发展历史增强现实显示器，将计算机生成的图形叠加到真实世界中。自从二十世纪七十年代早期，Pong进入电子游戏厅以来，视频游戏走进我们的生活已经有30多年了，但是一直局限在屏幕中的2D世界中，而增强现实这一新技术的到来，将通过增强我们的见、声、闻、触和听，进一步模糊真实世界与计算机所生成的虚拟世界之间的界线。

从虚拟现实（创建身临其境的、计算机生成的环境）和真实世界之间的光谱来看，增强现实更接近真实世界。增强现实将图像、声音、触觉和气味按其存在形式添加到自然世界中。由此可以预见视频游戏会推动增强现实的发展，但是这项技术将不仅仅局限于此，而会有无数种应用。从旅行团到军队的每个人都可以通过此技术将计算机生成的图像放在其视野之内，并从中获益。

增强现实将真正改变我们观察世界的方式。想像您自己行走在或者驱车行驶在路上。通过增强现实显示器（最终看起来像一副普通的眼镜），信息化图像将出现在您的视野之内，并且所播放的声音将与您所看到的景象保持同步。这些增强信息将随时更新，以反映当时大脑的活动。在这篇文章中，我们将了解这项未来技术、其技术构成以及如何使用该技术。

微软公司于2015年1月22日发布的HoloLens 全息眼镜。

工作原理移动式增强现实系统的早期原型增强现实的基本理念是将图像、声音和其他感官增强功能实时添加到真实世界的环境中。听起来十分简单。而且，电视网络通过使用图像实现上述目的不是已经有数十年的历史了吗？的确是这样，但是电视网络所做的只是显示不能随着摄像机移动而进行调整的静态图像。增强现实远比您在电视广播中见到的任何技术都要先进，尽管增强现实的早期版本一开始是出现在通过电视播放的比赛和橄榄球比赛中，例如Racef/x和添加的第一次进攻线，它们都是由SporTVision创造的。这些系统只能显示从一个视角所能看到的图像。下一代增强现实系统将显示能从所有观看者的视角看到的图像。

在各类大学和高新技术企业中，增强现实还处于研发的初级阶段。最终，可能到这个十年结束的时候，我们将看到第一批大量投放市场的增强现实系统。一个研究者将其称为“21世纪的随身听”。增强现实要努力实现的不仅是将图像实时添加到真实的环境中，而且还要更改这些图像以适应用户的头部及眼睛的转动，以便图像始终在用户视角范围内。下面是使增强现实系统正常工作所需的三个组件：

1.头戴式显示器

2.跟踪系统

3.移动计算能力

增强现实的开发人员的目标是将这三个组件集成到一个单元中，放置在用带子绑定的设备中，该设备能以无线方式将信息转播到类似于普通眼镜的显示器上。让我们分别来了解这个系统中的每个组件。

开发工具与难点分析现在已经有多种用于AR 系统开发的工具包和API(application programming interface)，如 ARToolKit 、Coin3D 和 MR Platform等 , 其中 ARTookit是一套开放源代码的工具包 ,它主要由日本大阪大学的 Hirokazu 博士开发, 用于快速编写 AR 应用。ARTookit 受到了华盛顿大学人机界面实验室和新西兰坎特伯雷大学人机界面实验室支持，已成为在 AR领域使用最广泛的开发包 。许多AR 的应用都使用ARTookit 或在其基础上改进的版本来进行开发的。ARToolkit 采用基于标记的视频检测方法进行定位，其工具包中包含了摄像头校准和标记制作的工具，它支持将 Direct3D 、OpenGL 图形和 vrml 场景合并到视频流中(如图所示)，同时支持显示器和 S-HMD等多种显示设备。MR Platform 由日本的混合实境实验室开发 ,其中包含了一个能减少人眼与头盔上摄像机之间平行度误差的 S-HMD 和一个运行于 Linux 环境下的用C++语言开发的软件开发工具包(SDK)。这个工具包中提供了摄像机校正工具 、视频捕捉、图像检测和操纵6 自由度传感器等开发 AR 应用的基本功能 。4

虽然经过了十几年的研究，开发了以上的许多种工具包，但是几乎所有 AR 系统仍然处于实验室内使用，研究者已经开始考虑 AR在实用中面临的一些基本问题，主要有以下几个方面：4

(1) 景物的生成与显示

几乎所有的 S-HMD 设备在明亮的环境下，其显示的效果都比较暗，另外，由于头戴式显示器上的摄像机的摄像角度与眼睛的位置存在偏差，因此虚拟物体的定位在真实视场中的定位和显示角度也会存在偏差且很难调整。

(2) 定位错误

定位错误不可避免，民用 GPS 一般精度在 3m到12m 左右,在较差的天气中，最大误差可达 100m 。电子罗盘也会因为附近的磁场干扰产生误差。由于现有许多户外的系统中的校正算法需要大量的输入和繁琐的校正步骤，因此不适合商业化应用。

(3) 通讯设备

多数系统都假设在带宽满足的情况下进行操作，但实际情况并非如此，在绝大多数分布式 AR 应用中，系统能力都要受制于数据传送的速度。因此在大型协作 AR 系统中，还有赖于通过动态兴趣度管理算法和动作预测算法来降低所需传输的数据量。

(4) 计算能力

在户外AR 系统中，必须尽量减少客户端配置，数据处理常由便携式计算机，甚至是依靠掌上电脑来处理，因此,如何达到实时性和提高渲染效果是必须面对的一个问题。这也是目前 AR 研究中的热点之一 。

实际应用这项技术有数百种可能的应用，其中游戏和娱乐是最显而易见的应用领域。可以给人们提供即时信息的不需要人们参与任何研究的任何系统，在相当多的领域对所有人都是有价值的。增强现实系统可以立即识别出人们看到的事物，并且检索和显示与该景象相关的数据。

维修和建设——增强现实可以将标记器连接到人们正在施工的特定物体上，然后增强现实系统可以在它上面描绘出图像。

军事——军队数十年来一直在设计使用增强现实，美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署（DARPA）已经投资了HMD项目来开发可以配有便携式信息系统的显示器。其理念在于，增强现实系统可以为军队提供关于周边环境的重要信息，例如显示建筑物另一侧的入口，这有点像X射线视觉。增强现实显示器还能突出显示军队的移动，让士兵可以转移到敌人看不到的地方。

即时信息——旅行者和学生可以使用这些系统了解有关特定历史事件的更多信息。想像行走在美国内战的战场上，并且在头戴式增强现实显示器上看到重现的历史事件。它将使您沉浸在历史事件中，有身临其境之感，而且视角将是全景的。

AR游戏AR游戏最早的起源并非手机，而是NDS上的AR游戏。5此类游戏大多数的玩法都是在桌面上摆放识别卡，识别卡片后通过手机屏幕与识别出来的内容进行交互。5

2011年任天堂3DS主机内置的《AR游戏》是利用摄像头拍摄AR卡片来游玩的游戏，6通过利用“AR技术”（虚拟扩展技术），将摄像头拍摄到的内容以另外一种形式出现在屏幕内。6

游戏——增强现实，由Niantic Lab出品的Ingress与Pokemon GO就都是增强现实类游戏,中国一家公司开发的产品PP GUN也能通过和增强现实显示器连接玩枪战游戏。

国内现状作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。

AR是充分发挥创造力的科学技术，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大的深远的影响。

随着技术的不断发展，其内容也势必将不断增加。而随着输入和输出设备价格的不断下降、视频显示质量的提高以及功能很强大但易于使用的软件的实用化，AR的应用必将日益增长。AR技术在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。

总体来讲，增强现实在中国处于起步阶段，许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。