[科普中国]-图像生成

背景

数字图像处理和计算机视觉

自上个世纪20年代人类第一次实现在纽约和伦敦之间通过海底电缆传送图片至今，数字图像处理技术已经取得了突飞猛进的发展。在其短短的历史中，它成功的应用于几乎所有与成像有关的领域。数字图像处理((Image Processing)本来是指将一幅图像通过计算机技术变成另一幅经过变换的图像或者抽取图像中的测度的过程[[4J。现在己经发展到从数字图像编码、压缩、传输、降噪到再现的所有处理过程。计算机视觉((Computer Vision )是在图像处理的基础上发展起来的一门交叉学科，从信息处理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论、表达与计算方法，试图通过对一幅或多幅二维图像的分析，感知三维环境的几何信息。然而由于摄像机内外参数标定以及立体匹配等过程的不鲁棒性，很难自动得到复杂场景的高精度几何信息。同时繁杂的计算过程也难以满足虚拟现实的要求。1

图形生成是虚拟现实的重要瓶颈虚拟现实技术是人可以在随意变化的交互式控制下感受到场景的动态特性。换句话说，虚拟现实系统要求随着人的活动即时生成相应的图形画面。有两种重要指标衡量用户所以沉浸于虚拟环境的效果和程度。其一是动态特性，其二是交互性延迟。自然的动态特性要求每秒生成和显示30帧图形画面，至少不能少于10帧，否则将会产生严重的不连续和跳动感。交互延迟是影响用户感觉的另一个重要指标。对于人产生的交互动作，如fixing模拟时飞行位置、方向的控制，系统的图形生成必须能立即作出反应产生相应的环境和场景。其余的时间延迟不应大于0.1秒，最多不能大于0.25秒。否则在长期的工作中，人会产生疲劳、严重地影响“现实”的效果，以上指标均依赖于系统生成图形的速度。

对于动态图形的效果而言，每图形生成时间局限于30-50毫秒；而对于交互延迟，除包含对于交互输入及其处理时间外，图形生成速度是虚拟现实的重要瓶颈。

图形生成的额速度主要取决于图形处理技术的软件体系结构，特别是硬件加速器的与图形处理能力，以及图形生成所采用的各种加速技术。除此之外，还依赖于应用的因素，虚拟场景的复杂程度和图形生成所需要的真实感程度。

图形生成的加速方法虽然得益于告诉发展的CPU和专用图形处理器，使得现今的图形工作站性能得到很大的提高。但距离VR的需求仍然相当遥远。换句话来说，当前图像生成的速度相当于通常VR环境的规模来说仍然存在很大的差距。下面就一些实时图形生成加速方法作一些介绍与分析。

可见性的判定由于视线视觉的方向性、视觉的局限性以及物体想互遮挡，人眼所看到的往往只是场景中的一部反，而绘制图形的生成是物体空间到图像空间的转换。为充分利用绘制软件的有限资源，就必须充分利用物体空间的相关性。图像空间的相关性和时间空间的相关性可以加快可见性的判断、减小绘制深度。

细节层次模型为物体提供不同的细节层次描述是控制场景复杂程度的一个非常有效的方法。在生活中我们知道，当物体离得越来越远时，人民不再能辨清该物体上的许多细节结构。如光滑的曲面。因此，绘制一个远处的物体时，用该物体细节描述非常复杂的模型是完全没有必要的。

预测计算预测计算一种减少系统延迟的方法。该方法根据各种运动的速率和加速度。如人体头部转动速度，用预测外推法在下一 帧画面绘制之前估算出头部跟踪系统及其他设备的输入，从而减少由输入设备所带来的延迟。在分布式网络虚拟现实系统中，系统根据预测估算原理来减轻网络传输负载并减少由网络传输带来的延迟。

脱机计算脱机计算是减轻计算机实时计算负载的常用方法之一。由于VR 系统是一个多任务的模拟系统，所以有必要尽可能的将一些可预先计算好的结果预先计算并贮存在相应的结果中，其中包括全局光照模型、动态模型的计算等。2

目标红外图像生成反演模型生成的目标温度场为二维场，且一张测量图像只能反映物体一个观察角度下的信息，为能自由观察三维目标，首先需要环绕目标进行不同角度的测量，利用反演模型生成目标各角度的温度场，结合发射率、双向反射率等参数，按红外图像动态仿真软件的要求将这些参数组织为浮点格式的DDS(DirectDraw Surface)纹理。其次，需要建立这些环绕目标、不同角度的二维纹理与三维几何模型顶点之间的坐标映射关系。纹理映射确定了三维目标每个顶点具体对应到纹理上哪个像素的温度、反射率、双向反射率，即重建了目标的三维温度场。由于对非规则物体进行从纹理像素点(二维坐标空间)到模型顶点(三维坐标空间)的映射非常难以操作，文中采用3DS Max提供的反向映射技术实现了纹理映射，生成了目标三维红外模型。具体方法是利用Unwrap UVW功能将三维空间里的模型顶点投影到顶点二维拓扑平面，再在该拓扑平面上移动顶点，与相应的纹理像素点建立坐标映射关系。

为生成目标图像，还要将目标模型加载到红外图像动态仿真软件中。文中采用自研的基于GPU的三维红外场景渲染引擎PRISSE (Physically ReasonableInfrared Scene Simulation Engine)完成这一工作。首先利用顶点着色器将三维模型顶点从世界坐标空间转换到投影空间，并进行裁剪与光栅化处理。接着在片段着色器中根据顶点的采样坐标、表面法向、太阳方位、相机位置等参数，分别获取温度、发射率、反射率、太阳直射辐射、背景辐射等数据，采用公式所建立的辐射模型计算目标本征辐射。第三步继续利用片段着色器，根据观察点的海拔高度、天顶角与目标距离，获得大气透过率和大气路径辐射，根据公式(2)所建立的辐射传输模型计算目标表观辐射。最后，利用片段着色器的PostProcess技术，在表观辐射图像上叠加成像系统的MTF、噪声等系统效应，完成不同的几何观察参数下目标红外图像的生成。

结束语以上介绍的是各种常用的图形生成加速技术。当然，图形生成的速度还赖于其他一些因素，如数据库的结构等。数据库不仅是虚拟现实技术对虚拟环境的描述所在。而且它的数据结构还关系到[1]VR系统的真实效果。就图形描述而言，为实时的数据库遍历提供良好的结构，减少实时可见性计算等亦是VR系统成功的关键因素。为充分利用图形硬件资源，避开图形处理的瓶颈。数据库将尽量三角面片组织为共顶点的三角面片串。同时，为减少图形属性的改变，如光照特性等的变化，有些VR系统将面片按其属性进行组织，以减少特性属性变化所带来的时间耗费。为减少图形硬件的矩阵计算，数据库应尽量预计算好各静态物体的矩阵变化。