[科普中国]-图像融合

简介

图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅，或者一列的形式给出。而图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显，它能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性，改进系统的鲁棒性能。最早的图像融合工作可以追溯到20世纪80年代中期，Burt P J最早使用拉普拉斯金字塔方法对双筒望远镜图像进行了融合，1995年，Li H最先运用小波方法对图像进行融合，这对图像融合技术产生了巨大的推进。经过长期的实践，从事图像融合的工作者对图像融合的方法和手段有了一定的共识，提出了图像融合需要遵守的3个基本原则：1

1)融合后图像要含有所有源图像的明显突出信息；

2)融合后图像不能加入任何的人为信息；

3)对源图像中不感兴趣的信息，如噪声要尽可能多地抑制其出现在融合图像中。

定义图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。 待融合图像已配准好且像素位宽一致，综合和提取两个或多个多源图像信息（参考文献：陈浩，王延杰。基于小波变换的图像融合技术研究. 微电子学与计算机, 2010 ,27( 5 )：39-41）。两幅（多幅）已配准好且像素位宽一致的待融合源图像，如果配准不好且像素位宽不一致，其融合效果不好。

优点高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。

这诸多方面的优点使得图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面。

层次一般情况下，图像融合由低到高分为三个层次：数据级融合、特征级融合、决策级融合。数据级融合也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，它是高层次图像融合的基础，也是目前图像融合研究的重点之一。这种融合的优点是保持尽可能多得现场原始数据，提供其它融合层次所不能提供的细微信息。

像素级融合中有空间域算法和变换域算法，空间域算法中又有多种融合规则方法，如逻辑滤波法，灰度加权平均法，对比调制法等；变换域中又有金字塔分解融合法，小波变换法。其中的小波变换是当前最重要，最常用的方法。

在特征级融合中，保证不同图像包含信息的特征，如红外光对于对象热量的表征，可见光对于对象亮度的表征等等。

决策级融合主要在于主观的要求，同样也有一些规则，如贝叶斯法，D-S证据法和表决法等。

融合算法常结合图像的平均值、熵值、标准偏差、平均梯度；平均梯度反映了图像中的微小细节反差与纹理变化特征，同时也反映了图像的清晰度。目前对图像融合存在两个问题：最佳小波基函数的选取和最佳小波分解层数的选取。

结构三层结构实际的融合过程可以根据信息流的不同形式分为不同的等级。现在普遍接受的一种分层方式是将融合的过程分成像素级、特征级以及符号决策级3级，如图1所示。图像在像素一级的融合是处在最低部的一层，它将不同的物理参数进行融合。在得到的融合图像中，每一个像素都是由几个源图像所对应的区域决定而得。特征级的融合是在各个输入图像抽出的特征基础上，对这些特征进行融合，这些特征可以是形状、大小、纹理、对比度等。在这些抽取的特征上进行融合，使得这些有用的特征能够更好的体现出来。在符号决策级的融合是对图像信息的更高的抽象。此时输入的图像已经是信息抽取得到的特征和分类，融合处理得到一个代表性符号或者对应决策。对于各个适应等级的选择取决于实际中不同的因素，比如，图像源。同时，选择不同的级别处理与图像预处理得到的结果也有关。1

系统框架实际的图像融合不能单独的存在以构成系统，它是连接实际采集信息和系统控制之间的纽带。图2给出了一个标准的图像融合系统的框架，由图的描述可看出系统的框架可分为4个部分：图像配准、图像预处理、图像融合、输出和图像后处理。1

在融合前期最重要的工作就是图像配准，除非是给出的为了融合而融合的图像，否则都需要进行图像配准。配准的目的是使图像满足时问和空间上的一致。在实际工程中，导致采集的图像时空不一致的因素很多，比如，摄像头的视野不同、镜片的焦距不同、图像单位时间的帧数的差异、摄像头的移动等。而且，实际工程中的图像的空间和时间上的差异在融合中是很难把握，现在也没有通用的标准来衡量这些误差。这些其他因素产生的误差是不能简单地运用融合算法来消除的。因此，只有先完成图像的配准工作，后期的图像预处理和融合算法才有意义。实际配准的过程是以一幅图像作为基础，把其他的图像通过一定算法复合在其上。1

图像预处理是融合前期的一步工作。很多研究人员认为图像预处理过程并不必要，因为图像预处理过程并不是为了在视觉上的优化，而且这个过程常常是不能被用户观察到的。实际上，对于一些有先验知识的图像，在预处理阶段可以把对先验知识表示加入到图像中，这样出来的图像再去融合，就能得到比较好的结果。如果不加预处理阶段，一味地对图像用融合方法进行融合，得到结果的可靠性就自然降低了不少。1

经过融合后，系统将输出一幅图像，理论上这幅图像将含有所有输入图像的有用信息。输出的这幅图像可以直接用于用户观测，或者经过后期处理，即图像信息应用，直接用于控制系统。由于融合过程中已经对图像进行了很好的信息抽取，此时后期处理阶段就相对会容易很多。对于一个控制系统，这个模块起到了控制器的作用。1