[科普中国]-图像序列分析

简介

世界是变化的，序列图像为我们提供了比单一静止图像更丰富的信息。序列图像分析的意义是将图像处理从静止图像转移到序列图像上，通过对多帧连续图像分析，可获得从单一图像中不可能得到的信息。只有在序列图像中我们才有可能认识和分析动态过程。硬件技术的迅猛发展使计算机对图像的存储量和处理速度有巨大的进步，为序列图像分析提供了有力支持，使得实时的序列图像分析成为可能。1

序列图像分析的基本任务是从图像序列中检测出运动信息或目标，识别或跟踪运动目标，估计运动物体的三维运动及结构参数。它是图像处理与计算机视觉领域中的一个非常活跃的分支，由于在国民经济和军事领城的许多方面有着广泛的应用，对它的研究受到各国科学家的普通关注。1

研究重点图像序列分析主要是针对序列图像进行分析处理，根据分析与处理的目的不同，它通常涉及到运动目标检侧、运动参数估计、运动景物分割、目标跟璐以及识别几部分内容。其中，运动检侧、运动今数估计、目标分割、目标跟踪属于视觉中的低级和中级处理部分，而目标识别则属于高级处理。当然，它们之间也可能存在交又( 比如先检侧，再识别，然后跟踪等)。下面将重点从处理方法入手回顾这几个方面国内外的发展现状。1

运动检测运动检测的目的是从序列图像中将变化区域从背最图像中提取出来。运动区域的有效检侧对于目标分割、跟踪和目标识别等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、阴影及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。下面归纳出目前几种常用的方法。1

1、背景减除

背景减除方法是目前运动分割中最常用的一种方法。它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。

2、时间差分

时间差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阅值化来提取出圈像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。

3、光流

基于光流方法的运动检侧采用了运动目标随时间变化的光流特性，该方法的优点是在摄像机运动存在的煎提下也能检侧出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。

运动估计在随时间变化的图像序列中，核与帧之间存在着很大的空间冗余，通过运动估算可以有效的去除冗余，保留帧间的有效信息，这对于图像序列数据压缩和传输是非常重要的。如果景物和摄像设备都是静止的，其在当前帧中的位里与在下一帧中的位里应当是相同的；如果在静止景物中还有运动的物体，则对当前帧中运动物体上某一像素点，在未来时刻的最佳运动位置估计，应为该像素点在下一帧中的位里。常用的运动估计方法有：1

1、基于光流方程的方法

它依据时空图像的亮度梯度得到一个光流场的估算。对于灰度图象，光流方程要与合适的时空平滑约束条件联合使用，要求位移矢量在附近区域缓慢变化。对于彩色图像，光流方程可分别施加于每个颜色带上，约束三个方向的位移矢量。

2、基于块的方法

假设图像是由运动的块构成的。相位相关法中，两个相邻帧之间的傅立叶相位差决定了运动估计的结果。块匹配算法是使用“ 距离准则” 搜索出相邻帧间的固定大小的最佳匹配块的位置。

3、像素递归法

像素递归法是预测校正型的位移估算器。预测值可以作为前一个像素位里的运动估计值，或作为当前像素淋浴内的运动估算线形组合，依据该像素上的位移帧差的梯度最小值，对预测作进一步的修正。

4、贝叶斯法

它利用随机平滑约束条件，通常采用Gibbs随机场方法来估算位移场。贝叶斯方法的主要不足是需要大童计算。

目标切割目标分割的目的是从检测到的运动区域中将对应于目标的运动区域提取出来。不同的运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机所捕捉的序列图像中可能包含行人、车辆及其它诸如飞鸟、流云、摇动的树枝等运动物体，为了便于进一步对自标景物进行跟踪和行为分析，运动目标的正确分割是完全必要的。1

目标跟踪跟踪即是对目标在图像中的位置进行连续的或按时间采样的离散测量，通过对目标运动行为的估计，预测连续的传感器范围内目标在图像中的下一个位置，其等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，常用的数学工具有卡尔曼滤波、Condensation 算法及动态贝叶斯网络等。其中Kalman滤波是基于高斯分布的状态预测方法，不能有效地处理多峰模式的分布情况；Condensation 算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。1

目标识别运动检测、目标分割与目标跟踪是序列图像分析中研究较多的三个问题，而目标的识别是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和识别，它同样包括特征提取和模式匹配两个主要部分。模式匹配可以简单地被认为是时变数据的分类问题, 即将测试序列与预先标定的代表典型运动的参考序列进行特征匹配。由此可见, 模式匹配的关键问题是如何从学习样本中获取参考运动序列, 并且学习和匹配的运动序列必须能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化。1

匹配时变数据的技术通常有: a) 动态时间规整DTW(Dynamic Time Warping)：DTW具有概念简单、算法鲁棒的优点，早期被广泛地应用于语音识别中，并且最近才被用于匹配视频的运动模式。b) 隐马尔可夫模型HMMs(Hidden Markov Models) ：HMMs 在学习能力和处理未分割的连续数据流方面比DTW有更好的优越性，当前被广泛地应用于运动目标的模式匹配中。c) 神经网络NN(Neural Network) ：同样也是 目前比较感兴趣的匹配时变数据的方法。1

难点尽管图像序列分析研究己经取得了一定的成果，但下述几个方面仍是今后研究的难点问题，迫切需要引起广大科研工作者的高度关注。1

（1）运动分割

快速准确的运动分割是个相当重要但又是比较困难的问题。这是由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，这些都给准确有效的运动分割带来了困难。

（2）遮挡处理

目前，大部分图像序列分析系统都不能很好地解决目标之间互遮挡和自遮挡问题。遮挡时，目标只有部分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与目标各部分之间的准确对应问题。

（3）三维建模与跟踪

二维方法在早期的图像序列分析中证明是很成功的，尤其对于那些不需要精确的图像恢复或低图像分辨率的应用场合。而三维方法在不受限的复杂的人的运动判断、更加准确的物理空间的表达、遮挡的准确预测和处理等方面的优点是二维方法所不能比拟的；目前基于视觉的三维跟踪研究仍相当有限, 三维运动恢复的实例亦很少，且大部分系统由于要求鲁棒性而引入了简化的约束条件。

（4）多摄像机的使用

多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个不同的方向视角以用于解决遮挡问题。对于多摄像机跟踪系统而言，我们需要确定在每个时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间的选择和信息融合是一个比较关键的问题。

（5）性能评估

一般而言，鲁棒性、准确度、速度是人运动分析系统的二个基本要求。例如，系统的鲁棒性对于监控应用特别重要，系统的准确度对于控制应用特别重要，而系统的处理速度对于那些需要实时高速的监控系统而言更是非常关键。因此，如何选择有效的工作方案来提高系统性能、降低计算代价是个特别值得考虑的问题。

发展趋势随着图像序列分析研究和其它相关技术的发展，下述几个方面己经成为未来的发展趋势：1

（1）从特定目标检测的角度，通过引入目标先验知识来研究目标的检测和分割；

（2）深入分析形状特征及其对目标检测算法的影响；

（3）讨论多目标的检测和分割；

（4）就多视角采样识别中的采样充分性判别加以讨论；

（5）研究人机交互的纪录和重用等问题。