图像解释图像理解
图像理解(Image Understanding,简称 IU)属于计算机视觉的高层内容,它研究图像中各种目标的类别和目标间的相互关系,以此得出对图像内容的理解和对场景的描述和解释,也就是图像的语义解释。因此,图像理解的研究内容不仅包括低层的数据处理分析,还包括高层的知识表达推理。其中,目标识别属于数据分析的过程,场景描述和解释则依赖于知识的表达和推理,后者得到的结果又可用来指导前者的分析过程。可见,图像理解包含了自下而上的数据驱动和自上而下的知识驱动两个方面,具有并行性、层次性与反馈性的特点,是渐进的理解过程。
图像理解技术图像理解技术一直以来在不同领域都有着广泛的应用。美国国家科学基金会 支 持 的 人 工 智 能 进 步 协 会 (Association for the Advancement of Artificial Intelligence,简称 AAAI)将图像理解的应用领域归纳为:遥感图像解释、目标识别和理解、基于内容的图像和视频检索三个方面。
遥感图像解释简介遥感图像理解是指研究图像中各要素的性质和它们之间的相互关系,并理解图像内容的含义以及解释对应的客观现象的理论、方法和技术的统称。
遥感图像解释可以归为图像理解系统在复杂自然场景下的自动图像解释(Image Interpretation)。根据 Sigma 的理论,典型的遥感图像理解系统包括三个部分:一是如何统计图像中的空间关系;二是面向目标的知识表达及其分布式解决方法;三是基于知识的图像分割。1
下图是对遥感图像理解系统的基本描述。
遥感图像解释关键问题模式分类要对图像内容进行识别和描述,需要在对图像进行特征提取和表达的基础上,对获得的模式进行判别,从而完成目标的判断和定位。分类训练方法属于判别(discriminative)决策方法,主要是自下而上的数据驱动,即通过对训练样本(特征)的监督学习,在样本空间产生合适的区分函数,并采用形成的分类器或结构参数对待识别目标进行分类决策,得到最终的识别结果。
图像分割图像分割是图像理解中的另一个经典问题,其目的是将图像分解得到具有不同性质的一致性区域。因此,分类模型用于图像分割,符合模式识别的一般过程;此时,分类模型的具体形式取决于对何种模式进行学习,比如特征的形式和类别数,图像分割中分类模型训练目标则是得到适合于区分不同图像区域的判定准则。2
灰度图像的分割方法大体可以分成三种:第一种是基于区域的方法,比如区域生长等;第二种是边界方法,通过检测边界得到分割结果;第三种是首先检测边缘像素,再将边缘像素连接起来构成边界形成分割。一般来说,彩色图像分割会将灰度图像分割的方法转换到颜色空间来应用,常用的彩色图像分割方法有直方图阈值法、特征空间聚类、基于区域的方法、边缘检测、模糊方法、神经元网络等。
场景中的语义描述图像理解的直观任务就是通过计算机对输入场景图像进行计算、分析和推理,然后输出场景中相应目标和区域的语义化描述,通常也被称为语义标记(Semantic Labeling)。虽然语义是图像理解中最重要的高层知识,但至今尚未形成一套有效的研究方法和研究思路。如何描述图像数据信息与知识语义信息间的对应关系,则是图像理解中层次间相互衔接的关键所在。
语义获取语义是最基本的知识表达方式,以单词(word)为基本的单元描述,语义的描述和推理常见于文本分析中,文本标记是最原始的建立高层概念和图像关系的方式。之后,随着计算机视觉、图像理解发展,语义开始出现在图像区域标记中。借助场景中目标之间的语义关系,在目标识别的过程中对场景和目标进行标记,完成整个图像理解的过程。
语义标记区域的语义标记是数据与知识之间的转换过程。图像理解中涉及的标记描述非常广泛,而目前对此类问题的研究工作较少。常用的标记方法首先通过低层处理进行区域分割和线提取测量,然后形成区域线和图像特征中层数据库。实际上,数据和知识的转化和融合就是形成中层数据库的过程。标记的过程本质上是对规则的推理过程。规则表示前件为区域的若干特征数据;规则后件则是对理解的标记描述,通常为若干名词描述。只有事实库中的内容与规则的条件相匹配时,才能激活这条规则,当激活多条规则时,按解决冲突的策略只选择其中一条。
未来发展遥感图像解释是不断发展的研究领域,通过对航空遥感和卫星遥感图片的分析和理解,不仅能实现地质、矿产、森林、水利、海洋、农业等资源的调查研究,还可以用于交通场景视觉监控等。其中,遥感图像分割技术、边缘检测和融合技术,通用型遥感图像理解专家系统的建立,都将促进遥感图像解释的发展,应用于不同的领域。1