图象亮度是指画面的明亮程度,单位是堪德拉每平米(cd/m2)或称nits。图象亮度是从白色表面到黑色表面的感觉连续体,由反射系数决定,亮度侧重物体,重在“反射”。
概念图像处理中,主要有图象对比度、图象亮度和图象饱和度这三个概念。
(1)图象对比度:一副图像中,各种不同颜色最亮处和最暗处之间的差别,差别越大对比度越高,这个跟分辨率没有多少关系,只跟最暗和最亮有关系,对比度越高一个图像给人的感觉就越刺眼,更加鲜亮,突出;越低则给人感觉变化不明显,反差就越小。这个概念只是在给定的图像中,与图像中颜色亮度的变化有关。
(2)图象亮度:一副图像给人的一种直观感受,如果是灰度图像,则跟灰度值有关,灰度值越高则图像越亮。
(3)图象饱和度:彩色图像的概念,饱和度为0的话,图像表现为灰度图像;饱和度越高颜色表现出种类越多,颜色表现更丰富,反之亦然。
图像亮度特征对ROI提取的影响人们对所观察的图像感兴趣的并不是整幅图像中的所有信息,而是仅仅对一部分区域或者几部分区域中的内容感兴趣,这些区域即是感兴趣区域(Regionofinterest,ROI)。如果能找出这些区域,并且对不同的区域赋予不同的优先级进行处理,将大大提高图像处理的效率和准确性,图像的底层特征直接影响着ROI的提取质量,因此,定性和定量地分析研究各底层特征对提取图中ROI的影响程度十分必要。利用图像中的拐点(边角、交叉点和纹理变化较大的位置)作为关键位置来提取ROI;利用熵来降低提取图像特征的复杂性,并选取熵较大的区域作为ROI;利用基于视觉节奏的视觉注意模型来提取ROI;通过组合颜色显著性和离散矩变换(DMT),区域种子增长和融合算法获得ROI;讨论图像中ROI和非ROI的大小划分问题。然而,这些研究均没有单独讨论图像中的亮度特征对ROI提取的影响。亮度是视觉系统对可见物体辐射或者发光量的感知属性,没有亮度,其他底层特征诸如形状、运动、颜色等也无法表现出来。同时,亮度同时也是一种外界辐射的物理量在视觉中反映出来的心理物理量,是影响图像ROI提取的1个重要底层特征。
研究从2方面实现图像ROI提取:一方面通过设计眼动实验,利用眼动仪记录被测试者观看图像时的眼动数据,并根据所记录的眼动数据来获得注视焦点(种子点),利用种子填充提取出图像ROI;另一方面,通过改进Itti-Koch视觉注意模型1,利用该模型提取颜色特征和亮度特征显著图,并通过赋予不同权重融合成1幅最终显著图,自动阈值分割提取图像ROI。根据不同权重提取的ROI结果,分析图像亮度特征对提取ROI的影响,对改进的Itti-Koch模型提取出的图像ROI与眼动实验提取出的图像ROI进行相似度计算及区域评价,验证本文所提算法的有效性与准确性,并进一步分析图像亮度特征对ROI提取的影响。
基于眼动实验的 ROI 提取研究亮度特征对提取ROI的影响,使用EyeLinkⅡ眼动仪,选取21位大学本科一年级和二年级的同学做眼动实验,记录这些被测试者观看图像时眼睛运动的相关数据。眼动实验目的是通过眼动仪记录被测试者的注视点在图像中的位置,从而获取图像的注视显著图和ROI,故只需分析注视点数据。其中注视时间大于2000ms或小于100ms的注视点,认为是被测试者注意力不集中或被测试者注视漂移时采集的,这些数据均应剔除,最后得到19位被测试者的有效数据。为消除实验过程中中央偏向性的影响,每张图像第1次注视数据也被剔除。
利用筛选后眼动实验注视点所得注视焦点作为种子点,通过种子填充、形态学操作、开闭运算和中值滤波等处理实现图像ROI提取。
基于改进 Itti-Koch 模型的 ROI提取Itti-Koch视觉注意模型是基于人类视觉感知过程建立的,研究依据Itti-Koch模型这一特点,改进该模型,便于其实现图像ROI提取。亮度是光作用于人眼时所引起的明亮程度的感觉,它与被观察物体的发光强度有关。由于其强度不同,看起来可能会亮一些或者暗一些。对于同一物体,照射光越强,反射光也越强,感觉越亮;对于不同的物体,在相同照射情况下,反射越强者看起来越亮。颜色特征在计算图像显著性的过程中占很大的比例,基于此,选择颜色特征作为对比,分析亮度特征对图像ROI提取的影响,并分析亮度特征在不同权重情况下对提取ROI的贡献。利用改进的Itti-Koch模型提取出亮度特征显著图和颜色特征显著图,并将2个特征显著图按照不同权重融合得到最终显著图,通过自动阈值分割提取出ROI,最后对图像进行二值化得到待评价区域。
研究结论(1)根据眼动实验注视点和改进的Itti-Koch模型分别实现了图像ROI提取。
(2)通过区域评价计算ROI相似度验证了基于改进的Itti-Koch模型提取ROI的准确性和有效性。
(3)通过比较眼动实验提取出的ROI和改进的Itti-Koch模型提取出的ROI的相似度,亮度特征影响图像ROI的提取质量。一般来说,提取图像ROI时,亮度特征权重不宜超过0.5。2
基于LCoS像素级图像亮度调整方法研究在计算机视觉研究领域,图像采集作为光学测量系统的关键环节,通常因为外界因素影响图像质量,例如测量环境变化以及被测物体表面材质、结构、粗糙程度分布不同。在这些因素中,影响较大的是被测物体的高亮和镜面反射。因为如果反射光的强度差异过大,易造成采集图像局部曝光过饱和,从而影响测量系统的后续数据处理。
为了避免图像采集系统中发生局部过饱和的情况,通常有3种方法来解决这个问题。第1种方法是根据测量环境和测量对象,设计不同的照明方式解决过饱和现象。照明光源需要尽量均匀,光斑大小和安装照射角度很难调节。第2种方法是在摄像机的前端增加光学滤波器,从而抑制强光,起到抑制过饱和现象的作用。此方法能够保证测量图像最大亮度在图像传感器的动态范围之内,但是这种方法同时使低亮区域图像变暗,在测量中需要满足低亮区域为非测量区域条件。第3种方法是采用高动态范围摄像机,避免强光导致CCD局部过曝光。高动态摄像机的优点是应用简单,在高动态摄像机DSP芯片内部,对同一目标进行长短时间2次曝光,然后采用图像合成算法获取图像亮度均匀的图像,合成图像在测量中无法获取被测物图像真正的亮度信息。这些方法都能解决曝光过饱和问题,但是不能对图像的亮度进行精确调整。
这些方法虽然能在特定的环境下获得好的图像质量,但是无法对图像的亮度进行像素级调整。研究采用高解析度反射式硅基液晶(LCoS)和CCD相结合设计新的光学成像系统,通过调整LCoS像素的反射率,实现CCD图像亮度像素级调节,并且CCD单次曝光可以获得高动态的图像,利用此技术获得高动态且不会损失图像细节的三维图像,可以提高光学三维测量的精度。
图像亮度调整系统结构设计硅基液晶是一种新兴的微显技术,利用该技术微显示器可以逐像素调整入射光的反射率。LCoS的应用主要集中在投影显示方面,如头盔微显示器、数码彩扩仪、图像处理系统等领域。根据LCoS能够对入射的光的亮度进行像素级衰减这一性质,将测量空间的高动态范围的亮度调整到摄像机的动态范围之内,从而抑制图像的过饱和现象。
根据LCoS的光电特性,设计专门的光学结构与LCoS驱动电路,通过此光学结构与驱动电路装置,实现了采集图像亮度的像素级调节,使过饱和的图像的动态范围调整到图像传感器的动态范围,从而达到提高采集到的图像质量的目的。
像素级亮度控制系统如图1所示,主要由3部分组成:LCoS光学系统、LCoS计算机控制驱动系统、摄像机图像采集系统。LCoS光学系统由物镜和3个中继转像镜,1个偏振分光棱镜和LCoS芯片组成,如图2所示。物镜采用工业标准的C接口保证成像在第1个中继物镜的前焦平面上,因此可以更换不同焦距的物镜适应不同环境下物体的测量。从被测物体入射到物镜的光学在第1个中继的焦平面上成实像,实像通过中继镜后转变平行光继续通过偏振分光棱镜,偏振分光棱镜保证P偏振光透射(S偏振光被反射逃出光学系统),P偏振光继续通过第2个中继镜在其焦屏面成实像,这个实像被LCoS芯片接收,根据测量的需要,LCoS把入射的P偏振光偏转为S偏振光;LCoS芯片反射光线包括P偏振光和S偏振光,反射光重新进入第2个中继镜,重新经过偏振分光棱镜,只有经过LCoS调整的S偏振光才能进入第3个中继镜在其焦平面上成实像被CCD图像传感器接收。LCoS计算机控制驱动系统由现场可编程门阵列(fieldprogrammablegatearray,FPGA)和通用串行总线(universalserialbus,USB)接口以及缓存组成,FPGA通过USB接口从PC接收LCoS参数,然后生产LCoS的驱动时序。摄像机图像采集系统采用CCD摄像机实时采集经过中继镜转换的图像。系统工作原理为:最初设置LCoS为全反射模式,计算机通过摄像机获取待测物体在LCoS全反射模式下的原始图像,通过图像质量评价算法对原始图像进行评价,计算得到摄像机过饱和的区域,对于图像上过饱和的区域根据LCoS像面和CCD像面的对应关系,调整LCoS的反射率,这样摄像机采集的图像将不会发生过饱和区域。
素级图像亮度调整原理与映射关系(1)图像亮度动态范围调整原理
本系统在图像传感器的前端安装一光学亮度衰减器LCoS,通过中继光学系统,对进入图像传感器的光的亮进行调节。通过LCoS控制电路,对LCoS芯片上每个像素液晶的电压进行调节,进而控制了液晶的旋转,从而调制了光线的偏光性。在无衰减器的光学系统中,光线经过图像传感器直接成像。
通过LCoS光学控制系统,图像亮度动态范围得到了提高,实现了图像亮度的动态调节。如果控制了某个像素点的光线的偏光性,通过相应的映射变换,就可以相应的控制到达图像传感器的光强,从而实现图像亮度的像素级调节。
(2)LCoS像素与图像传感器像素间映射模型
为了实现LCoS像素级控制CCD过饱和的区域,必须要实现CCD成像面和LCoS成像面间像素对应。像素之间的对应关系实际上是一空间映射关系。本文采用摄像机标定技术中比较著名的DLT法(directlineartransformation)对LCoS像素与图像传感器像素间映射关系进行计算,则LCOS和CCD像素坐标系映射关系如图3所示。
研究结论由上述可知,设计了高解析度LCoS和摄像机相结合像素级亮度调整系统,构建了硬件控制平台,实现了视觉测量中图像的采集像素级亮度控制。实验证明,利用本系统对3D光学图像测量系统采集的图像进行像素级的亮度调节,优化了图像质量,达到了3D光学视觉测量系统能适应各种不同测量环境的目的。LCoS驱动板尺寸很小,可以在不修改原有测量系统结构基础上,集成到实际的光学3D视觉测量系统中,对3D视觉测量系统提供有益帮助。3
本词条内容贡献者为:
胡芳碧 - 副教授 - 西南大学