图像亮度特征对ROI提取的影响

陈再良，邹北骥，黄敏之，沈海澜，辛国江

(中南大学 信息科学与工程学院，湖南 长沙，410083)

摘要：提出一个基于改进的Itti-Koch模型的感兴趣区域(Region of interest, ROI)提取算法，同时针对图像亮度特征对ROI提取的影响问题，从2个方面进行分析研究:一是根据不同亮度权重下提取的ROI，分析亮度特征对ROI提取的影响程度；二是对眼动数据提取图像的ROI和基于改进的Itti-Koch模型提取的图像ROI进行区域评价，计算两者之间的点对点区域相似度和位置区域相似度。研究结果表明：当亮度特征和颜色特征同时影响图像ROI提取时，亮度特征所占权重不宜超过0.5。

关键词：亮度特征；感兴趣区域；眼动；相似度

中图分类号：TP317.4            文献标志码：A         文章编号：1672-7207(2012)01-0208-07

Influence of intensity feature on ROI extraction

CHEN Zai-liang, ZOU Bei-ji, HUANG Min-zhi, SHEN Hai-lan, XIN Guo-jiang

 (School of Information Science and Engineering, Central South University, Changsha 410083, China)

Abstract: An extraction ROI algorithm was proposed based on improved Itti-Koch visual attention model. Aiming at the point of extraction region of interest (ROI) influenced by intensity feature in image, it was analyzed in two aspects. The influence degree of intensity feature on extraction ROI was calculated and analyzed with the experimental result of extraction ROI in different intensity weights. While the ROI of images was evaluated with fixation points of eye movement based on improved Itti-Koch visual attention model, and their point to point similarity and regional similarity was evaluated. The experimental results show that the weight of intensity feature should not exceed 0.5 as the intensity feature and color feature affect ROI extraction.

Key words: intensity feature; region of interest (ROI); eye movement; similarity

人们对所观察的图像感兴趣的并不是整幅图像中的所有信息，而是仅仅对一部分区域或者几部分区域中的内容感兴趣，这些区域即是感兴趣区域(Region of interest, ROI)^[1]。如果能找出这些区域，并且对不同的区域赋予不同的优先级进行处理，将大大提高图像处理的效率和准确性，图像的底层特征直接影响着ROI的提取质量，因此，定性和定量地分析研究各底层特征对提取图中ROI的影响程度十分必要。Schmid    等^[2-5]利用图像中的拐点(边角、交叉点和纹理变化较大的位置)作为关键位置来提取ROI；陆伟等^[6]利用熵来降低提取图像特征的复杂性，并选取熵较大的区域作为ROI；Chi等^[7]利用基于视觉节奏的视觉注意模型来提取ROI；Huang等^[8]通过组合颜色显著性和离散矩变换(DMT)，区域种子增长和融合算法获得ROI；Won等^[9]讨论了图像中ROI和非ROI的大小划分问题。然而，这些研究均没有单独讨论图像中的亮度特征对ROI提取的影响。亮度是视觉系统对可见物体辐射或者发光量的感知属性，没有亮度，其他底层特征诸如形状、运动、颜色等也无法表现出来。同时，亮度同时也是一种外界辐射的物理量在视觉中反映出来的心理物理量，是影响图像ROI提取的1个重要底层特征。本文作者从2方面实现图像ROI提取：一方面通过设计眼动实验，利用眼动仪记录被测试者观看图像时的眼动数据，并根据所记录的眼动数据来获得注视焦点(种子点)，利用种子填充提取出图像ROI；另一方面，通过改进Itti-Koch视觉注意模型^[10]，利用该模型提取颜色特征和亮度特征显著图，并通过赋予不同权重融合成1幅最终显著图，自动阈值分割^[11]提取图像ROI。根据不同权重提取的ROI结果，分析图像亮度特征对提取ROI的影响，对改进的Itti-Koch模型提取出的图像ROI与眼动实验提取出的图像ROI进行相似度计算及区域评价，验证本文所提算法的有效性与准确性，并进一步分析图像亮度特征对ROI提取的影响。

1  基于眼动实验的ROI提取

本文研究亮度特征对提取ROI的影响，使用EyeLinkⅡ眼动仪，选取21位大学本科一年级和二年级的同学做眼动实验，记录这些被测试者观看图像时眼睛运动的相关数据。眼动实验目的是通过眼动仪记录被测试者的注视点在图像中的位置，从而获取图像的注视显著图和ROI，故只需分析注视点数据。其中注视时间大于2 000 ms或小于100 ms的注视点，认为是被测试者注意力不集中或被测试者注视漂移时采集的，这些数据均应剔除，最后得到19位被测试者的有效数据。为消除实验过程中中央偏向性的影响，每张图像第1次注视数据也被剔除。

利用筛选后眼动实验注视点所得注视焦点作为种子点，通过种子填充、形态学操作、开闭运算和中值滤波等处理实现图像ROI提取。基于眼动数据提取ROI算法如下：

Input: Fixation Points of Eye Movement

G_RD=Fixation_Focus(Fixation Points of Eye

Movement); //注视焦点

G_RDF = Flood_Fill(G_RD); //种子填充

G_{RDF_CD} = Corrode & Dilate(G_RDF); //形态学操作

G_{RDF_CD_OC} =Open & Close(G_{RDF_CD}); //开闭运算

ROI_eye = Med_Filter(G_{RDF_CD_OC}); //中值滤波

ROI_{eye_eva}=Binarize(ROI_eye) //生成待评价的ROI

Output: ROI_eye, ROI_{eye_eva}

2  基于改进Itti-Koch模型的ROI  提取

Itti-Koch视觉注意模型是基于人类视觉感知过程建立的，本文依据Itti-Koch模型这一特点，改进该模型，便于其实现图像ROI提取。

亮度是光作用于人眼时所引起的明亮程度的感觉，它与被观察物体的发光强度有关。由于其强度不同，看起来可能会亮一些或者暗一些。对于同一物体，照射光越强，反射光也越强，感觉越亮；对于不同的物体，在相同照射情况下，反射越强者看起来越亮。颜色特征在计算图像显著性的过程中占很大的比例，基于此，选择颜色特征作为对比，分析亮度特征对图像ROI提取的影响，并分析亮度特征在不同权重情况下对提取ROI的贡献。

利用改进的Itti-Koch模型提取出亮度特征显著图和颜色特征显著图，并将2个特征显著图按照不同权重融合得到最终显著图，通过自动阈值分割提取出ROI，最后对图像进行二值化得到待评价区域。基于改进的Itti-Koch模型提取ROI算法主要包括以下几步。

(1) 提取亮度特征和亮度特征显著图。据下式从输入图像中提取出亮度图：

              (1)

式中：r，g和b分别为输入图像中红、绿和蓝3个单颜色通道像素值；I表示亮度特征值。特征显著度通过计算图像中央区域c和周边区域s的高斯差分DOG得到，其中，，，通过点对点的相减得到中央周边差。对亮度信息进行中央周边差操作 ，得到6幅亮度特征图。对6幅亮度特征图进行归一化，得到亮度特征显著图，如图1所示。

图1  亮度特征显著图

Fig.1  Saliency map of intensity feature

(2) 提取颜色特征和颜色特征显著图。对颜色信息进行中央周边操作，得到6幅红绿颜色特征图和6幅蓝黄颜色特征图，对这12幅颜色特征图进行归一化，得到颜色特征显著图，如图2所示。

图2  颜色特征显著图

Fig.2  Saliency map of color feature

(3) 提取图像ROI。亮度特征显著图和颜色特征显著图其像素值按照不同权重进行叠加，得到最终显著图，并利用阈值分割提取ROI。最终显著图由式(2)通过对亮度特征显著图和颜色特征显著图像素值赋予不同权重：

              (2)

其中：和分别表示亮度特征显著图和颜色特征显著图像素值；[0, 1.0]，为亮度特征显著图权重；[0, 1.0]，为颜色特征显著图权重；p+q=1.0。最终显著图进行自动阈值分割后得到的图像ROI如图3所示。

图3  不同权重下阈值分割后的ROI

Fig.3  ROI after threshold segmentation

图3(a)所示为亮度特征权重为0，颜色特征权重为1.0时提取的图像ROI；图3(b)所示为亮度特征权重为0.25，颜色特征权重为0.75时提取的图像ROI；图3(c) 所示为亮度特征权重为0.75，颜色特征权重为0.25时提取的图像ROI；图3(d) 所示为亮度特征权重为1.0，颜色特征权重为0.0时提取的图像ROI。

(4) 二值化图像得到待评价ROI。将图3中由不同特征权重融合所得图像ROI进行二值化，得到对应权重待评价的ROI，如图4所示。

图4  二值化后的ROI

Fig.4  ROI after binarization

3  图像区域评价

得到眼动数据的ROI和基于改进的Itti-Koch模型提取的ROI后，计算2个区域的相似度来分析比较2个ROI的相似程度，以便评价ROI提取算法的有效性和准确性。

3.1  相似度评价计算

3.1.1  计算点对点区域相似度

计算图像相似度时，先计算出2幅图像的颜色直方图，取一定数量的样点进行计算，求出每个点在2个直方图中对应值差的绝对值，用该值除以2个值中较大的值作为该点的差异度；然后用1减去差异度作为该点的相似度，将所有样点的相似度求和，除以总的样点数，得到2个直方图的相似度，即2幅图像的相似度。通过下式计算出2个待评价ROI的相似度，作为点对点区域相似度：

       (3)

其中：G和S分别为由眼动数据和底层特征提取的ROI的二值图像；N为图像的像素个数，g_i和s_i分别是2幅二值图像第i个像素点对应的像素值。由于2个待评价ROI经过了二值化，其区域像素点均为最大值255，故式(3)可简化为：

        (4)

式(4)通过比较2幅二值图像中所有像素点的值，求出像素值不同点的个数并用该个数除以总数N，得出2幅图像的差异程度，用1减去差异程度即为相似度。

3.1.2  计算位置区域相似度

点对点区域相似度的计算单纯考虑每个点的差异，忽略ROI的整体概念，即忽略区域位置信息，故需增加对感兴趣区位置相似度的计算。本文用质心表示ROI的位置，质心即质量中心。假设1幅灰度图像或图像中的某个区域是有质量的，其中每个像素点的像素值表示该点的质量，那么，该图像或者区域的质心可以由式(5)所得(其中，X和Y为质心坐标)：

            (5)

图像中任意2点的距离小于对角线距离，因此，得到ROI的质心之后，计算出2个ROI的质心距离并除以对角线距离，以此值作为2个区域位置的差异度，用1减去该差异度即为区域位置的相似度：

     (6)

其中：(x_g, y_g)和(x_s, y_s)为2个待评价区域质心坐标；w和h为图像宽度和高度。

3.1.3  整合点对点区域相似度和位置区域相似度

由于位置相似度也有局限性，它忽略了区域的细节。实际上，点对点相似度算法与位置相似度从2个不同的角度反映了区域之间的相似度，它们是相辅相成的，缺一不可。因此，为了计算各种情况下的区域相似度，ROI相似度应表示为点对点相似度与位置相似度的乘积。通过下式整合点对点区域相似度和位置区域相似度，得到最终相似度，作为评价2个ROI指标。

           (7)

其中：，其值越接近1.0说明由改进的Itti-Koch模型提取的图像ROI与由眼动数据提取的图像ROI越相似，该算法的有效性和准确性越高。

3.2  ROI相似度算法

该算法对眼动实验注视点提取图像的ROI与基于改进的Itti-Koch模型提取的ROI进行区域评价，为改进的Itti-Koch模型实现图像ROI提取算法提供评价标准，根据改进Itti-Koch模型中式(2)中对亮度权重p和颜色权重q赋予不同数值，得到不同的待评价ROI，计算其最终相似度，分析不同亮度权重时对图像ROI提取的影响。ROI相似度算法如下：

Input: ROI_eye, ROI_Itti-Koch

Similarity_{point_point} = Sim2(ROI_eye, ROI_Itti-Koch); //

点对点区域相似度

Coordinate_{cent_eye} = Centroid(ROI_eye); //ROI_eye的

质心

Coordinate_{cent_Itti-Koch} = Centroid(ROI_Itti-Koch);

//ROI_Itti-Koch的质心

Similarity_region = Sim3(Coordinate_{cent_eye},

Coordinate_{cent_Itti-Koch}); //位置区域相似度

ROI_eye = Med_Filter(G_{RDF_CD_OC}); //中值滤波

Integ_Simi = Sim(Similarity_{point_point},

Similarity_region) //整合后的相似度

Output: Integ_Simi

4  图像ROI提取算法结果与分析

为了分析图像亮度特征权重对图像ROI提取的影响，并验证本文所提算法的准确性和有效性，本文对实验结果进行了2个方面的分析与研究：一方面，由眼动数据提取图像的ROI和改进Itti-Koch模型提取图像的ROI所进行区域评价得到的相似度，分析出亮度特征对图像ROI提取的影响；另一方面，根据不同权重下提取的ROI结果分析图像亮度特征对提取ROI的影响。

4.1  图像ROI提取算法

实验数据主要包括3个方面：一是由眼动实验注视点提取图像ROI；二是改进Itti-Koch模型提取图像ROI；三是2个ROI的区域评价。

4.1.1  眼动实验注视点提取图像ROI

为了使所做实验具有代表性，选取标准图像库中不同类别的图像作为实验对象。实验结果包括海滩组、鲜花组和恐龙组的图像，部分源图像经由眼动实验注视点处理后得到ROI的结果如图5所示。

4.1.2  改进Itti-Koch模型提取图像ROI

利用改进Itti-Koch模型提取图像ROI实验结果部分如图6所示。

图5  眼动实验注视点ROI

Fig.5  ROI from fixation points of eye movement

图6  不同亮度权重下提取出的ROI

Fig.6  ROI from different weights of intensity

4.1.3  区域评价

利用区域评价方法计算根据眼动实验注视点得到的ROI和改进Itti-Koch模型所得ROI的相似度，所得结果如表1所示。其中：p为亮度特征权重，x_i和y_i(i=1, 2)为质心坐标；sim(G,S)为相似度。由表1可以看出：当亮度特征权重增大时，由改进的Itti-Koch算法提取的图像ROI与由眼动实验注视点提取的图像ROI的相似度变小。这是因为鲜花组图像中，颜色特征是其最显著特征，减小颜色权重与视觉特性不符，故在此情况下两者的相似度会变小。

表2所示为赋予不同亮度权重时所提取的ROI与对应眼动实验所提取的ROI进行区域评价后计算出的相似度。

表1  2个待评价区域质心和相似度

Table 1  Centroid and similarity of two ROI

4.2  实验分析

从图5可以看出：眼动数据提取ROI算法对鲜花组和恐龙组图像所提取出的ROI效果好，符合人们观察图像时的注视区域，更贴近客观事实。而海滩组图像的提取效果则不太理想，主要原因是注视焦点(即种子点)落在图像的背景中，并没有落在图像中能引起人们注视时感兴趣的对象上，因此，填充时将背景中颜色相近的像素点填充进去，与感兴趣对象混淆起来。

表2 不同亮度权重下的相似度

Table 2  Similarity of different weights of intensity

从图6可看出：改进Itti-Koch模型提取ROI算法所提取出的ROI效果较好，能提取出较符合人眼观察时所注意到的感兴趣物体。但是，将亮度特征和颜色特征赋予不同的权重时，所提取出的ROI有差别。同时，在海滩类图像中，当亮度特征权重不断增加时，通过改进Itti-Koch模型所提取出的ROI所占图像比例越来越大，大体提取出图像中能吸引人们注意力的物体；当亮度特征权重为1.0、即完全摒除了颜色特征时，所提取出的ROI最大，提取出的物体也最具体。鲜花组所对应提取的ROI中，随着亮度特征权重的增加，所提取的图像有一定程度的缺失；当亮度特征权重为1.0时，提取出的ROI中所缺失的内容最多。这是因为鲜花图像中的颜色特征在很大程度上决定了其显著性，而显著性又决定其ROI提取的效果，所以，当图像中只剩下亮度特征时(亮度特征权重为1.0)，所提取出的ROI效果最差。

通过分析表2可以发现：海滩图像根据眼动实验注视点提取的ROI效果不是很理想。故将同一副图像以2种不同的方法提取ROI时，所提取出的2个ROI相似度并不高，这时，由改进Itti-Koch模型提取的ROI更能符合客观事实，效果比由眼动实验提取的ROI要好得多。而鲜花、恐龙组则显示由改进Itti-Koch模型提取的ROI和眼动实验注视点提取的ROI相似度较高，说明改进Itti-Koch算法准确性较高，较符合实验要求，但还是与眼动实验注视点提取的ROI有一定差异。造成这些差异的原因主要有：(1) 改进Itti-Koch模型提取亮度特征时加入了颜色特征，在融合后的显著图上进行自动阈值分割提取ROI时会对结果造成一定的影响；(2) 提取ROI时虽然能把物体的轮廓提取出来，但并不能完全消除物体中的空洞和噪声，即提取出的区域并不完整。

从表2中可见：对于海滩组(a)、(b)和(d)，当亮度特征权重增加时，ROI相似度也相应增大，说明亮度特征在这3幅图像中所占比例越大，提取的ROI效果越好；而海滩组(c)随着亮度特征权重的增加，ROI相似度出现了波动，先增大后减小，当亮度特征权重与颜色特征权重相等(0.5)时，相似度最大，所提取的效果最好；鲜花组中(a)和(c)图像随着亮度特征权重的增加，ROI相似度却降低，说明在这2幅图像中亮度特征所占比重越大，提取的ROI效果越差；而鲜花组(b)和(d)中随着亮度特征权重的增加，ROI相似度出现波动，先上升后下降，当亮度特征权重与颜色特征权重相等(0.5)时，相似度最大，提取的效果最好；恐龙组中(b)和(d)图像随着亮度特征权重的增加，ROI相似度相应上升，说明在这2幅图像中亮度特征比重越大，提取的ROI效果越好；而恐龙组(a)和(c)中ROI相似度随着亮度特征权重的增加出现波动，当亮度特征权重与颜色特征权重相等(0.5)时，相似度最大，提取的效果最好。

由实验结果可知：颜色特征对图像显著性影响比较大的图像如鲜花图像中，亮度特征对提取ROI所起到的效果并不明显；对于一般图像如海滩类和恐龙类图像，亮度特征对于提取ROI起到的效果较明显。

5  结论

(1) 根据眼动实验注视点和改进的Itti-Koch模型分别实现了图像ROI提取。

(2) 通过区域评价计算ROI相似度验证了基于改进的Itti-Koch模型提取ROI的准确性和有效性。

(3) 通过比较眼动实验提取出的ROI和改进的Itti-Koch模型提取出的ROI的相似度，亮度特征影响图像ROI的提取质量。一般来说，提取图像ROI时，亮度特征权重不宜超过0.5。

参考文献：

[1] Morevec H P. Toward automatic visual obstacle avoidance[C]// Proceedings of the 5th International Joint Conference on Artificial Intelligence. San Francisco: Morgan Kaufmann Publishers Inc, 1977: 584-584.

[2] Schmid C, Mohr R, Bauckhage C. Comparing and evaluating interest points[C]//Proceedings of the 6th International Conference on Computer Vision. Washington: IEEE Computer Society, 1998: 230-235.

[3] Schmid C, Mohr R, Bauckhage C. Evaluation of interest point detectors[J]. International Journal of Computer Vision, 2000, 37(2): 151-172.

[4] Harris C, Stephens M. A combined corner and edge detector[C]// Proceedings of the 4th Alvey Vision Conference. Manchester: Manchester Publisher, 1988: 147-151.

[5] Loog M, Lauze F. The improbability of harris interest points[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6):1141-1147.

[6] 陆伟, 倪林. 利用颜色和熵提取感兴趣区域的感性图像检索[J]. 中国图像图形学报, 2006, 11(4): 492-497.

LU Wei, NI Lin. Kansei image retrieval based on ROI extracted by color and entropy[J]. Journal of Image and Graphics, 2006, 11(4): 492-497.

[7] Chi M C, Yeh C H, Chen M J. Robust region-of-interest determination based on user attention model through visual rhythm analysis[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(7): 1025-1038.

[8] Huang C B, Liu Q, Yu S S. Regions of interest extraction from color image based on visual saliency[J]. The Journal of Supercomputing, 2010, 54(3): 271-288.

[9] Won C S, Shirani S. Size-controllable region-of-interest in scalable image representation[J]. IEEE Transactions on Image Processing, 2011, 20(5): 1273-1280.

[10] Itti L, Koch C, Niebur E. A model of saliency based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[11] Ridler T W, Calvard S. Picture thresholding using an iterative selection method[J]. IEEE Transactions on Systems, Man and Cybernetics. 1978, 8(8): 630-632.

(编辑 陈灿华)

收稿日期：2011-06-20；修回日期：2011-09-01

基金项目：国家自然科学基金资助项目(60970098，60903136，61173122)；中央高校基本科研业务费专项资金资助项目(201021200062)；湖南省自然科学基金资助项目(11JJ3067)

通信作者：邹北骥(1961-)，男，江西南昌人，博士，教授，博士生导师，从事计算机仿真、图像处理和计算机视觉研究；电话：13808458758；E-mail: bjzou@vip.163.com