DOI: 10.11817/j.issn.1672-7207.2016.11.015
基于区域特征的SCM多聚焦图像融合算法
毕晓君，刁鹏飞，陈春雨
(哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨，150001)
摘要：针对人眼对图像局部区域更敏感的特点，提出一种基于图像区域特征的自适应脉冲发放皮层模型(SCM)的多聚焦图像融合算法。该方法将多聚焦图像融合过程分为2个阶段：第1阶段基于图像的源图像局部区域特征对比，融合相同区域及优越区域；然后采用SCM模型对2幅图像的差异区域进行融合并相应的提出一种融合准则；为得到最佳的模型融合参数，采用引力搜索算法进行智能寻优，且为了提升算法的求解性能采用2种自改进策略。仿真实验采用3组标准图片对算法进行验证，本文算法均取得较好的融合效果，验证本文所提算法的有效性。
关键词：多聚焦图像融合；脉冲发放皮层模型；区域特征；改进引力搜索算法
中图分类号：TP391 文献标志码：A 文章编号：1672-7207(2016)11-3721-08
Multi-focus image fusion based on regional characteristics of SCM
BI Xiaojun, DIAO Pengfei, CHEN Chunyu
(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)
Abstract: Considering our eyes are very sensitive on regional characteristics, a new fusion algorithm which combines regional characteristics and adaptive SCM is proposed. And the new algorithm has two steps to fusing image. Firstly, comparing the regional characteristics of the two images, and fusing the best area and the same area. Then, the difference area of image will be fused by SCM model. And a fusion standard was proposed. In order to select parameters of the model to get a better fusion image, an optimization algorithm was adopted and some improvements will be make to enhance searching ability. At last, experimental results show that the method can provide a best fusion quality in visual sense than other contrast algorithm.
Key words: multi-focus image fusion; spiking cortical model; regional characteristics; gravitational search algorithm
图像融合是信息融合范畴内以图像为对象的研究领域[1-4]。它将多个传感器获得的同一场景的图像信息通过一定的算法加以综合，从而获得关于此场景的更准确的描述。其中，多聚焦图像是图像融合中一个主要的研究方向，即将多幅同一场景不同焦点的图像融合成一幅更适于人眼观察的图像。当前主流的图像融合方法主要有2种，即频域法[5-6]和空间域法[7]。脉冲耦合神经网络(pulse coupled neural network, PCNN)因其是根据人眼视觉成像习惯而提出的一种神经网络模型，因此一经提出被广泛应用于图像处理领域，但其最大的缺点是需要人工设置的参数较多，且不同参数的组合会影响最终的融合结果[8]，这就为图像融合的前期工作带来了较大的计算复杂度。脉冲发放皮层模型(SCM[9]是在PCNN的基础上提出的一种新的神经网络模型。与PCNN模型相比，SCM模型中需要人为设定的参数较少，模型更为简单。目前国内外对于这一模型的研究才刚刚起步，WANG等[10]将SCM应用于医学图像融合，随后，WANG等[11]又提出一种基于像素清晰度的SCM图像融合算法。但以上方法都是基于一个像素点的细节完成融合的。本文作者为了使图像融合结果更符合人眼成像习惯，将融合过程分为2个阶段：第1阶段，通过对2幅图像的局部区域细节进行对比，确定出2幅图像中的相同区域以及优越区域；第2阶段，采用SCM模型完成剩余图像的融合，并针对不同的打火情况提出了一种基于像素区域能量的融合准则；最后，针对文中存在的参数，提出一种改进的引力搜索算法对其进行优化求解。实验部分与几种典型的图像融合方法进行比较，验证了本文方法的有效性。
1 脉冲发放皮层模型
SCM是由若干个神经元互连所构成的反馈型网络，每一个神经元都由接收域、调制部分和脉冲产生器3个部分组成，具体如图1所示。
图1 SCM模型
Fig. 1 Model of SCM
其原理数学方程可描述为
(1)
(2)
(3)
其中：
为神经元(i,j)在第 n 次迭代时的内部活动项；Sij为外部激励，即输入图像的在点(i,j)处的像素；
为动态门限；
为脉冲输出，由内部活动项和动态阈值来决定；W为连接权重矩阵；f为内部活动项的衰减系数；g和h分别为阈值衰减系数和阈值放大系数。
在SCM未被激活时，神经元的内部活动项能量为0，随着迭代次数的增多，的能量逐渐增大，每当其大于时，即发放脉冲并输出点火状态。SCM中的神经元通过局部耦合构成一个全局互连的神经网络。当某个神经元处于点火状态时，邻域内与其状态相似的未点火的神经元就会捕获这个激励，经调制后发送脉冲，提前实现点火。
2 基于区域特征的SCM图像融合算法
传统的基于空间域的图像融合方法，主要是基于像素点完成图像融合的，但人眼的视觉系统对一个像素区域的状况更为敏感，尤其对于多聚焦图像的融合，融合的目的是得到一个更加清晰的图像区域。为了保证最终的融合图像更适于人眼观察，本文将融合阶段分为2步，首先基于图像的区域特征细节进行区域的融合，然后采用SCM模型完成图像剩余部分的点的融合，过程的具体分析如下所示。
2.1 基于区域特征的图像融合
设局部区域的半径为r，然后依次计算每个局部区域的细节特征，这里选取的细节特征为空间频率，并比较2幅图像对应区域的细节特征。空间频率用来测量图像整体活动性，直接与图像清晰度相关。空间频率较大，即表明融合结果携带的信息量较大，清晰度较高。空间频率具体表示为
(4)
其中：
为图像在
处的灰度；RZ为行频率；CZ为列频率；M和N为区域图像的尺寸。
当得到2幅图像对应局部区域的细节指标时，根据比较结果进行融合，具体描述如下：
1) 2幅图像对应局部区域细节完全相同，即
，则说明2幅图像对应区域的细节相同，则将此区域直接作为融合完成区域予以保留；
2) 若存在局部区域图像细节完全占优的区域，即
，则较优局部区域能给人更好的视觉感受，则较优区域即为融合后区域；
3) 对于同时被2幅图像对应位置且值不同的而被同时触发的点，放入第2阶段重新融合。
2.2 基于SCM的图像融合
第1阶段完成了2幅图像中的较优区域和相同区域的融合，剩余待融合区域是2幅源图像之间存在差异的区域。对该部分，本文采用SCM模型对其进行融合，在融合前，先将已完成融合的图像，作为先验信息替换2幅图像的对应区域，这样可以消除劣势区域对于待融合图像区域的干扰，提高融合质量。
当像素点打火时，融合规则描述如下：
1) 当模型迭代结束时，获得打火次数更多的像素点，说明其在边缘区域部分具有更高的亮度，因此将其保存为最终的融合点。
2) 对打火次数相同的像素点，采用基于该像素点区域能量的方式进行融合，具体表示为
(5)
其中：
为像素(i,j)的融合结果；
和
为参与融合的2幅源图像；
和
为融合加权系数，这里加权系数是基于像素区域能量进行计算的，即当前像素点所在区域具有的能量越多，说明该区域的图像信息越丰富，因此在融合过程中，应着重考虑该区域，使其在融合过程输出更多的信息，权值系数的具体求解过程如下式所示：
(6)
(7)
(8)
其中：
和
分别为图像A和图像B在像素(i,j)处的能量，根据EOL[12]准则得到。
基于区域特征的SCM图像融合算法步骤具体描述如下：
1) 将2幅待融合图像进行配准,初始化SCM模型。
2) 采用2.1节描述的方式，对图像进行第1阶段的融合。
3) 将融合好的区域替换2幅源图像中对应的区域。
4) 采用SCM进行再次融合，当达到最大迭代次数时，对于打火的像素点，采用2.2节所述方式进行融合。
3 自适应参数优化
在SCM模型中存在几个需要人工确定的参数，具体分析如下：
1) f为内部活动项的衰减系数，它的大小决定着内部活动项Uij(n)的衰减快慢程度。
2) g和h分别为阈值衰减系数和阈值放大系数，将直接影响阈值门限的变化情况。
3) r为完成第1阶段融合的关键参数，直接影响第1阶段的区域特征融合。
4)
为求解加权系数的参数，直接影响像素点的融合。
传统的确定参数的方法大多采用穷举法以及根据以往经验的办法，这在融合前期会带来较大的计算复杂度，且根据经验难免会有误差，对此，为了省去人工调制的复杂性，提高算法的图像融合效果，本文采用智能优化算法对参数进行求解。GSA是2009年提出的一种较为新颖的智能优化算法[13]，以其收敛速度快，收敛精度高而被国内外专家学者广泛关注。因此本文尝试将引力搜索算法作为模型参数的优化算法。
3.1 引力搜索算法
在GSA中，种群个体都是在空间中运动的个体，它们在万有引力的作用下彼此相互吸引运动，它们的质量是评价其优劣的标准，质量较大粒子的位置对应较优解。在进化过程中，GSA算法通过个体间的万有引力相互作用实现优化信息的共享，引导群体向最优解区域运动展开搜索。
设空间中含有N个粒子，则第i个粒子的位置为
；i=1, 2, …, N (9)
其中：n为搜索空间的维数；
为第i个粒子在第k维上的位置信息。在t时刻，2个粒子间的作用力为
(10)
其中：
和
分别为粒子j和粒子i的质量；ε为一个极小的常量；G(t)为在t时刻的万有引力常数。具体定义为
(11)
其中：G0为初始时刻的引力常数；T为最大迭代次数，且设置不同的T会导致引力常数以不同的趋势减小。
为粒子i与粒子j之间的欧氏距离。则在t时刻，粒子i在k维上受到的其他粒子的合力
为
(12)
其中：
为变化区间在[0, 1]之间的随机数；
为第粒子j对粒子i在第k维空间上的作用力。依据牛顿第二定律，定义t时刻粒子i在k维上的加速度如公式(13)所示。
(13)
在进化过程中，粒子的速度和位置的更新方式为
(14)
粒子的质量与其适应度有关，质量越大的粒子，表明其更接近最优粒子，其对其他粒子的作用力会较大但是其移动速度会较慢，粒子质量的计算方式为
(15)
其中：
为粒子i的适应度；
为质量最小粒子的适应度；
为质量最大粒子的适应度。
3.2 改进引力搜索算法
在GSA算法中，物体间力的作用使种群的每个粒子得以不断更新位置、向着最优解运动，粒子位置信息的每一次更新，都是靠其他粒子所提供的作用力得以进化的，所以粒子通过力的作用所获得的加速度是保证种群不断向着最优解运动的关键。但当个体所获加速度过大，即搜索步长过大时，会导致个体跳出当前搜索空间，进而导致粒子当前进化得不到更优解；当加速度过小，即搜索步长过小时，会导致算法收敛速度慢，甚至发生搜索停滞。因此，个体加速度是否适合当前的搜索区间会直接影响算法对最优解的搜索。
为了避免出现加速度不利于进化搜索的情况发生，本文根据种群进化情况，提出自适应缩放因子调整加速度的策略，以保证搜索步长适合于当前搜索空间，利于对最优解的搜索。本文经过理论和实验的反复推导，给出加速度的缩放调整策略。
当
＞
时，对加速度依据式(16)进行缩小，直到不满足该条件为止。
(16)
当＜
时，对加速度依据式(17)进行放大，直到不满足该条件为止。
(17)
式中：l1和l2为第k维搜索空间的动态边界，这里取判定因子F1=1，F2=0.01。考虑到随着进化的进行，种群的分布情况是由发散的大区域逐渐收敛到小区域，因此在式(16)中，缩小因子q1在(0, 1)之间随迭代线性递增；在式(17)中，放大因子q2在(1,10)之间随迭代线性递减。通过对搜索步长自适应的缩放，即对加速度动态的调整，确保了加速度相比于当前搜索空间不会出现过大或过小的情况发生，有利于算法对最优解快速有效的搜索。
另外，为平衡算法的全局搜索能力和局部开采能力，本文采用文献[14]提出的带有方向性的变异策略，具体表示如式(18)所示
(18)
其中：r1和r2为服从U(0,1)分布的随机数。
3.3 适应度函数
采用智能优化算法对未知参数进行优化搜索时，需要为算法确立目标函数，目标函数须保证最终所得到的参数，就是能使模型的融合效果达到最优的那组参数。图像融合评价指标是衡量一个算法融合效果的判断依据，因此可以选择相关的评价标准作为目标函数，在图像融合评价指标中，通用图像质量评价指标Q0[15]主要从人眼视觉特性出发，评价2幅图像在相关性、亮度和对比度3个方面的差异，能够较好反映图像间的相似程度，且具有通用性。其值越大表示2幅图像相似程度越高，因此本文选择评价指标Q0作为本文的目标函数。通用图像质量评价Q0定义如下：
其中：A和B为原图像；F为融合图像；
为A和F间的协方差；
和
分别为A和F间的标准差。
3.4 算法步骤
步骤1 算法的初始化，设定种群粒子数N、问题维数D，并为每个个体随机产生位置、速度；设定引力常量中的G0和a，规定最大迭代次数T。
步骤2 计算每个个体的适应度，进而求得每个个体所受的合力，以及获得的加速度。
步骤3 对得到的每个粒子在每维上的加速度进行判断，对于符合条件的粒子，采用自适应加速因子策略，保证粒子加速度在合理的区间范围内。
步骤4 对种群采用式(18)所示的变异策略，并与变异前进行比较，保留最优值。
步骤5 判断是否满足终止条件，若不满足转到步骤2，否则输出具有最优值的个体。
4 实验仿真
为了验证本文所提融合算法的有效性，选取了两组已配准的图像进行融合实验，图像大小都为512pixel*512pixel，第1组是Bottle的多聚焦图像，第2组是CLOCK的多聚焦图像。并与基于PCNN的图像融合算法、基于波形变换的像素融合算法、基于双通道PCNN的像素融合算法以及基于融合取最大准则的像素融合算法，另外为比较本文改进引力搜索算法的有效性，又与采用改进前的引力搜索算法优化参数的方式进行比较。图像融合质量从主观和客观2个方面进行评价比较，主观评价采取目测的方式，主要考察融合图像的清晰度、对纹理细节的表达效果。 选择的客观评价指标有：平均梯度(AVG)、空间频率(SF)、Q0以及灰度均值(MEAN)。AVG主要反映图像对细节的表达能力，其值越大则表示融合图像的细节表达能力越好，具体计算方式如下：
MEAN表示图像的平均亮度，映入眼帘的亮度越高，则人眼观察越舒适，具体计算式为
其中：n为图像中含有像素点数；xi为第i个像素点的像素。
4.1 参数设置
种群规模N设置为30，问题维数设置为5，引力搜索算法的最大迭代次数设为500，SCM的迭代次数设为40，，f 和g初始化范围在区间(0,1)内，r的半径生成区间在[3,64]范围内，h的初始化范围在[10,30]之间,引力算法中的相关参数参考文献[9]。
4.2 实验结果与分析
图2所示为Bottle多聚焦图片的图像融合结果，对该组实验的融合结果从主观评价的角度看，虽然选择实验的几种融合方法都能表现出多聚焦图像聚焦的主要特征，基于MAX方法的融合图像，画面较亮但清晰度较差，基于PCNN的图像融合方法画面较暗，基于Dual-PCNN的融合结果与2幅源图的各自的聚焦区域相比，清晰度有所下降，只有基于DWT的图像融合算法和本文算法在亮度以及清晰度上要优于其他几种图像融合算法。表1给出了本组实验的客观评价结果。从表1可以看出：本文算法与SUM-GSA算法相比在各个指标上均有所提高，证明了本文更对与GSA算法改进的有效性，在指标MV上不如方法MAX好，这是因为算法MAX在融合过程中采用的像素点融合取最大准则，因此平均灰度要高一些，但在其他指标上，本文算法均优于MAX，对评价指标AVG，Q0以及SF，本文算法与DWT得到的结果在数值优于其他方法，且本文算法要好于DWT算法，这也证明了本文所提方法的有效性。
图2 Bottle图像融合结果
Fig. 2 Results of Bottle image fusion
表1 Bottle图像的客观评价指标
Table 1 Objective evaluation index of Bottle
表2 CLOCK图像的客观评价指标
Table 2 Evaluation index of CLOCK
表3 Lab图像的客观评价指标
Table 3 Evaluation index of Lab
图3所示为CLOCK多聚焦图片和图像融合结果。从主观评价角度看，各种融合方法基本能实现多聚焦融合，但可以看出：图3(d)和3(h)的清晰度较差，图3(c)右侧表轮廓出现了失真，观察图3(g)会发现该图中存在一些噪点，图3(e)中的清晰度则较差，明暗对比不明显。因此，通过主观判断，本文所提算法所得到的融合图像具有较好的清晰度以及对细节的表达效果。采用客观评价标准进一步对图像融合质量进行评估，表2给出了最终的客观评价结果，根据表2的结果依然可以看出，指标在AVG，Q0以及SP上，本文方法要好于其他算法，对指标MV，本文方法相比于MV要差一些，这是因为按照取最大准则得到的融合图像，其亮度一定会更高一些，但其平均梯度、空间频率以及Q0要比其他方法更差一些。
图3 不同融合方法的CLOCK融合图像
Fig. 3 Fusion images of different fusion methods
图4所示为Lab多聚焦图片和图像融合结果。从主观评价角度可以看出：各个融合算法都完成对2幅图像的多聚焦融合，其中DWT算法得到的融合图像相比于源图像灰度较暗且图中人物的头部出现了块效应；由MAX算法得到的融合图像的轮廓清晰度较差，本文算法得到的融合图像无论是表盘数字还是人脑轮廓的细节表达都优于其他算法得到的融合图像。
采用客观评价标准进一步对图像融合质量进行评估，表3给出了最终的客观评价结果。由表3可以看出：指标在AVG，Q0以及SP上，本文方法取得较优的融合效果，对指标MV，本文方法要低于MAX融合方法，但其平均梯度、空间频率以及Q0要比其他方法更差一些。
图4 Lab多聚焦图片
Fig. 4 Fusion images of Lab
综合以上实验可以得出结论：1) 3组实验验证了基于区域特征的图像融合方法的有效性；2) 与采用GSA算法进行参数优化的方法相比，改进GSA算法具有更好的效果，验证了本文对GSA算法改进的有效性。由于采用了智能优化算法对融合模型参数进行了智能寻优，因此复杂度高于其他算法。
5 结论
将区域的融合与点的融合相结合，提出一种基于区域特征的自适应SCM图像融合方法。根据人眼视觉成像的区域敏感特点，将图像融合过程分为2个部分，为了降低人工设置参数所带来的计算复杂度，采用引力搜索算法智能优化模型中存在的参数，实验表明：本文所提出的融合方法在融合图像过程中，相比于其他方法具有更好的细节表达能力，验证本文提出算法的有效性。
参考文献：
[1] REHMAN N, KHAN M M, SOHAIB M I, et al. Image fusion using multivariate and multidimensional EMD[C]// 2014 IEEE International Conference on Image Processing (ICIP). Paris: IEEEComputer Society, 2014: 5112-5116.
[2] MAURI G, COVA L, DE BENI S, et al. Real-time US-CT/MRI image fusion for guidance of thermal ablation of liver tumors undetectable with US: results in 295 cases[J]. Cardiovascular and Interventional Radiology, 2015, 38(1): 143-151.
[3] BAI Xiangzhi, ZHANG Yu, ZHOU Fugen, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22(3): 105-118.
[4] WANG Lei, LI Bin, TIAN Liangfang. Multi-modal medical image fusion using the inter-scale and intra-scale dependencies between image shift-invariant shearlet coefficients[J]. Information Fusion, 2014, 19(1): 20-28.
[5] ZHANG Baohua, LU Xiaoqi, JIA Weitao. A multi-focus image fusion algorithm based on an improved dual-channel PCNN in NSCT domain[J]. Optik-International Journal for Light and Electron Optics, 2013, 124(20): 4104-4109.
[6] 邢雅琼, 王晓丹, 毕凯, 等. 基于非下采样轮廓波变换和压缩感知的图像融合方法[J]. 控制与决策, 2014, 29(4): 585-592.
XING Yaqiong, WANG Xiaodan, BI Kai, et al. Fusion technique for images based on non-subsampled contourlet transform and compressive sensing[J]. Control and Decision, 2014, 29(4): 585-592.
[7] DAS S, KUNDU M K. A neuro-fuzzy approach for medical image fusion[J]. Biomedical Engineering, IEEE Transactions on, 2013, 60(12): 3347-3353.
[8] 李奕, 吴小俊. 粒子群进化学习自适应双通道脉冲耦合神经网络图像融合方法研究[J]. 电子学报, 2014, 42(2): 217-222.
LI Yi, WU Xiaojun. A novel image fusion method using self-adaptive dual-channel pulse coupled neural networks based on PSO evolutionary learning[J]. Journal of Electronic, 2014, 42(2): 217-222.
[9] ZHAN Kun, ZHANG Hongjuan, MA Yide. New spiking cortical model for invariant texture retrieval and image processing[J]. Neural Networks, IEEE Transactions on, 2009, 20(12): 1980-1986.
[10] WANG Rui, WU Yi, DING Mingyue, et al. Medical image fusion based on spiking cortical model[C]//SPIE Medical Imaging. International Society for Optics and Photonics, 2013: 867610-867610-7.
[11] WANG Nianyi, MA Yide, ZHAN Kun. Spiking cortical model for multi-focus image fusion[J]. Neuro Computing, 2014, 130(3): 44-51.
[12] HUANG Wei, JING Zhongliang. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters, 2007, 28(4): 493-500.
[13] RASHEDI E, NEZAMABADI-POUR H, SARYAZDI S. GSA: a gravitational search algorithm[J]. Information Sciences, 2009, 179(13): 2232-2248.
[14] 毕晓君, 刁鹏飞, 肖婧. 基于混合策略的引力搜索算法[J]. 系统工程与电子技术, 2014, 36(11): 2308-2413.
BI Xiaojun, DIAO Pengfei, XIAO Jing. Gravitational search algorithm with mixed strategy[J]. Journal of Systems Engineering and Electronics, 2014, 36(11): 2308-2413.
[15] 罗晓清. 多传感器图像融合理论及其应用研究[D]. 无锡: 江南大学生物工程学院, 2010: 63.
LUO Xiaoqing. Study on the theory of multi-sensor image fusion and its application[D]. Wuxi: Jiangnan University. College of Biological Engineering, 2010: 63.
(编辑 陈爱华)
收稿日期：2016-01-15；修回日期：2016-04-09
基金项目(Foundation item)：国家自然科学基金资助项目(61175126)；中央高校基本科研业务费专项资金项目(HEUCFZ1209) 高等学校博士学科点专项(20112304110009) (Project(61175126) supported the National Natural Science Foundation of China; Project(HEUCFZ1209) supported by the Fundamental Research Funds for the Central Universities; Project(20112304110009) supported by the Special Scientific Research Foundation of the Doctoral Program of Higher Education)
通信作者：毕晓君，博士，教授，从事信息智能处理技术、智能优化算法、数字图像处理研究；E-mail: 398317196@qq.com
