一种自适应PCNN图像融合方法

李建锋^{1, 2}，邹北骥¹，辛国江¹，李玲芝¹，蔡美玲¹

(1. 中南大学 信息科学与工程学院，湖南 长沙，410083；

2. 吉首大学 数学与计算机科学学院，湖南 吉首，416000)

摘要：提出一种以图像局部方差和均值作为脉冲耦合神经网络(PCNN)参数自动调整的融合方法，并与多种金字塔融合算法、主成分分析融合方法、小波变换等图像融合算法进行比较。研究结果表明：所提出的融合方法无论是主观视觉效果还是客观评价结果均具有一定的优势，这对于拓宽PCNN的理论研究和实际应用具有一定价值。

关键词：图像融合；脉冲耦合神经网络；图像增强；图像质量评价；同源传感器图像；异源传感器图像

中图分类号：TP391.41          文献标志码：A         文章编号：1672-7207(2011)07-2004-07

An image fusion method based on adaptive pulse coupled  neural network

LI Jian-feng^{1, 2}, ZOU Bei-ji¹, XIN Gou-jiang¹, LI Ling-zhi¹, CAI Mei-ling¹

(1. School of Information Science and Engineering, Central South University, Changsha 410073, China;

2. School of Mathematics and Computer Science, Jishou University, Jishou 416000, China)

Abstract: An adaptive PCNN (Pulse coupled neural network) image fusion method was proposed which is in accordance with PCNN parameter automatic adjustment of local mean and variance. The method was compared with pyramid algorithms of image fusion, principal component analysis fusion method and wavelet transform method, etc. The results show that the proposed method is better than others in visual quality and objective evaluation. It is valuable in broading the theoretical study and practical application of PCNN.

Key words: image fusion; pulse couple neural network (PCNN); image enhancement; image quality evaluation; homologous sensor image; different source sensor images

图像融合是图像分析与处理的基础工作,传统方法大多通过对图像进行多尺度分解，然后，以一定的融合规则获取融合图像，涉及的算法主要有多分辨率金字塔和小波变换等方法^[1-2]。目前，仿生物视觉机理的脉冲耦合神经网络^[3-4]在边缘检测、图像增强、图像分割、图像检索、图像融合等领域应用广泛^[5-8]。基于该技术的图像融合主要有2种：一是与其他算法相结合的自适应PCNN融合算法^[9-10], 这类方法以文献[9]中基于标准差和拉普拉斯能量结合的自适应方法以及文献[10]中以图像的能量梯度作为PCNN(Pulse coupled neural network)参数自适应；另一类是利用PCNN自身的特性融合图像^[11-15]。基于PCNN的图像融合技术算法最大的问题是PCNN的参数必须事先确定，此外，参数众多也是PCNN图像处理中的难    题。针对上述2个问题，许多研究者提出多种解决办法^[9-15]。在此，本文作者在简化PCNN模型的基础上采用另一种自适应调整PCNN参数的方法，提出基于局部均值和局部方差的PCNN图像融合技术。实验中与多种金字塔融合方法(如拉普拉斯算子金字塔法、对比度金字塔法、梯度金字塔法、FSD、金字塔法、比率金字塔法、形态学金字塔法)、小波方法(包括平移不变小波(Shift invariance discrete wavelet transform, SIDWT)、小波变换法(Wavelet decompose transform, DWT)、主成分分析法(Principal component analysis, PCA))等多种融合算法在同源传感器图像融合以及异源传感器图像融合2个方面进行比较，对融合结果进行主观和客观评价。

1  方法概述

图像融合是提取待融合图像的显著区域，通过融合规则形成一幅包含源图像显著特征的图像处理技术。图1所示为本文方法图像融合方法的算法结构图。

图1  本文图像融合算法结构

Fig.1  Algorithm structure of the image fusion

据图1，本文方法主要包括以下3步。

步骤1：待融合图像通过直方图线性增强技术进行增强处理。

步骤2：通过PCNN得到点火图。若是灰度图像，则直接通过PCNN得到图像的点火图；若是彩色图像，则将图像分解为红(R)，绿(G)和蓝(B)3个色彩分量，通过PCNN得到各个分量的点火图。

步骤3：以各个点火图形成的显著性区域为依据，通过融合规则融合源图像得到结果。其中：灰度图像的融合直接以待融合图像的点火图为依据；彩色图像以步骤2得到的各个分量的点火图为依据，通过融合规则得到各个分量的融合图像，最后整合形成结果。

2  基于直方图线性增强和PCNN的图像融合方法

2.1  PCNN原理及改进模型

脉冲耦合神经网络单个神经元由接收域、调制部分和脉冲产生器3部分组成，数学方程描述为^[3-4]：

  (1)

    (2)

            (3)

           (4)

         (5)

式中：F_ij为反馈输入；L_ij为链接输入；U_ij为内部活动项；E_ij为动态阈值；Y_ij为脉冲输出；ij为神经元的标号；n为迭代次数；S_ij为外部刺激；W_ijkl和M_ijkl为神经元的突触连接权，代表神经元i和神经元j之间反馈域和输入域的连接强度；a_L，a_F和a_E为时间衰减常数；V_F，V_L和V_E为放大系数；β为内部活动连接系   数。在具体应用中，一个神经元对应图像中的一个像素，像素的灰度作为神经元的外部刺激输入，接收域部分的反馈输入F接受来自外界的刺激S和相邻神经元的输出Y，连接输入接受相邻神经元的输出刺激Y，内部活动项将输入域和连接域的信号进行相乘调制得到信号U，脉冲产生部分比较U和动态阈值E，若    U＞E，则脉冲发生器启动，神经元点火输出Y_ij=1，否则，神经元不点火，输出Y_ij=0。重复上述过程，直到满足条件为止。

通过上述分析可知PCNN在实际应用中存在以下问题：一是参数多,自适应地确定这些参数非常困难；二是计算量大，效率低，迭代次数也多。本文对原模型进行简化(见式(6)~(9))：

          (6)

                (7)

           (8)

        (9)

待融合图像经过式(6)~(9)的计算得到图像中各个像素连接强弱的关系，为计算图像的显著性区域做准备。与基本PCNN相比，本文方法简化了PCNN的参数，提高了算法执行的效率。

2.2  基于均值和方差的PCNN连接强度自适应调整原则

目前，自适应调整PCNN参数主要是针对连接系数β，调整的依据主要基于人眼视觉系统对特征明显的物体和区域更加关注的直观表现，进而推测在微观层面神经元之间具有不同的连接强度。文献[9]以像素之间的拉普拉斯能量和标准差，文献[10]以像素的梯度能量作为PCNN神经元连接强度设置的依据。这2种确定神经元连接强度的方法在应用中都取得了较好的效果。在图像处理中，对比度和亮度是评价图像效果的2个重要评价指标，若均值越大，则图像的亮度越大；若方差越大，则图像的对比度越强。为此，本文提出一种基于局部均值和方差的连接强度自适应调整规则，均值E_g和方差σ_g的计算公式分别为：

             (10)

          (11)

基于局部均值和方差的连接系数调整方案如下：对于图像f，以任意像素(i, j)为中心的N×N邻域    g(i, j)，计算该像素在邻域g(i, j)内的局部均值和方差。均值和方差反映该像素与邻接像素间的关系，将该值作为PCNN相应点的连接强度系数。

2.3  图像直方图线性增强

图像融合主要有2类：一类是同源传感器产生的多焦点图像，将聚焦区域融合于1幅图像中；另一类是异源传感器图像，将各个传感器得到的图像显著特征融合于1幅图像。这2类融合的目的都是提取源图像的显著性区域中置于1幅图像中。

根据韦伯-费赫涅尔可知：人眼感受物体的主观亮度不是有物体自身的客观亮度决定。主观亮度感觉M与客观亮度B之间存在如下对数关系^[16]：

             (12)

由此可以得到视觉相对对比度R为：

        (13)

其中：B和B₀分别为物体中主体的客观亮度以及背景的客观亮度；M和M₀分别为物体中主体的主观亮度以及背景的主观亮度。由式(13)可以推断：要提高视觉对比度R，必须使图像中主体的主观亮度增大的同时，使图像背景的主观亮度尽量低。即在常数k不变的情况下，使主体的客观亮度进一步增加，同时使背景的客观亮度B₀降低或者不变。

结合图像融合的特点以及上述推断，通过直方图线性增强技术增强图像，进一步强化源图像的显著性区域。这主要基于2个方面的考虑：一是直方图增强技术与同类算法相比简单，它对图像的增强方式是线性调整，没有破坏原始图像像素的整体布局，处理结果更加自然。同类技术中的均衡化技术对图像的像素进行重排，破坏了源图像的一致性，会导致图像变换后灰度级减少、细节丢失以及对比度不自然增强等问题；二是同源多焦点传感器以及异源传感器产生图像的目的都是为了突出物体某一方面的特征或性质，因此，散焦区域(非显著区域)相对于聚焦区域(显著区域)在图像中就相当于背景，而聚焦区域(显著区域)则是图像中的主体。通过大量的实验发现：对这些图像进行直方图线性增强，图像的主体增强很明显，而背景区域增强的效果并不明显。图2(a)和(e)所示为同源传感器在同一角度不同焦距获得的2幅图像。图2(b)和(f)是源图像(图2(a)和(e))经过直方图线性增强处理后得到的图像。可以看出：聚焦区域对比度更加明显，细节更加突出，而各个图像的散焦区域的对比度没有提高。从增强后图像点火图(图2(d)和(h))也可发现图像的聚焦区域边缘更加清晰，轮廓更加完整，而散焦区域在图像增强前、后的边缘增强并不明显。这正符合韦伯-费赫涅尔发现的人眼感受物体的特征以及本文想要达到的效果。

2.4  图像融合规则

对于待融合图像I₁和I₂，各自的点火图I_1F和I_2F以像素(i, j)为中心的局部区域I_1F(i, j)和I_2F(i, j)以及融合结果F，本文的融合规则具体如下。

步骤1：取出点火图I_1F和I_2F各个像素的局部区域I_1F(i, j)和I_2F(i, j)。

步骤2：计算I_1F(i, j)和I_2F(i, j)的最大值，即max(I_1F(i, j))和max(I_2F(i, j))。

步骤3：设定阈值，进行如下判断得到融合图像F。

图2  图像增强处理前后以及相应点火图效果对比

Fig.2  Image enhancement effects and corresponding ignition figures before and after treatment

3  实验及讨论

为了验证算法的有效性，进行仿真实验，将该方法与对比度金字塔、梯度金字塔、拉普拉斯金字塔、FSD金字塔、形态学金字塔法、比率金字塔法以及SIDW等方法进行比较，以验证上述算法在同源传感器多焦点图像融合以及异源传感器在同一位置产生的不同图像融合的性能。金字塔算法将图像分解为4层，小波方法中均进行4层小波分解，其中DWT采用Db4小波基，SIDWT采用Haar基。本文方法的链接矩阵为常用的W=[0.707, 1.000, 0.707; 1.000, 0, 1.000; 0.707, 1.000, 0.707]。对融合结果，本文给出主观和客观的评判。主观评价主要是观察融合图像的直观效果，客观评价主要是针对融合图像的分辨率以及融合图像包含信息的程度2个方面进行定量分析，并从融合图像的均值(Mean，V_A)、标准差(Standard deviation，D_S)、熵(Entropy, E)、互信息(Mutual information, MI)等具体指标进行评估。其中：MI_A，MI_B，MI_C和MI_AVG分别为融合结果与源图像A、源图像B、合成标准图像以及上述结果的平均互信息等指标。上述评价指标均值反映融合结果的亮度，其值越大，说明亮度越大；标准差用于评价图像的细节纹理以及图像均值的离散等情况，其值越大，说明细节纹理信息越多，灰度分布越分散；熵用于评价图像携带信息的情况，其值越大，说明融合后图像从原始图像中提取的信息越多,融合效果越好；互信息是评价融合图像对标准参考图像不确定性的减少量，其值越大越好；平均互信息量表征了融合图像从源图像中获取信息的丰富程度，对于大小为M×N的图像，各公式定义如下^[17]：

             (14)

            (15)

      (16)

式中：L为图像的灰度等级；P_i为灰度i在图像中出现的概率；N为图像大小；f为融合图像；f_v为标准图像；E(A,B)为图像A和B的联合熵。

3.1　同源传感器图像融合

在同源传感器图像融合中采用文献[13]中的测试图像。各个算法的融合效果由于从主观视觉上的差别不大，因此文中没有列出。客观评价方面从表1的评价结果看，本文方法性能均比其他方法的优。

3.2　异源传感器图像融合实验

图3(a)和(e)所示为不同传感器在同一位置拍摄的2幅不同图像，它们反映出的地物信息各有侧重。源图像图3(a)突出了地物的颜色信息，目标的细节比较模糊；源图像图3(e)则突出了目标的细节，如何使融合图像既具有颜色信息，又不丢失各个目标的细节信息是本次融合的目的。图3(b)~(d)以及3(f)~(l)所示为各种方法融合的结果，表2所示为各种算法融合的客观评价结果。

表1  不同融合算法在同源传感器多聚焦图像融合结果的均值、标准差、熵、平均互信息情况

Table 1 　Performance of different fusion methods on V_A, D_S, E and MI_AVG

图3  异源传感器图像各种融合算法直观效果

Fig.3  Fusion algorithm direct effects for inhomogeneous sensor and different focal distance images

表2  不同融合算法在异源传感器图像融合结果均值、标准差、熵、平均互信息比较

Table 2  Performance comparison of different fusion methods for different source sensors on V_A, D_S, E and MI_AVG

从直观效果来看，SIDWT，PCA和比率金字塔3种算法得到的融合图像比较模糊，其他算法以及本文方法得到的融合图像比较清晰，而由本文方法得到的结果不但具有丰富的颜色信息，而且结果中包含的细节信息、纹理信息更多目标区域更加突出，如源图像中的桥梁、公路、码头以及河流中的船只的刻画更加 显著。在客观评价指标方面：本文方法所得均值、标准差、熵、平均互信息的排名分别为1，2，3和1，其综合评价结果靠前。

3.3  讨论

通过比较可知：本文方法在同源传感器图像融合中无论是主观视觉评价还是客观评价均优于其他方法。在异源传感器图像融合中，本文方法在融合结果的细节以及还原各源图像的显著区域方面优势明显，在客观评价中本文方法各项指标综合评价较优。但该方法存在一些不足，如：尽管SIDW，PCA和比率金字塔的融合结果明显存在模糊不清的情况，但是其客观评价结果较好；此外，在异源传感器图像融合的结果中，虽然本文方法的直观效果很好，但融合结果的图像熵和标准差不是最优，主观视觉感受与客观评价不能完全一一对应。因此，对图像融合进行评价时，需要结合实际情况，将主观评价和客观评价相结合，以便得到与实际相符的评价结果。

4  结论

(1) 提出了一种基于PCNN的自适应图像融合方法。在具体操作中，前期通过直方图线性增强预处理使得源图像中的显著性区域得到加强；在自适应参数选择上，利用方差和均值作为连接强度的计算依据进一步强化了图像的对比度和亮度。

(2) 实验结果的主观效果以及客观评价指标证明了本文方法的可行性。怎样使图像融合效果主观评价与客观评价之间进一步统一，从而提高融合效果评价的精准度有待进一步探讨。

参考文献：

[1] Redondo R, ?roubek F, Fischer S, et al. Multifocus image fusion using the log-Gabor transform and a multi-size windows technique[J]. Information Fusion, 2009, 10(2): 163-171.

[2] WANG An-na, YANG Ming-ru, LIU Zuo-qian, et al. Medical image fusion based on wavelet and SOM network[J]. Computer Engineering, 2009, 35(21): 200-202, 205.

[3] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Comp, 1990, 2(3): 293-307.

[4] WANG Zhao-bin, MA Yi-de, CHENG Fei-yan, et al. Review of pulse-coupled neural networks[J]. Image and Vision Computing, 2010, 28(1): 5-13.

[5] CHENG Fei-yan,WANGZhao-bin, MA Yi-de, et al. A new approach for edge detection of color microscopic image using modified pulse coupled neural networks[C]//ICBBE 2009: 3rd International Conference on Bioinformatics and Biomedical Engineering. Beijing, 2009: 1-4.

[6] ZHANG Yu-dong, WU Le-nan, WANG Shui-hua, et al. Color image enhancement based on HVS and PCNN[J]. Science China Information Sciences, 2010, 53(10): 1963-1976.

[7] LU Yun-feng, MIAO Jun, DUAN Li-juan, et al. A new approach to image segmentation based on simplified region growing PCNN[J]. Applied Mathematics and Computation, 2008, 205(2): 807-814.

[8] Johnson J L, Padgett M L S. PCNN models and applications[J]. IEEE Transaction on Neural Networks, 1999, 10(3): 480-498.

[9] 李美丽, 李言俊, 王红梅, 等. 基于自适应脉冲耦合神经网络图像融合新算法[J]. 光电子激光, 2010, 21(5): 779-782.
LI Mei-li, LI Yan-jun, WANG Hong-mei. A new image fusion algorithm based on adaptive PCNN[J]. Journal of Optoelectronics Laser, 2010, 21(5): 779-782.

[10] 苗启广, 王宝树. 一种自适应PCNN多聚焦图像融合新方法[J]. 电子与信息学报, 2006, 28(3): 466-470.
MIAO Qi-guang, WANG Bao-shu. A novel algorithm of multi-focus image fusion using adaptive PCNN[J]. Journal of Electronics & Information Technology, 2006, 28(3): 466-470.

[11] WEI Li, ZHU Xue-feng. A new algorithm of multi-modality medical medical image based on pulse coupled neural networks[C]//Advances in Natural Computation: First International Conference. ICNC. Berlin: Springer, 2005: 995-1001.

[12] WEI Huang, ZHONG Liang-jing. Multi-focus image fusion using pulse coupled neural network[J]. Pattern Recognition Letters, 2007, 28(9): 1123-1132.

[13] 李敏, 蔡骋, 谈正. 基于修正PCNN的多传感器图像融合方法[J]. 中国图象图形学报, 2008, 13(2): 284-290.
LI Min, CAI Cheng, TAN Zheng. Modified PCNN based multisensor image fusion scheme[J]. Journal of Image and Graphics, 2008, 13(2): 284-290.

[14] WANG Zhao-bin, MA Yi-de. Dual-channel PCNN and its application in the field of image fusion[C]//Proc of the 3rd International Conference on Natural Computation. Washington DC, 2007: 755-759.

[15] QU Xiao-bo, YAN Jing-wen. Multi-focus Image fusion algorithm based on regional firing characteristic of pulse coupled neural networks[C]//3rd International Conference on Bio-Inspired Computing: Theories and Applications, 2008. BICTA 2008. Zhengzhou, China, 2007: 62-66.

[16] 俞斯乐, 侯正信, 冯启明, 等. 电视原理[M]. 北京: 国防工业出版社, 2000: 4-18.
YU Si-le, HOU Zheng-xin, FENG Qi-ming. TV principle[M]. Beijing: Defense Industry Press, 2000: 4-18.

[17] ZHOU Wang, Bovik A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.

(编辑 陈灿华)

收稿日期：2010-12-22；修回日期：2011-03-25

基金项目：国家自然科学基金资助项目(60970098，60803024)；国家自然科学基金重大研究计划项目(90715043)；教育部高等学校博士点基金资助项目(20090162110055)；教育部高等学校新教师基金资助项目(200805331107)；浙江大学计算机辅助设计与图形学国家重点实验室开放课题(A1011，A0911)；湖南省教育厅科研资助项目(09C745)

通信作者：邹北骥(1961-)，男，江西南昌人，博士，教授，博士生导师，从事图形图像处理、多媒体技术、CAD技术及软件工程技术等研究；电话：13808458758；E-mail: bjzou@163.com