第27卷第8期 2010年8月 计算机应用研究 Application Research of Computers Vo1.27 No.8 Aug.2010 基于PCA和自适应区域方差的图像融合方法 牛晓晖,贾克斌 (北京工业大学电子信息与控制工程学院,北京100124) 摘要:在对源图像进行提升小波变换的基础上,针对分解得到的低频分量和高频分量各自的特点,选取不同 的融合规则,采用基于PCA和自适应区域方差的图像融合方法,即低频近似系数采用基于主元分析(PCA)加权 法,高频细节系数采用自适应局部区域方差的融合方法,最后进行提升小波逆变换得到融合图像。实验结果表 明,与传统算法相比,该算法不仅提高了信息量和清晰度,而且提高了融合图像与源图像的相关系数,降低了扭 曲程度,有效地保留了源图像的细节信息,得到了清晰的融合图像,具有良好的目视效果。 关键词:图像融合;提升小波;主元分析;局部区域方差 中图分类号:TN911.73 文献标志码:A 文章编号:1001—3695(2OLO)O8—3179—03 doi:10.3969/j.issn.1001—3695.2010.08.101 Image fusion algorithm based on PCA&self-adaptive region variance NIU Xiao—hui,JIA Ke—bin (College ofElectronic Information&Control Engineering,Beijing University ofTechnology,Beijing 100124,China) Abstract:This paper proposed a novel image fusion algorithm based on PCA and self-adaptive local region variance according to the different characteristic of the coeficientsf of low frequency and high frequency after litifng wavelet transform on the origi- nal image,that was,used a weighted method depending on principal component analysis in the low frequency image,and se— lected an algorithm called serf-adaptive local region variance as the guide to the high frequency images.At last,obtained the fused image by applying inverse litfing wavelet transform.Compared with other traditional methods based on wavelet transform, the experimental results show that this algorithm not only increases entropy and average gradient effectively,but also improves the correlation coefficient,reduces the degree of distortion,holds detail information of original images and provides good visual effects. Key words:image fusion;liting wavelfet transform;PCA;local region variance 选取提升小波对图像进行处理。 0 引言 图像融合是指将多个成像传感器或同一成像传感器以不 同工作模式获取的关于同一场景的图像信息加以综合,以获得 新的关于此场景更准确的描述…。它一方面尽可能多地把源 图像中的有用信息融合起来,另一方面尽可能地消除融合数据 经过提升小波变换后的图像,其低频波段表征图像的近似 部分,许多基于小波变换的图像融合算法针对低频系数的融合 运算只是简单地采用加权平均法,如文献[3,4],这种方法虽 然简单,但是没有充分考虑待融合图像对之间的相关信息;对 于表征图像细节信息的高频部分,选取描述邻域变化程度的方 差作为区域特征,文献[4,5]采用局部区域方差取大的融合规 则,这种方法在图像对应像素的局部区域方差相差不大时,会 丢失掉许多有用的信息。针对上述问题,本文在提升小波变换 的基础上,采用主元分析(PCA)加权法及自适应区域方差的方 法来确定图像高频融合系数。 之间的冗余。图像融合作为一种综合处理多传感器图像数据 的有效技术,日益引起了人们的重视,其应用范围已遍及军事、 遥感、医学、安全监控等领域。 图像融合的方法主要分为空间域和变换域两类。空间域 融合方法简单,但对图像的细节表现不足,融合效果并不理想。 由于人类的视觉系统对事物的局部对比度变化(如边界、拐点 等)十分敏感,使得基于变换域的融合方法逐步取代空间域融 合方法 。小波变换作为变换域的一种重要分析方法,具有 较好的独立性和方向性,并且具有分解后数据总量不会增大的 优势,成为目前图像融合的研究热点之一_2.3 J。 1 图像的提升小波变换算法 提升小波变换又称做第二代小波变换,其最显著的特点是 不依赖于傅里叶变换,所有运算都是在空间域中进行。其重构 过程通过简单地调整计算顺序和分解过程中的正负号就可以 实现,这使得运算复杂度降低了一半,处理二维图像数据时可 减少约3/4的数据量。 1.1 提升小波变换的步骤 传统的基于卷积运算的小波变换作为一种有效的多分辨 分析方法,在图像融合中得到了广泛应用,但它在处理大量的 图像数据时,存在着所需内存较大、计算复杂等缺点,不利于图 像融合算法的快速实现。针对这一问题,很多研究在变换域上 收稿日期:2010-O1—05;修回日期:2010-02—19 提升小波变换过程可分为分裂、预测、更新三个环节。 基金项目:北京市自然科学基金及教委重点科技项目(KZ200910005005) 作者简介:牛晓晖(1983一),女,山东临沂人,硕士研究生,主要研究方向为图像的融合与处理技术(niuxiaohui1230@yahoo.com.on);贾克斌 (1962一),男,北京人,教授,博导,主要研究方向为图 视频内容检索、编码和处理技术、基于Intemet网的多媒体信息处理技术、数据融合等. ・318O・ 计算机应用研究 选取 的第一主分量作为融合图像。 第27卷 1)分裂将初始信号|s(n)分解成奇、偶序列,即S (n)= s(2n),S。(n)=S(2n+1)。 d)根据特征值及单位特征向量构造融合加权因子 P = PljP ;i:1,2,…,/1, J l 2)预测针对数据间的相关性,用偶数序列预测奇数序 (2) 列,预测误差为d(n)=S。(n)一 S (n)]。其中:P[]为预测算 子,d(n)对应高频小波系数。 3)更新用d(n)来修正S (n),即c(/7,)=s。(n)+u[d 其中:P ,=I A I/萎I A I表示子图像 所占融合图像的比重, P =In I/ I。 I图像 中的像素i对融合结果的重要程度。 e)得到低频子图像的尺度融合系数: x(x,y)= P xi( ,y) (3) (n)]。其中:U[]为更新算子,c(n)对应低频系数。 1.2图像的提升小波分解 对图像的提升小波分解算法主要分为两个步骤: a)对图像矩阵的行进行提升小波变换,得到逼近系数矩 2.2高频域的融合规则 . 阵和细节系数矩阵。 b)对分解得到的逼近系数矩阵和细节系数矩阵分别按列 进行提升小波变换,得到图像的一个低频子图像和水平、垂直、 对角三个方向的高频子图像,这就完成了对图像一层小波分 解。对图像的低频系数矩阵重复上述分解过程,可实现对图像 任意尺度的分解。 由于图像的小波提升是完全可逆的过程,其反变换与正变 换结构对称,运算相反,可以实现精确重构。 2 图像频率域的融合规则 图像融合过程中,融合规则的选取至关重要,它的好坏直 接影响到融合图像的质量。小波变换应用于图像融合的优势 在于它可以将图像分解到不同的频率域,不同的频率域采用不 同的融合算法,从而在合成图像中保留源图像在不同频率域的 显著特征。对于经过提升小波变换得到图像低频系数和高频 系数,由于低频和高频稀疏对整幅图像的贡献不同,采用的融 合规则是不同的。 2.1 低频域的融合规则 图像经过提升小波变换后的低频波段表征图像的近似部 分,许多基于小波变换的图像融合算法针对低频系数的融合运 算只是简单地采用加权平均法。这种方法虽然简单,但是没有 充分考虑待融合图像对之间的相关信息,而同一场景的图像低 频系数值差别不大,并且具有一定的关系。鉴于此,本文采用 主元分析(PCA)法来确定图像低频融合的权重系数,从而提高 了融合图像的目视解译效果。 主元分析方法是一种将多个相关变量转换为少数几个独 立变量的有效分析方法,通过减少通道问的依赖性而达到减少 数据的通道或子带的目的。 利用PCA变换确定加权系数的低频子图像融合的基本 步骤: a)设置, ,…, 是/z幅待融合图像经过提升小波变换 后的低频子图像,每幅子图像观测m个分量,将这些数据标准 X11 I2 …Xlm 21 22 …X2m 化,得x: ,建立其相关矩阵: “j Xn2 … nm R=X X/n (1) b)求R的特征值A。,A:,…,A ,按从大到小的顺序对其排 序,并求得相应的单位特征向量,记为A=(A。,A:,…,A )。 c)写出主成分, = UX1+A2j +…+ jX ( =1,2,…,m)。 由于第一主分量图像的方差最大,它包含了图像的主要信息, 图像经过提升小波变换后的高频波段表征图像的细节特 性,如图像的边缘、区域边界等,对高频系数的处理,直接关系 到图像是否清晰,边缘失真是否严重。在小波系数子图像中, 某邻域的均值用于描述邻域内小波系数值的平均水平,而方差 描述该邻域的变化程度,可反映图像细节的信息;并且考虑到 在一个局部区域中,像素之间具有很强的相关性,图像在某个 像素点的特征不是由单个像素体现的,而是由其周围的像素共 同体现。因此,本文选取方差作为高频子图像的局部区域(3 ×3)特征。 文献[3,6]采用局部区域方差取大的融合规则,这种方法 在图像对应像素的局部区域方差差别很大时具有很好的效果, 但是如果局部方差相差不大,使用该方法就会因一幅图像覆盖 另一幅图像而丢失掉许多有用的信息,为了解决这一问题,本 文选取阈值theld=0.8,提出了一种自适应局部区域方差的融 合方法。以两幅图像A(.tn, )、B(m,n)为例,具体算法如下: a)根据方差公式: 1 M N var ( ) (4) 分别对源图像A、B计算各点的3×3局部区域方差,并对其进 行归一化处理,形成图像的归一化局部区域方差序列 (m, /z),馏(m,n)。 b)分别对A、B、 、馏进行 层提升小波分解,得到各自 的多分辨率结构: .L, -L, 。 (K=Ⅳ, ,D),对其做差: dif: .L(m,n)一 .£(m,n) (5) c)比较阈值theld与Idifl的大小。 d)如果Jdifl≥theld,则取方差较大的像素值作为融合后 的小波系数;否则,进行加权处理: D : + ,. . , , (6) 其中:D 为融合后的多分辨率结构,即 r .L,嗡,£≥ ,L&Idifl ̄>theld ,J = ,{ 蜡,£< .£&ldifl theld (7) L暌£ .L+ L ,L'ldifl<theld ..高频子图像采用的这种自适应局部区域方差的融合方法, 既较好地保留了清晰图像的细节信息,又避免了图像数据因差 别不大时造成的信息丢失,确保了融合图像的一致性。 3 实验结果与性能评价 为了验证本文算法的有效性,对经过配准后的两类不同特 征的源图像进行了实验。实验选取Db4作为小波基,用因式 分解得到等效的提升小波 ,小波变换层选择三层 ,并对实 验结果与传统算法进行了相应的比较。 第8期 牛晓晖,等:基于PCA和自适应区域方差的图像融合方法 1 jlfⅣ ・3181・ 第一类用于实验的源图像是不同聚焦的图像,第二类是可 见光与红外图像。其中:图1(a)是左聚焦源图像,(b)是右聚 焦源图像;图2(a)是可见光图像,(b)是红外图像;图1、2的 (C)~(f)分别是运用本文算法、低频加权平均高频局部区域 最大法(算法1)、低频PCA加权高频绝对值最大法(算法2)、 D 专 , 。,,( )一 ( √)‘ 度值。扭曲度越小,失真度越小 。 (¨) 其中:,,(i√)、,(i, )分别为融合后和原始图像上( , )点的灰 表1和2给出了以上实验各种算法融合结果的性能评价。 表1多聚焦图像融合的参数比较 低频加权平均高频绝对值最大法(算法3)得到的融合结果。 ■_一_一_ _一验图●■ _一_ ● (d)低频加权高频 (e)低频PcA加权 (f)低频加权高频取大 局部区域取大 商频取大 图2可见光与红外图像的融合实验 从视觉效果来看,运用本文算法得到的融合图像清晰度 高,表现出更多的细节信息,如图1(C)大闹钟的左侧边缘内容 明显比后三幅融合图像丰富,从而避免了图像失真;同时,本文 算法的融合结果更突出了目标信息,如图2(e)中的铁丝网比 (f)的铁丝网更加清晰可见,(d)中的人比(f)中的人更加突 出,而(C)中无论是铁丝网还是人,甚至右上角的烟雾都比后 三幅图像更便于人眼判读,也有利于计算机的后续处理。 对融合效果的评价,除了目视效果这种主观评价方法外, 还需要进行定量分析,本文选取了信息熵、平均梯度、相关系数 和扭曲程度几个客观评价标准。 信息熵是衡量图像信息丰富程度的—个重要指标,其定义为 一1 H=一 P ・log 2(P ) (8) 其中:P 表示图像中像素灰度值为i的概率。融合图像的熵越 大,说明融合图像的信息量增加得越多。 平均梯度也称做清晰度,它反映了图像中的微小细节反差 与纹理变化特征,其定义为 一 1 M—IN一1,————— ——. ———:.———一 Vg MxNi =l善 ̄/( △ ) (9) 其中:△ 和△L分别为 与Y方向上的差分。图像的平均梯 度越大,说明图像越清晰,边缘信息保留得越多。 相关系数反映两幅图像的相关程度,其定义为 ∑[(A(i )一A)×(B(i√)一B)] C(A,B)=——==竺======————————=—=—=====—一 f 10) 、/ [( A(i, )~ ) ]× [(B(i, )一 ) ] ’i ‘,i 其中:A( , )和B(i, )分别为两幅图像的灰度值, 和百分别 为均值。相关系数越接近于1,表示图像的接近度越好。 扭曲程度直接反映了融合图像的失真程度,其定义为 从表1、2可以看出,本文算法得到的融合图像的信息熵和 平均梯度与其他几种算法相比,都是最大的,说明本文算法可 以提供含有更多信息量、清晰度更好的融合图像。由后两个评 价指标的对比结果可知,无论是与标准图像的接近程度,还是 失真程度,本文算法得到的融合效果都是最优的,由此也证明 了本文算法的有效性。 4结束语 基于提升策略的小波变换在处理大量图像数据时所需内 存较小,应用该方法进行图像的分解和重构,可以更快地实现 融合算法。对于表征图像近似部分的低频分量,本文充分考虑 待融合图像对之间的相关信息,采用基于主元分析(PCA)加权 法。对于表征图像细节信息的高频分量,考虑到方差描述邻域 的变化程度,可反映图像细节的信息,并且在一个局部区域中, 像素之间具有很强的相关性,采用白适应区域方差的融合方法。 实验表明,该方法对于多聚焦图像的融合、可见光与红外图像的 融合都是有效的,并且该方案可以推广到多源图像的融合。 参考文献: [1]敬忠良,肖刚,李振华.图像融合一理论与应用[M].北京:高等教 育出版社,2007. [2]孙巍,王珂,袁国良,等.基于复数小波域的多聚焦图像融合[J】. 中国图象图形学报,2008,13(5):951—957. [3]张泽勋,付炜.一种基于特征增强的小波图像融合新方法[J].微 计算机信息,2008,24(1):293.295. [4]刘贵喜,刘纯虎,凌文杰.一种基于小波多分辨率分解的图像融合 新算法[J].光电子・激光,2004,15(3):344—347. [5]WEN C Y,CHEN J K.Multi-resolution image fusion technique and its application to forensic science[J].Forensic Science Inlema・ tional,2004,140(2):217—232. [6]强赞霞,彭嘉雄,王洪群.基于小波变换局部方差的遥感图像融合 【J].华中科技大学学报:自然科学版,2003,6(6):89—91. [7]DAUBECHIES I,SWELDENS W.Factoring wavelet transforms into lifting steps[J].Journal of Fourier Analysis and Applications, 1998,4(3):247—269. [8]KANNAN K,PERUMAL S A.Optimal decomposition level of dis— crete wavelet transform for pixel based fusion of multi-focused images [C]//'Proe of International Conference on Computational Intelligence and Multimedia Application.Washington DC:IEEE Computer Socie— ty,2007:314-318. [9]郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出版社。 2008:230.234.