基于阈值改进Contourlet变换的图像融合算法

2021-11-01 来源：钮旅网

第45卷第1期 2017年1月

Journal of South China University of Technology

(Natural Science Edition)

华南理工大学学报（自然科学版）

January

Vol.45 No.l

2017

文章编号：l〇〇〇-565X(2017)01-0035-07

基于阈值改进Contourlet变换的图像融合算法

吴鹏1

李雯霖

齐德昱2

宋文龙1

(1.东北林业大学机电工程学院，黑龙江哈尔滨150040 ; 2.华南理工大学计算机科学与工程学院，广东广州510640)

摘要：为获得到效果更好的融合图像，提出了一种基于结构相似度（SSIM)阈值自适应判定融合规则的改进算法.该算法对低频子带采用了基于相关系数离均差的加权求和融

合算法，以保留更多的概貌信息；对高频子带则先计算待融合图像各个区域的SSIM，然后取平均值作为阈值，再根据各个区域的SSIM与阈值的关系自适应地选择高频子带融合算法，以保留更多的细节信息.实验结果表明，文中改进的图像融合算法可以获得细节更丰富和边缘更清晰的融合图像，融合图像质量的客观评价指标更优.关键词：图像融合；Contourlet变换；结构相似度中图分类号：TP317.4 doi： 10.3969/j.issn.l000-565X.2017.01.005

图像融合技术能依据需求、利用不同算法对源自同一目标的由不同传感器得到的图像信息进行整合[1]，得到冗余度小、可靠性高、信息利用率高的图像[2].在图像融合的多分辨率分析方法中，小波变换因其良好的时频分析特性而成为研究热点[34].但由于小波基为不同尺寸的正方形，当分辨率精细程度增加时，正方形尺寸变小最终成“点”来逼近奇异性曲线;水平、垂直、对角方向是一维小波在推广到高

维时张成的3个各向同性的方向，这种可分离的小波不能稀疏地表示含线或面的奇异性的高维函数[5 6].随着多尺度变换技术的发展，人们提出了以 Ridgelet[7]、Curvelet[8]为代表的多分辨率分析算法. 在此研究基础上，Do等[9]提出的Contourlet变换继承了曲线波（Curvelet)变换的各向异性，是一种“真正的”二维表示方法，它使用“长条形”基灵活多变地逼近曲线，改善了小波变换只有3个方向的基的缺陷，在每个尺度均能提供数目不同、方向灵活的基，产生更多方向的频率子带，通过高维表示更有效

收稿日期：2016-04-01

地挖掘图像的边缘细节信息，捕捉几何结构，从而迅速成为图像融合界的新宠.

为获得效果更好的融合图像，文中设计了一种

基于结构相似度判定融合规则的Contourlet变换，并用于左、右聚焦图像的融合;对Contourlet变换得到低频子带的融合法则进行改进，设计了基于相关系数（CC)离均差（SS)的低频子带加权融合算法，以保留更多的图像概貌信息;计算待融合图像各个区域的SSIM，取平均值作为阈值，再根据各个区域的

SSIM与阈值的关系自适应地选择两幅图像对应像

素点取平均（AVG)或者边缘信息取最大(EIN)的高频子带融合算法，以保留高频子带更多的细节信息; 最后采用基于区域的加权平均（RAVE)融合算法和

EIN法进行对比实验.

1 Contourlet 变换

Contourlet变换基于Curvelet思想，由拉普拉斯

RFQXJ127);东北林业大学中央

高校基本科研业务费专项资金资助项目（2572014CB14);黑龙江省博士后科研启动基金资助项目（LBH-Q14006)Foundation item： Supported by the National Natural Science Foundation of China( 31470714)作者筒介：吴鹏（1980-)，男，博士，副教授，主要从事图像处理研究.E-mail:79102570@ qq.com 个通信作者：齐德昱（1959-)，男，教授，博士生导师，主要从事计算机系统结构、人机交互、图像处理算法优化研究.E-mml:

*基金项目：国家自然科学基金资助项目（31470714);哈尔滨市科技创新人才研究专项（2014

qideyu@ scut.edu.cn

36华南理工大学学报（自然科学版)第45卷

塔形滤波器组（LP)变换[%和方向滤波器组（DFB) 变换分别独立构成，多尺度分析以捕获奇异点[11]，多方向分析将方向一致的断点连线形成基本轮廓段，实现完全重构™‘

如图1所示，LP分解能产生一个下采样低通部分和差值图像a，避免了混频现象的发生.图中，丑为分解滤波器，M为采样矩阵，为合成滤波器.这种处理可循环，进而形成第〃层低通部分和高频细节部分，并得到相应低频和高频的子带系数，完成金式中，丨^丨以为dfb的系数空间R'yvsCU，…， 2M)的基.

Contourlet变换的具体过程如图3所示^],

高频子带

字塔式图像分解.

图

1 LP分解与重构示意图

Fig.l Schematic diagram of LP decomposition and reconstruc

tion

这一过程用内积形式表7K为

( 1)

式中，丨也为拉普拉斯金字塔系数空间RM的基， %为输人信号.

Bamberger•等[13]构建了可按方向分解图像的 DFB，Do@等在此基础上做了改进，将分解图像的方

式改为经过3次分解后，再对高频子带进行DFB分解，得到的二维（2D)多层频谱划分如图2所示，其中^分别为水平、垂直方向上的频率.

(71,71)

图2

二维多层频谱的划分

Fig.2 Division of 2D multi-layer frequency domain

用内积形式表系DFB过程：

td=(^.(pdy

⑵

不同方向输入

髙频子带

图像

圈3

Contomiet变换过程

Fig.3 Process of contomiet transform

同样地，用内积形式表示Contourlet变换，根据式（1)、（2)，则有

^j,d = (sj

=((x^j) ^d) =(x^j,d

)

(3)

式中我a为Contourlet变换系数空间RMxA\"的基，心=

(♦]，中 dh

对均勻分布且对称度高的Zoneplate图像使用 Contourlet变换进行3级分解，结果如图4所示，第1

级分解得到4个方向子带，第2级分解得到8个方向子带，最细致的第3级分解得到16个方向子带.

Contourlet变换可以根据图像特征以及工程需求选

(

a)Zoneplate 图像

(

b)Contourlet二级分解

图4 Contomiet变换分解示意图

Fig.4 Schematic diagram of contourlet transform decomposition

第1期

吴鹏等：基于阈值改进Contouriet变换的图像融合算法

择在每一尺度上需要分解的子带数目，细致地展现

方向细节特征.Contouriet变换结合了 LP有效分解图像低频、高频信息并处理低频信息的优点，以及

DFB处理高频信息的优点，这种双滤波器组在空

1,v V vV^= 〇,

Cab多 \\ ~ A, K

域、频域均具有较完备的表现，能更为稀疏地表示图像细节特征和纹理信息.

文中改进了低频信息的融合规则，增加了基于相关系数的阈值判断，当C#小于判定阈值K时，表明图像4、s相差较大，引用离均差判定图像区域偏离均值的大小，偏差较大的图像融合系数取0,偏差较小的图像融合系数取1.低频信息能表达图像的概 2图像融合

将待融合图像分别进行Contouriet分解，

得分解系数丨丨，丨，设融合图像为

由分解系数根据一定的规则得到对应的融合系数为

丨

丨，其中/为分解层数，4为图像Z(Z = 4、

s、F)的低频子带系数，4为图像z的第y层、第/c

个方向的高频子带系数.2.1改进的低频融合规则

低频信息反映了图像的概貌，是反映图像轮廓的绝对性因素.而在Contouriet变换中，多次分解将导致低频子图像成倍缩小，尽可能多地保留图像人

S的低频信息，有助于提高图像质量.

文中提出了基于相关系数（CC)离均差（SS)的低频子带加权融合算法，该算法根据待融合图像的相关性合理地保留图像的概貌信息.

待融合图像4、S的相关函数表示为

CXv (AV-A)(BV-B)ab

1(4-A)2J⑷

^(bv-b)2V V该函数表明了两幅图像的相关性，其中4、坟为进人窗函数r内对应坐标的灰度值分别为相应

'111'

图像灰度的均值，^= 1 1 1，c#为非负且不大

All

.于1的数值.当图像人B高度相似时;当4 =B 时取得最大值1;当图像人B差别较大时C#^0.

低频信息融合规则为mFj(x,y) = wAmAj(x,y) +wBmBJ(x,y)

(5)

式中，％

为改进的基于相关匹配度C#的权值，

C^KK^iA-Af^iB-Bf

V V1, ^KK^iA-Af

V V(6)

1 / ^ il~K

_Qs\\

Cab 多'

貌，因此匹配相对不剧烈的区域能达到较好的效果. 当不小于判定阈值时，表明图像人B相似度较高，取与k相关的权值.多次仿真实验发现，k取0.7 时得到的仿真效果最好，故实验中设定/< = 0.7.

2.2

改进的高频融合规则

高频信息承载着表现图像细节特性（物体边缘、纹理）的任务[15].这些细节特征融合结果的好坏直接影响了图像的质量，如何更好地保留高频子带

信息以减少图像失真一直是Contouriet融合的重点研究方向.Wang等[16]提出了利用图像区域中的亮度、对比度及结构信息定量评价图像质量的方法.文中首先计算待融合图像的结构相似性（SSIM )，将其作为高频信息融合算法的选择参数.

S设待融合图像人B的结构相似度为

(A,B)= [l(A,B)Y [c(A,B)Y [S(A,B)V (8)

式中crA:zcrBy )= ，(^幻二(2 +C2) / (cr2A+cr2B+C2) ,s( A ,B

) = [cov(A,B

) +C1 N

i N

3]/(crAcrg + C3) ,/j,a =A=—Y,Ai,1xb=B = —YjBi,

^ =

X (BrB)2,crAB =H

Z (4-J) (B,-右），调节权值取 a =/3=y = 1;

i=i

~和/^分别为图像4、S像素灰度值的均值;亮度函数Z(4，B)e(0，l]，表示两图像的相似性随着函数值的增加而增加;分别为图像像素灰度值的标准差;C(AS) e(〇，l]，表示估算对比度的强烈程度;■sM，B)反映依据协方差和方差判断的结构相似程度；当/4 +/4或者接近于〇时，会出现不稳定状况，故文中引人常数^、(：2、(：3以避免因

分母过小而带来的不稳定性.若取C3 = C2/2，则

c/4

_(2^B+Ci)[cov(A,B)+Cl]38华南理工大学学报（自然科学版)第45卷

图像4 J越相似，则S(4，B)值越接近于1，这种根据均值方差和协方差评估相似性的算法更符合人眼对影像品质的判断.

图5给出了男人图像的分析结果，其中根据左、右聚焦图像计算得到的SSIM图的图像矩阵由其 SSIM值构成，越白的图像区域表示相似度越大， SSIM值越大且越接近于1，越黑的图像区域表示相似度越小，SSIM值越小，直观地表示了原图像4、B 的结构相似度;SSIM图的直方图反映了 A”图像的结构相似度SSIM的数值分布情况.计算得到左、右聚焦图像的平均结构相似度为〇. 927 3.平均结构相似度将原图像结构相似度的数值分布分成两部分，文中令、为平均结构相似度的值.根据图5可知，平均结构相似度能够清晰反映不同区域相似度的数值分布.文中引人SSIM判定改进高频区域融合算法，对阈值、左、右侧部分对应的原图像区域的高频子带分别采取不同的融合策略，以获得更佳的融合效果.

首先对图像进行分区，然后计算局部区域的结构相似度.当原图像对应的大小为计算视窗区域内ssim大于阈值、时，表示两者相应区域的相似度比较高.为减少算法耗时，文中选取两幅图像对应像素点取平均（AVG)的融合法则，BP

nj,k{x,y) =-------------------------------F / , nlk(x ,y) +nlk(x ,y)

5(^,r)>5th (10)

若S(%，y)值不大于阈值，则表示两幅图像对应区域的相似度比较低，而高频信息反映了图像的边缘纹理等重要细节信息，故采用EIN法则，即计算图像相应区域内的边缘信息时，融合图像取边缘信息较大图像区域的像素点值.此时，边缘信息计算式为

Et!kB(x^r) = ^ X (uiJ)nj!kB(x+i~2^y+j-2)

，\\(n)

高频信息-合规则为

Eik(x^y) l>

^5th，y) I 彡

\\,(^) I

，l〇

Ejkxr

(12)

^ \\Elk(xjy)\\,S(x,y)^Sth

■-1 -i -r

-1 .

边缘检测算子-1

_-l -1 -1_

文中改进算法的过程如图6所示.该算法通过

(a)右聚焦图像

（)左聚焦图像

针对高、低频子带使用不同的融合法则来得到较优的融合图像.

3实验

(c)SSIM图

图5

（)直方图

使用Matlab2102a在64位Windows7上进彳了实验.根据多次实验结果，当Contomiet分解选用塔式分解滤波器“9-7”、方向子带分解滤波器选用“ pkva”时有比较好的融合效果.^^、(^是为避免分母为0而设置的常数，计算SSIM值时取q =(以）2、。= (&02.设定调整因子远小于1，取

[^，&]=

男人图像的实验结果

Fig.5 Experimental results of man image

6文中算法过程图

Fig.6 Process diagram of the proposed algorithm

图

第1期

吴鹏等：基于阈值改进C«nt(wifet变换的图像融合算法

[0. 02,0. 03]，默认动态范围£ = 255.选取局部性视窗为33的小

xK块，通过以像素点为单位平移方形

窗口 1T魯到位f4窗口内的4图像区域的结抅相

式中，<、<_分别为融合圈像泰、S的权值系数，

hit

K…

^/(A/； +±max

Afr)/2似性指标，直到计算所有位置_的局部结构相似性指标为止，最后将所有的局部结构度暈的平均值作为阈值&.将局部结构相似性值与阈值进行比较，根据规则（10)或者（12 )进行融合，得到融合图像.(

低频信息融合采用经典的基于区域的加权平均

)融合算法作为对比算法，该算法考虑了邻

x5x5------，/_为图像4或

及在此区域中最大的像素值，为K域中心点的像奪值，A7,.和A/,分别为图像在^方向！的義分.

髙频儈息融合采用前算法与文中基于

的

EIN阈值算法作对比.图7给出了杂物图实验结

ESSIM

果.由图中可知,首先分别对右聚焦图与左聚焦图进行

使用3级

RAVE

域像素的值及像素点的关联性，并用加权算法合理地融含.

融合图像的低频信息为

Contoudet变换，得到高频系数和低频系数.文中

Contourlet变换可分解得到_16个不同方向

的系数.分解得到的低频系数按照式（5 ) - (7)计算，

mFj(x,y) = —r\"—mAj{x,y) + , ^ -mBj(x,y)

bc结构相似度所得SSIM图如图7(f)所示，是髙频系

Stk

iSSIM

得到融合所需低频信息.由图7()与图7()计算

数融合判定的索引图.对图像的结构相似度值取平均餐到 = 0.9447，如围7((1)所示. 值与阈

()原图像

（)右聚焦图像

（〇左聚焦图像

ffiSSIM 图

()对比算法融合结果

〇1)改进算法融合结果

图7

杂物图实验结果

Fig.7 Experimental results of (flutter image

40华南理1大学#报（自然科学版)

第45卷

值的大小关系，得到对应位置的SSIM值的直观显承，见图7(e),然后算法进行融合规则的判定，以尽

可能多地保留高频特征信息为原则.对比图7(g)、 7(h)可知，图7(h)细节更丰富，如闹钟的指针刻度盘更清晰，书的页面以及边缘也更清楚且物体边缘的明显程度优于相对细节模糊的图7 (： g).

图8给出了夫妇照片的实验结果,由右聚焦图像和左聚焦图像计算得到的SSIM图如图8(f)所示，计算平均SSIM得到阈值Sth = 0. 9400，如图8 (d)所示，相应的三维SSIM值分布图见图8(e).对比图8(g)和 8 (h)可知，图8 (h)的窗帘褶皱更加精细，花束的轮廓更加清晰，夫妇的神态活灵活现，家具陈设(如沙发、桌于)与周围物体的分界线更明显.这表明，文中改进

的融合方法得到的融合图像效果更好.

为客观评价文中图像融合算法的性能，文中利用熵(五）、平均梯度（AG)、峰值信噪比（PSNR)及信噪比（SNR)计算两幅图像的融合效果，结果如表1 所示.熵作为体现图像信息量大小的依据，是正相关于信息量丰富程度的.平均梯度反映图像清晰度，其数值与圈像层次、清晰程度正相关.峰值信噪比、傭噪比也与融合效果正相关.从表1可知，文中改进算法对两幅融合图像的熵、¥均梯度、峰值信噪比及信噪比的值均高于对比算法，这表明改进算法的融合效果优于对比算法，融合图像所含的信息量更大，信息的层次更丰富;，清晰度更高,与主观判断所得结果一致.

(a)原图像(b)右聚焦图像(c)左聚焦图像

0.0 0.2 0.4 0.6 0.8 1.0

聯）喊方图

(e)三维SSIM计算图

⑦SSIM图(g)对比算法融合结果

图8夫妇图实验结果

（h)改进算法融合结果

Fig.8 Experimental results of couple image

第1期

表1

吴鹏等：基于阈值改进Contouiiet变换的图像融合算法

两种算法的融合质量比较

Table 1 Comparison of fusion quality between two algorithms

ESNRPSNRAG图名算法

杂物

对比算法改进算法

夫妇

对比算法改进算法

6.716.737.197.23

5.546.755.897.88

13.1213.5012.6412.78

33.5637.3932.3433.69

4 结论

image multiscale geometric analysis [ J] .Acta Electronica Sinica,2003,31(12A) ：1975-1981.[7] CANDfeS E J. Ridgelets： theory and applications [ J ].

IEEE Engineering in Medicine and Biology Magazine ： the Quarterly Magazine of the Engineering in Medicine & Biology Society, 1998,17(5) ： 102-109.

[8] CANDfeS E J, DONOHO D L. Curvelets： a surprisingly

effective nonadaptive representation for objects with edges [C ]//Saint-Malo Proceedings. Nashville ： Vanderbilt Uni融合规则对融合效果起着至关重要的作用，为

获得效果更好的融合图像，文中改进了融合规则，对包含概貌信息的低频子带采用了基于相关系数的加权求和规则以保留更多的信息，对包含细节信息的高频子带则根据SSIM自适应地选择两幅图像对应像素点取平均或边缘信息取最大的融合规则.实验结果表明，采用文中改进融合规则的算法获得了细节纹理特征更丰富的融合图像，且其客观评判指标结果更优.

参考文献：

[1] 邢SAR涛，李军,王冠勇，等.基于非均匀快速傅里叶变换的J].

方位向运动补偿算法[电子与信息学报，

2014,36(5) ：1023-1029,

XING Tao, LI Jun, WANG Guan-yong, et al. An along- track motion compensation algorithm based on non-uniform fast Fourier transform( NUFFT) for SAR [ J] .Journal of Electronics & Information Technology, 2014, 36 ( 5)： 1023-1029.

[2]

HASSAINIA F, MAGANA I,LANGEVIN F,et al. Imagefusion by an orthogonal wavelet transform and comparison with other methods [ C] //Proceedings of the 14th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Paris ： IEEE, 1992 ： 1246-1247.[3]

PERTUZ S,PUIG D, GARCIA M A,et al. Generation of all-in-focus images by noise-robust selective fusion of limited depth of field images [ J ]. IEEE Transactions on Image Processing,2013,22(3) ： 1242-1251.

[4]

ANDEREAS E, CARLA P L, EDUARDO A B.Multiscaleimage fusion using the undecimated wavelet transform with spectral factorization and nonorthogonal filter banks [ J ]. IEEE Transactions on Image Processing, 2013,22 ( 3 )： 1005-1017.[5]

李晖晖，郭雷，刘航.基于二代Curvelet变换的图像融合研究[】].光学学报,2006,26(5):657-662.

LI Hui-hui,GUO Lei,LIU Hang.Research on image fusion based on the second generation curvelet transform [ J ]. Acta Optica Sinica,2006,26(5) ：657-662.

[6]

JIAO Li-cheng，TAN Shan. Development and prospect of

versity Press, 1999 ： 1-16.

[9] DO M N,VETTERLI M.The contourlet transform：an effi

cient di-rectional multiresolution image representation [J ]. IEEE Transactions on Image Processing, 2005, 14 (12)：2091-2106.

[10] WEYRICH N,WARHOLA G T.Wavelet shrinkage and

generalized cross validation for image denoising [ J ]. IEEE Transactions on Image Proceeding, 1998,7( 1)： 82-90.[11] 吴一全，殷骏，戴一冕.基于人工蜂群优化的NSCT域

图像模糊集增强方法[J].华南理工大学学报（自然科学版），2015,43(1):59-65.

WU Yi-quan,YIN Jun,DAI Yi-mian.Image enhancement in NSCT domain based on fuzzy sets and artificial bee colony optimization [J].Journal of South China University of Technology ( Natural Science Edition ) , 2015,43(I) ：59-65.

[12] YANG Liu, GUO Bao-long,NI Wei.Multifocus image fu

sion algorithm based on contourlet decomposition and region statistics [ C] //Proceedings of the 4th International Conference on Image and Graphics.Chengdu：IEEE,2007： 707-712.

[13] BAMBERGER R H,SMITH M J T.A filter bank for the

directional decomposition of images ： theory and design[J] . IEEE Transactions on Signal Processing，1992,40 (4) ：882-893.

[14] FENG P,PAN Y,WEI B,et al.Enhancing retinal image

by the Contourlet transform [ J ]. Pattern Recognition

Letters,2007,28(4) ：

516-522.[15] 殷明，庞纪勇，魏远远，等.结合NSDTCT和稀疏表示

的遥感图像融合[J].光子学报，2016,45(1) :10-17. YIN Ming,PANG Ji-yong,WEI Yuan-yuan,et al.Remote sensing image fusion based on non-subsampled dual-tree complex contourlet transform and sparse representation [J] .Acta Photonica Snica,2016,45( 1) ：10-17.

[16] WANG Z,BOVIK A C,SHEIKH H R,et al.Image quali

ty assessment ： from error visibility to structural similarity [J].IEEE Transactions on Image Processing, 2004, 13 (4) ：600-612.

(下转第52页）

华南理工大学学报（自然科学版)第45卷

Research on Thermal Hysteresis of Silicon-Based Semiconductor

(State Key Laboratory of Advanced Technology for Materials Synthesis and Processing,

Wuhan University of Technology, Wuhan 430070, Hubei, China)

SUN Zhi-gang HE Xiong XIE Qing-xing LI Yue-chou PANG Yu-yu

Abstract： In this paper, the electrical transport properties ( V-I characteristics) of Ag/Si02//?-Si • B/Si02/Ag device at different temperatures are investigated by means of four-wire method, finding that an obvious thermal hysteresis phenomenon occurs in V-I curves at low temperatures. In order to eliminate the experimental errors caused by the thermal hysteresis, two methods of prolonging the interval between two consecutive measurements and improving the heat conduction ability of system are proposed, and the first method is used to remove the effects of the thermal hysteresis on the electrical transport properties of the device. The results show that when the electrical properties and magnetoresistance effects of semiconductor-based materials are investigated, the thermal hysteresis phenomenon should be treated carefully, otherwise it may lead to erroneous results.Key words： thermal hysteresis; electrical properties; silicon-based semiconductor

(上接第41页）

An Image Fusion Algorithm Based on

Threshold-Improved Contourlet Transform

(1. College of Mechanical and Electrical Engineering, Northeast Forest University, Harbin 150040, Heilongjiang, China；2. School of Computer Science and Engineering, South China University of Technology, Guangzhou 510640, Guangdong, China)

WU Peng1 LI Wen-lin1'2 QI De-yu SONG Wen-long1

Abstract： In order to obtain better fusion images, an improved algorithm on the basis of structural similarity (SSIM)

threshold is proposed to determine fusion rules adaptively. In the algorithm, for low frequency sub-bands, a weighting summation fusion algorithm on the basis of correlation coefficient and deviation from mean is adopted to preserve more general information. For high frequency sub-bands, the SSIM of each region of the image to be fused is calculated first and then the corresponding average value is taken as the threshold. Afterwards, a high frequency subband fusion algorithm is selected adaptively according to the relationship between the SSIM of each region and the threshold, so as to retain more detail information. Experimental results show that the improved image fusion algorithm helps achieve the fused images of richer detail, sharper edge and better objective evaluation index of quality.

image fusion； Contourlet transform； structural similarityKey words：

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文

全部栏目

基于阈值改进Contourlet变换的图像融合算法