基于NSCT 和SF-PCNN 的红外与可见光图像融合

摘要：为了获得信息更加丰富的图像，本文选用非下采样Contourlet变换（NSCT） 对红外与可见光图像进行多尺度分解。结合加权平均（average） 、灰度值取大（max） 、脉冲耦合神经网络（PCNN） 以及空间频率（SF） 等多种融合规则，分别对图像NSCT分解后的低频与高频部分进行融合处理。实验结果表明，对NSCT分解后的低频部分采用SF-PCNN融合规则，对高频部分采用max融合规则，能够获得信息更加丰富的高质量图像。同时，该方法的定量评价指标也更优。

关键词：图像融合；NSCT；多尺度分解；融合规则

中图分类号： TN911 文献标识码： A

文章编号：1009-3044（2025）04-0147-05 开放科学（资源服务） 标识码（OSID） ：

0 引言

当今社会，图像信息的来源越来越广泛，使得对图像信息的处理变得尤为重要。自20世纪70年代以来，图像融合技术逐渐受到重视。图像融合是将两幅或多幅图像融合成一幅图像，融合后得到的图像在信息量、图像特征的准确性和质量等方面均优于源图像[1-3]。红外图像与可见光图像的融合是图像融合的重要分支之一。红外图像根据不同物质热辐射的差异来区分目标与背景，不受光照影响，能够较好地反映温度分布，但其空间分辨率较低，细节信息较少；而可见光图像则依赖人眼的视觉系统获取物质的结构特征，具有较高的空间分辨率和对比度，细节表现能力强，但易受天气和光照条件的影响。结合以上两种图像的互补性，将二者融合可以充分发挥各自的优势，应用于军事、国防、遥感、目标识别等多个领域[4-10]。

目前，融合的方法有很多，其中像素级图像融合方法最为普遍。针对像素的融合可分为非变换域和变换域两大类。非变换域的融合主要包括加权平均、灰度值取大、主成分分析（PCA） 、颜色空间融合以及脉冲耦合神经网络（PCNN） 等[11-15]；变换域的主要方法包括金字塔变换、小波变换、Contourlet变换、非下采样Contourlet 变换（NSCT） [16-20]、Shearlet 变换以及非下采样Shearlet（NSST） [21-24]等。非变换域的融合方法能够最大限度保留源图像的原始数据，从而使融合后的图像细节丰富，且计算复杂度相对较低。但其缺点在于忽略了图像的语义信息，可能导致一些重要特征的丢失或模糊。变换域的融合方法则能够将图像分解为不同频率的子图像，便于在不同尺度下进行融合处理，同时较好地保留图像的细节信息和边缘特征。然而，在处理高频细节时仍存在一定局限性，并需要较为复杂的数学运算和算法支持。

为了更好地发挥多种融合方法的优势，本文将变换域与非变换域的方法结合使用。具体而言，本文将源图像从空间域转换到NSCT域，对NSCT分解后的系数采用加权平均、灰度值取大、PCNN以及SF-PCNN 等不同的融合规则进行融合处理，以期获得更好的融合效果，使融合后的图像更加保留源图像中的信息，同时计算得到的评价指标更优。

1 NSCT

NSCT是Contourlet变换的改进版本，省去了采样过程，采用非下采样拉普拉斯金字塔滤波器与非下采样方向滤波器进行实现，与Contourlet相比，NSCT具有平移不变性的特点，所设计的滤波器也更为简化。首先，对图像进行非采样金字塔变换（NSP） ，以获得多个尺度上分解的图像，该过程无须上下采样；接着，对NSP分解后的各个尺度的高频子带进行非下采样方向滤波（NSFB） 。假设对NSP分解后的某一尺度子带进行L级分解，可以获得2L 个方向的子带。依此类推，如果对一幅图像进行j层分解，最终可以得到一个低频子带图像和Σj = 1J 2j 个方向子图，并且分解后所有图像尺寸大小与源图像保持一致。图1为一幅图像进行3层NSCT分解的示意图。

1.1 非下采样拉普拉斯金字塔滤波器（NSFB）

NSPFB通过去除传统金字塔分解中的上采样和下采样步骤，实现了图像的平移不变性，从而避免了由于采样操作引起的信息丢失和混叠现象。NSP利用一组双通道的非下采样滤波器组对图像进行分解，首先对输入图像应用低通分解滤波器，以得到一个低频子带图像。接下来，对上一级的低频子带图像进行上采样，并通过高通滤波器，得到一个带通子带图像。此过程在每一级重复进行，逐级分解出高频和低频子带。为了确保图像能够重构为原始状态，需要设计相应的重构滤波器。重构滤波器与分解滤波器须满足Bézout恒等式[17]，以确保信号在变换过程中尽量不丢失信息。公式（1） 为Bézout恒等式。图2为双通道非下采样塔式滤波器组，{H0 （z ），H1 （z ）}为分解滤波器，{G0 （z ），G1 （z ）}为重构滤波器。

H0 （z ）G0 （z ） + H1 （z ）G1 （z ） = 1 （1）

1.2 非下采样方向滤波器（NSDFB）

NSDFB采用一组扇形滤波器组，将NSP分解得到的高频子带进一步分解为多个方向子带，以捕捉图像在不同方向上的细节信息。图3为双通道非下采样扇形滤波器组，{U0 （z ），U1 （z ）}为分解滤波器，{V0 （z ），V1 （z ）}为重构滤波器，他们也满足Bézout恒等式[17]，如公式（2） 所示。

U0 （z ）V0 （z ） + U1 （z ）V1 （z ） = 1 （2）

2 图像融合规则

2.1 融合常用规则

基于变换域的图像融合中，图像的低频部分通常包含整体信息，而高频部分则反映轮廓和细节信息。因此，对变换后的低频和高频分量分别采用不同的融合规则至关重要。目前常用的变换域融合规则主要有两类：基于单个像素和基于区域特征。

1） 加权平均（average）

如果用A（i，j ）、B（i，j ）来表示两幅源图像在（i，j ）处的像素值，用F （i，j ）表示融合后的像素值，则：

F （i，j ） = α1 A（i，j ） + α2 B（i，j ） （3）

上式中，α1 + α2 = 1，根据实际情况可以适当调整α1和α2 的值。

2） 灰度值取大（max）

F （i，j ） = max（A（i，j ），B（i，j ）） （4）

F（i，j ） = max（| A（i，j ） |，| B（i，j ） |） （5）

公式（4） 是选择两幅源图像中灰度值大的数据作为融合后的数据，公式（5） 是选择两幅源图像中像素绝对值大的数据作为融合后的数据。

3） 区域绝对值取大

将一幅图像划分成不同大小的区域，这些窗口可以根据图像的特征进行选择，常见的有3 × 3 ， 5 ×5 ，7 × 7几种设置方法。计算所选区域中像素绝对值最大的像素作为该区域的最终像素。

2.2 脉冲耦合神经网络（PCNN）

PCNN与人眼视觉系统具有良好的适应性，并在阈值选择、特征提取等方面具有一定优势，因此在图像融合领域得到了广泛应用。为了获得更好的融合效果，可以尝试将多尺度分解方法与PCNN融合规则相结合。在PCNN图像融合的过程中，图像中的像素数量与神经元的数量保持一致，简化的神经元网络模型如图4所示。

在图像融合过程中，两幅不同的源图像分别送入PCNN，使得神经元被激活，接着神经元的激活次数不断增加，记录下神经元激活的次数。对两幅图像中相应的神经元进行选择，保留像素值较大的神经元，由这些像素值组成的图像即为融合后的图像。融合过程遵循以下迭代关系[15]：

公式（6） 中Sij [n ]是图像中（i，j ） 处像素点的灰度值，以此作为PCNN的输入项Fij [n ]，Lij [n ]为链接项，αL 为链接域中的衰减时间，VL 为放大倍数，Ykl [n - 1] 表示迭代n - 1后神经元的输出值，wijkl 为Lij 中Ykl 的连接权值系数，Uij [n ]为内部活动项，β 为神经元的链接强度，Yij [n ]为输出脉冲序列，θij [n ]、αθ 和Vθ 分别为动态门限阈值、衰减时间系数和放大系数，n 表示迭代的次数。由图4可知Fij [n ]和Lij [n ]输入内部以后，进行相应的调制处理后得到Uij [n ]，然后将Uij [n ]与θij [n ] 进行比较，当Uij [n ] > θij [n ]时，Yij [n ]输出为1，通过反馈后θij [n ]增大超过Uij [n ]后，Yij [n ]输出为0。这样循环反复，直到达到n 次迭代后结束。参数αL =1，VL = 1，αθ = 0.2，Vθ = 20，wijkl = [0.707，1，0.707 ; 1，0，1 ;0.707，1，0.707]。

2.3 空间频率（SF）

图像的空间频率反映图像中像素点在空间上的变化程度。一般来说，图像光滑部分的空间频率较低，而纹理复杂、边缘剧烈变化的部分空间频率较高。空间频率的计算公式如公式（8） 所示：

式中：RF 与CF 分别代表空间行频率和空间列频率，具体计算公式如公式（9） 和公式（10） 。

式中：M*N 表示图像的大小，f （i，j ）、f （i，j - 1）、f （i - 1，j ）分别表示不同位置处像素点的坐标。

2.4 SF-PCNN 融合规则

结合空间频率（SF） 与PCNN进行融合的具体步骤如下。

1） 对源图像a， b分别进行NSCT多尺度变换以后得到各个不同频率的系数Ca [i，j ]和Cb [i，j ]。

2） 计算不同频率系数的空间频率输入PCNN神经元中，将各个频率系数计算的空间频率作为外部的输入，然后按照公式（11） 计算每个输入对应的激活次数Tij [n ]。

Tij [n ] = Tij [n - 1] + Yij [n ] （11）

3） 比较a， b图像各个不同频率系数处的激活次数，选择激活次数多的系数作为融合后的系数CF [i，j ]，具体计算公式如公式（12） 所示，其中，Tij，a [n ]和Tij，b [n ]分别表示a，b两幅图的（i，j ）处激活次数。

3 实验结果与分析

选用一组大小为256 × 256 的红外与可见光图像，见图5（a） 和（b） 。分别对二者进行NSCT分解，分解层数为5层，每层的方向数分别为4、8、16，采用的滤波器组为“pkva”和“7-9”滤波器。对分解后的低频系数分别采用直接平均（average） 、PCNN 以及SFPCNN等方法进行融合；对各层各方向的高频系数分别采用灰度值取大（max） 、PCNN以及SF-PCNN等融合规则，从视觉效果和评价指标两个方面比较几种方法的融合效果。评价指标选用平均梯度、边缘强度、标准差以及空间频率等，这些指标的数值越大表明融合效果越好[25]。不同融合规则下的具体评价指标值见表1。由图6所有融合后的图像效果图可以看出，图6（a） （b） （c） 中低频采用average，高频采用max、PCNN和SF-PCNN的视觉效果较差；而在图6（i） 中，低频采用SF-PCNN融合，高频采用max获得的融合图像信息更加丰富。由表1可见，在图6（a） 中低频直接平均（average） 、高频采用SF-PCNN融合计算得到的各项评价参数值均为最小，且运行时间较长；图6（a） （b） （d）（e） （g） （h） 中，高频采用PCNN或SF-PCNN融合的各项指标值明显低于采用max方法（见图6（c） （f） （i）） ，且程序运行所需时间较长；其中，图6（i） 中高频采用SFPCNN低频使用max方法获得的各项指标值最高，运行时间也相对较短。