图像融合是把多个传感器中相关联的互补信息进行有效地提取，获得一幅信息更加丰富全面的综合图像.其中，多聚焦图像融合是图像融合领域中的一个重要分支.由于目前光学传感器的景深有限，很难获取到一幅所有景物同时聚焦的图像.多聚焦图像融合能对多幅聚焦点不同的图像进行融合，得到一幅所有景物均聚焦清晰的图像.目前，多聚焦图像融合已在数码摄影、计算机视觉、目标跟踪监测和显微成像等领域具有广泛的应用前景^[1-2].

近年来，由于多分辨率分析变换能更好地提取源图像的细节等信息，基于多分辨率分析变换的多聚焦图像融合方法得到广泛应用.小波变换凭借其良好的时频局部特性，取得较好的融合效果，但小波变换只能提取有限方向上的多聚焦源图像信息，不能有效地提取多聚焦源图像的纹理、边缘等细节信息.针对小波变换存在的缺陷，Do等^[3]提出的Contourlet变换弥补了小波变换存在的缺陷.因此，在图像融合领域中基于Contourlet变换的图像融合算法得到广泛的研究.研究学者们发现基于Contourlet变换的图像融合算法容易产生伪吉布斯现象，这是由于Contourlet变换不具备平移不变性所造成的.为解决Contourlet变换存在的缺点，Da等^[4]提出非下采样Contourlet变换. Qu等^[5]提出在NSCT域内用SF和PCNN相结合的图像融合方法；谢秋莹等^[6]提出一种基于SML和PCNN的NSCT域多聚焦图像融合算法.由于NSCT变换分解的方向数有限，造成融合图像丢失部分细节信息.针对这一问题，Easley等^[7]提出分解方向数无限的非下采样Shearlet变换(Nonsubsampled Shearlet Transform, NSST). NSST变换具有良好的局部时频特性、多方向性和平移不变性，与NSCT变换相比，NSST变换解决NSCT变换分解方向数受限的问题.因此，基于NSST变换的多聚焦图像融合算法，可以更加有效地提取源图像中的边缘纹理等细节信息，取得更佳的融合效果.邢雅琼等^[8]提出一种基于NSST域灰度关联分析的多聚焦图像融合算法，该算法有效地提高融合图像的质量；杨勇等^[9]提出一种基于NSST与稀疏表示的多聚焦图像融合算法，该算法有效地减少融合图像的伪吉布斯现象；为避免引入虚假信息，Gao等^[10]提出一种基于NSST变换的多聚焦图像融合算法；为较好地保留源图像的细节信息，Huang等^[11]提出一种基于不同约束条件与NSST变换相结合的图像融合算法.引导滤波器因为具有保边平滑特性^[12]，可以较好地保留源图像的轮廓、细节和纹理等信息.

因此，本文将NSST变换与引导滤波的优势相结合，提出一种NSST与引导滤波相结合的多聚焦图像融合算法.首先，利用NSST变换对源图像进行多尺度、多方向分解；其次，针对低频和高频子带系数的特点，利用引导滤波修正初始融合权重，采用不同的引导滤波加权融合规则对低频和高频子带系数进行融合处理；最后，进行NSST逆变换，获得融合图像.仿真结果表明，本文算法使最终的融合图像保留了丰富的轮廓、细节和纹理等信息，同时也提高融合图像的对比度和清晰度.

1 非下采样Shearlet变换

由于Shearlet变换不具备平移不变性，Easley等^[7]在Shearlet变换的基础上进行改进，提出非下采样Shearlet变换—简称NSST变换. NSST变换是通过非下采样金子塔(Nonsubsampled Pyramid，NSP)和基于改进的剪切波滤波器组(Shearlet Filter, SF)来实现对一幅图像的多尺度分解和方向分解.见图 1所示，首先NSST变换利用NSP对多聚焦源图像进行K级分解，得到低频和高频子带系数；其次，再通过改进的shear滤波器组对高频子带系数进行多方向分解；最终，分解得到一个低频子带系数和K个高频子带系数.

2 引导滤波器的简介

He等^[12]在2010年首次提出一个局部线性滤波器—引导滤波器.引导滤波器作为一种保边平滑滤波器，在滤除图像噪声的同时，还具有良好的边缘平滑功能和边缘梯度保持特性.

将引导滤波器的引导图像记为G，滤波输入图像记为I，滤波输出图像记为O.假设，O和G在窗口w_m中存在局部线性关系(w_m以像素m为中心，r为半径).即O是G在窗口w_m中的局部线性变换，则

$ {\mathit{\boldsymbol{O}}_j} = {a_m}{\mathit{\boldsymbol{G}}_j} + {b_m},\;\;\;\;\forall j \in {\mathit{\boldsymbol{w}}_m}. $

(1)

式中：j和m为像素索引，a_m和b_m为式1的线性系数，且在局部窗口w_m中为常数.线性系数a_m和b_m的确定需要通过式2对O进行约束，即希望得到I和O之间的最小差值，记为E：

$ \mathit{\boldsymbol{E}}\left( {{a_m},{b_m}} \right) = \sum\limits_{j \in {w_m}} {\left( {{{\left( {{a_m}{\mathit{\boldsymbol{G}}_j} + {b_m} - {\mathit{\boldsymbol{I}}_j}} \right)}^2} + \varepsilon {a_m}^2} \right)} . $

(2)

式中：ε>0，ε的作用是为防止求得过大的a_m而引入的正则化参数；I_j表示输入图像I的一个像素j，其中j∈ w_m.通过最小二乘法，可以求出线性系数a_m和b_m：

$ {a_m} = \frac{{\frac{1}{{\left| w \right|}}\sum\nolimits_{j \in {w_m}} {{\mathit{\boldsymbol{G}}_j}{\mathit{\boldsymbol{I}}_j} - {\mu _m}\overline {{I_m}} } }}{{{\sigma _m}^2 + \varepsilon }}, $

(3)

$ {b_m} = \overline {{I_m}} - {a_m}{\mu _m}. $

(4)

式中：μ_m和σ_m²是G在w_m中的均值和方差，|w|是w_m中像素的个数，$\overline {{I_m}} $是I在w_m中的均值.由于多个窗口会同时包含同一个像素，即每个像素都可以用多个线性函数来进行描述.因而，计算某一点的具体输出值只需将包含该像素点的所有线性函数值取平均值，则引导滤波器的最终滤波输出为

$ {\mathit{\boldsymbol{O}}_j} = \overline {{a_j}} {\mathit{\boldsymbol{G}}_j} + \overline {{b_j}} . $

(5)

式中：$\overline {{a_j}} = \frac{1}{{\left| w \right|}}\sum\limits_{m \in {w_j}} {{a_m}}, \overline {{b_j}} = \frac{1}{{\left| w \right|}}\sum\limits_{m \in {\mathit{\boldsymbol{w}}_j}} {{b_m}} $，w_j是包含所有像素m的以像素j为中心的窗口.

3 本文算法 3.1 融合算法步骤

本文算法将NSST变换和引导滤波相结合，来实现不同聚焦源的图像融合.设A和B为输入的两幅聚焦源不同的多聚焦图像，Z为最终的融合图像.思路框图见图 2.

具体的融合步骤如下：

步骤1 利用NSST变换对图像A和B进行分解，获得低频子带系数{D_{o, k}^A, D_{o, k}^B}和高频子带系数{D_{e, k}^A, D_{e, k}^B}；

步骤2  针对低频子带系数{D_{o, k}^A, D_{o, k}^B}，设计一种基于局部区域改进拉普拉斯能量和的引导滤波加权融合规则；针对高频子带系数{D_{e, k}^A, D_{e, k}^B}，根据其显著信息、局部区域平均梯度、边缘信息和局部区域改进拉普拉斯能量和，设计一种基于人眼视觉特征的引导滤波加权融合规则；

步骤3  进行NSST逆变换，获得融合图像Z.

3.2 融合规则 3.2.1 低频子带系数的融合规则

低频子带系数主要是源图像的大部分能量和近似信息，而拉普拉斯能量和在一定程度上能恰当的反映源图像的聚焦特性.因此，为使最终的融合图像更加符合人眼的视觉特征，通过计算低频子带系数的局部区域的改进拉普拉斯能量和(Sum Modified Laplacian, SML)能够得到一幅聚焦良好的融合图像.

首先，用基于局部区域的改进拉普拉斯能量和来衡量低频子带系数的聚焦程度，计算公式为

$ \mathit{\boldsymbol{SML}}_{o,k}^i = \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {{{\left( {\mathit{\boldsymbol{ML}}_{o,k}^i\left( {x + m,y + n} \right)} \right)}^2}} } . $

(6)

式中：SML_{o, k}ⁱ为第i幅图像(1≤i≤L)在局部区域M*N下的改进拉普拉斯能量和，本文取M*N=3*3. ML_{o, k}ⁱ(x, y)为在位置(x, y)的改进拉普拉斯能量，计算公式为

$ \begin{array}{l} \mathit{\boldsymbol{ML}}_{o,k}^i\left( {x,y} \right) = \left| {2\mathit{\boldsymbol{D}}_{o,k}^i\left( {x,y} \right) - \mathit{\boldsymbol{D}}_{o,k}^i\left( {x - 1,y} \right) - } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\mathit{\boldsymbol{D}}_{o,k}^i\left( {x + 1,y} \right)} \right| + \left| {2\mathit{\boldsymbol{D}}_{o,k}^i\left( {x,y} \right) - } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\mathit{\boldsymbol{D}}_{o,k}^i\left( {x,y - 1} \right) - \mathit{\boldsymbol{D}}_{o,k}^i\left( {x,y + 1} \right)} \right| + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left| {1.6\mathit{\boldsymbol{D}}_{o,k}^i\left( {x,y} \right) - 0.8\mathit{\boldsymbol{D}}_{o,k}^i\left( {x - 1,y + } \right.} \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\left. 1 \right) - 0.8\mathit{\boldsymbol{D}}_{o,k}^i\left( {x + 1,y - 1} \right)} \right| + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left| {1.6\mathit{\boldsymbol{D}}_{o,k}^i\left( {x,y} \right) - 0.8\mathit{\boldsymbol{D}}_{o,k}^i\left( {x - 1,y - } \right.} \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\left. 1 \right) - 0.8\mathit{\boldsymbol{D}}_{o,k}^i\left( {x + 1,y + 1} \right)} \right|. \end{array} $

(7)

对获得的低频子带系数的局部区域的改进拉普拉斯能量和进行加权映射，构造初始聚焦度融合权重

$ \begin{array}{l} \mathit{\boldsymbol{M}}_{o,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{SML}}_{o,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{SML}}_{o,k}^1\left( b \right),\mathit{\boldsymbol{SML}}_{o,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{SML}}_{o,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(8)

式中SML_{o, k}ⁱ(b)为第i幅图像中第b个像素的清晰度信息.

本文采用复杂度较低并且具有边缘保持特性的引导滤波器对初始聚焦度融合权重进行修正，将D_{o, k}ⁱ作为引导图像，M_{o, k}ⁱ作为滤波输入图像，则：

$ \mathit{\boldsymbol{Z}}_{o,k}^i = {\rm{guidefilter}}\left( {\mathit{\boldsymbol{D}}_{o,k}^i,\mathit{\boldsymbol{M}}_{o,k}^i,r1,eps1} \right). $

(9)

式中：r1为引导滤波器窗口的大小，eps1为模糊度.其次，为通过取大策略获得最终的融合权重

$ \begin{array}{l} \mathit{\boldsymbol{W}}_{o,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{Z}}_{o,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{Z}}_{o,k}^1\left( b \right),\mathit{\boldsymbol{Z}}_{o,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{Z}}_{o,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(10)

最后，则融合图像的低频子带系数D_{o, k}^Z为

$ \mathit{\boldsymbol{D}}_{o,k}^Z = \sum\limits_{i = 1}^L {\overline {\mathit{\boldsymbol{W}}_{o,k}^i} \mathit{\boldsymbol{D}}_{o,k}^i} . $

(11)

式中$\overline {\mathit{\boldsymbol{W}}_{o, k}^i} $ (i=1, 2, ....L)为对L个融合权值W_{o, k}ⁱ进行归一化处理后获得的加权映射权重.

3.2.2 高频子带系数的融合规则

高频子带系数主要是源图像的轮廓、细节及纹理等信息，对高频子带系数的处理直接影响到融合图像的清晰度、对比度和信息丰富度.考虑到人眼视觉系统的特点，通过提取高频子带系数的显著信息、局部区域清晰度、边缘信息和局部区域改进拉普拉斯能量和来构建初始融合权重，并根据引导滤波修正初始融合权重，提出一种基于人眼视觉特征的引导滤波加权融合规则.首先对高频子带系数进行处理，得到高通图像

$ \mathit{\boldsymbol{H}}_{e,k}^i = \left| {\mathit{\boldsymbol{D}}_{e,k}^i - \mathit{\boldsymbol{D}}_{e,k}^i * \mathit{\boldsymbol{LP}}} \right|. $

(12)

式中：D_{e, k}ⁱ为第i幅源图像(1≤i≤L)在尺度k上第e方向的高频子带系数. LP为3*3的双向拉普拉斯滤波器，计算公式为

$ \mathit{\boldsymbol{LP}} = \frac{{1 - \alpha }}{{1 + \alpha }}\left[ {\begin{array}{*{20}{c}} 0&1&0\\ 1&{ - 4}&1\\ 0&1&0 \end{array}} \right] + \frac{\alpha }{{1 + \alpha }}\left[ {\begin{array}{*{20}{c}} 1&0&1\\ 0&{ - 4}&0\\ 1&0&1 \end{array}} \right]. $

(13)

式中α∈[0, 1]，本文中α的取值为0.7.然后对H_{e, k}ⁱ进行高斯滤波并取其绝对值，构造高频子带系数的显著性映射S_{e, k}ⁱ

$ \mathit{\boldsymbol{S}}_{e,k}^i = \left| {\mathit{\boldsymbol{H}}_{e,k}^i * \mathit{\boldsymbol{g}}} \right|. $

(14)

式中g为11*11的标准差为5的高斯低通滤波器.接着利用显著性映射构造加权映射，获得初始显著性融合权重

$ \begin{array}{l} \mathit{\boldsymbol{U}}_{e,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{S}}_{e,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{S}}_{e,k}^1\left( b \right),\mathit{\boldsymbol{S}}_{e,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{S}}_{e,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(15)

式中S_{e, k}ⁱ (b)为第i幅源图像中第b个像素的显著性.

清晰度是人眼视觉特征中的一个重要指标，因此本文对高频子带系数进行清晰度衡量可获得一幅清晰度较好的融合图像.本文用基于局部区域的平均梯度(Average Gradient, AG)来衡量高频子带系数的清晰度，获得局部清晰度图为

$ \begin{array}{l} \mathit{\boldsymbol{AG}}_{e,k}^i = \frac{1}{{\left( {M - 1} \right)\left( {N - 1} \right)}}\sum\limits_{m = 1}^{M - 1} {\sum\limits_{n = 1}^{N - 1} {} } \\ \;\;\;\;\;\;\;\;\;\;\;\;{\left( {\frac{{\mathit{\boldsymbol{R}}\left( {x + m,y + n} \right) + \mathit{\boldsymbol{C}}\left( {x + m,y + n} \right)}}{2}} \right)^{1/2}}, \end{array} $

(16)

$ \mathit{\boldsymbol{R}}\left( {x,y} \right) = {\left( {\mathit{\boldsymbol{D}}_{e,k}^i\left( {x + 1,y} \right) - \mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y} \right)} \right)^2}, $

(17)

$ \mathit{\boldsymbol{C}}\left( {x,y} \right) = {\left( {\mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y + 1} \right) - \mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y} \right)} \right)^2}. $

(18)

式中：M*N为局部区域的大小，本文取M*N=3*3，R (x+m, y+n)代表以(x, y)为中心的局部区域的x方向上的梯度，C (x+m, y+n)代表以(x, y)为中心的局部区域的y方向上的梯度.对获得高频子带系数的局部清晰度图AG_{e, k}ⁱ进行加权映射，构建初始清晰度融合权重

$ \begin{array}{l} \mathit{\boldsymbol{R}}_{e,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{AG}}_{e,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{AG}}_{e,k}^1\left( b \right),\mathit{\boldsymbol{AG}}_{e,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{AG}}_{e,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(19)

式中AG_{e, k}ⁱ(b)表示高频子带系数的第b个像素的清晰度.

为丰富最终融合图像的边缘信息，提出一种边缘信息的融合方案.首先，提取高频子带系数的边缘信息，即

$ \mathit{\boldsymbol{E}}_{e,k}^i = {\left( {{\mathit{\boldsymbol{V}}_1} * \mathit{\boldsymbol{D}}_{e,k}^i} \right)^2} + {\left( {{\mathit{\boldsymbol{V}}_2} * \mathit{\boldsymbol{D}}_{e,k}^i} \right)^2} + {\left( {{\mathit{\boldsymbol{V}}_3} * \mathit{\boldsymbol{D}}_{e,k}^i} \right)^2}. $

(20)

式中*为卷积操作，${\mathit{\boldsymbol{V}}_1} = \left[{\begin{array}{*{20}{c}} {-1}&{-1}&{-1}\\ 2&2&2\\ { - 1}&{ - 1}&{ - 1} \end{array}} \right]$、${\mathit{\boldsymbol{V}}_{\rm{2}}} = \left[{\begin{array}{*{20}{c}} {-1}&2&{-1}\\ {-1}&2&{ - 1}\\ { - 1}&2&{ - 1} \end{array}} \right]$和${\mathit{\boldsymbol{V}}_3} = \left[{\begin{array}{*{20}{c}} {-1}&0&{-1}\\ 0&4&0\\ {-1}&0&{ - 1} \end{array}} \right]$分别为水平、垂直和对角线3个方向上的卷积核，D_{e, k}ⁱ为高频子带系数.

接着，利用提取的边缘信息E_{e, k}ⁱ构造加权映射，构建初始边缘信息融合权重G_{e, k}ⁱ

$ \begin{array}{l} \mathit{\boldsymbol{G}}_{e,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{E}}_{e,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{E}}_{e,k}^1\left( b \right),\mathit{\boldsymbol{E}}_{e,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{E}}_{e,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(21)

式中E_{e, k}ⁱ (b)为第i幅源图像的第b个像素的边缘信息.

拉普拉斯能量和在一定程度上能恰当的反映源图像的聚焦特性.因此，通过计算高频子带系数的拉普拉斯能量和能够得到一幅聚焦良好的融合图像.本文用基于局部区域的改进拉普拉斯能量和来衡量源图像的聚焦特性，获得局部区域的改进拉普拉斯能量和

$ \mathit{\boldsymbol{SML}}_{e,k}^i = \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {{{\left( {\mathit{\boldsymbol{ML}}_{e,k}^i\left( {x + m,y + n} \right)} \right)}^2}} } . $

(22)

式中SML_{e, k}ⁱ为第i幅图像在局部区域M*N下的改进拉普拉斯能量和，本文取M*N=3*3. ML_{e, k}ⁱ(x, y)为在位置(x, y)的改进拉普拉斯能量为

$ \begin{array}{l} \mathit{\boldsymbol{ML}}_{e,k}^i\left( {x,y} \right) = \left| {2\mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y} \right) - \mathit{\boldsymbol{D}}_{e,k}^i\left( {x - 1,y} \right) - } \right.\\ \left. {\mathit{\boldsymbol{D}}_{e,k}^i\left( {x + 1,y} \right)} \right| + \left| {2\mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y} \right) - \mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y - 1} \right) - } \right.\\ \left. {\mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y + 1} \right)} \right| + \left| {1.6\mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y} \right) - 0.8\mathit{\boldsymbol{D}}_{e,k}^i\left( {x - 1,y + } \right.} \right.\\ \left. {\left. 1 \right) - 0.8\mathit{\boldsymbol{D}}_{e,k}^i\left( {x + 1,y - 1} \right)} \right| + \left| {1.6\mathit{\boldsymbol{D}}_{e,k}^i\left( {x,y} \right) - } \right.\\ \left. {0.8\mathit{\boldsymbol{D}}_{e,k}^i\left( {x - 1,y - 1} \right) - 0.8\mathit{\boldsymbol{D}}_{e,k}^i\left( {x + 1,y + 1} \right)} \right|. \end{array} $

(23)

对获得的高频子带系数的局部区域的改进拉普拉斯能量和进行加权映射，构造初始聚焦度融合权重

$ \begin{array}{l} \mathit{\boldsymbol{M}}_{e,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{SML}}_{e,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{SML}}_{e,k}^1\left( b \right),\mathit{\boldsymbol{SML}}_{e,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{SML}}_{e,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(24)

式中SML_{e, k}ⁱ(b)为第i幅图像中第b个像素的清晰度信息.

高频子带系数的初始融合权重由初始显著信息融合权重、初始清晰度融合权重、初始边缘信息融合权重和初始聚焦度融合权重组成，即

$ \mathit{\boldsymbol{W}}_{e,k}^i = \mathit{\boldsymbol{U}}_{e,k}^i * \mathit{\boldsymbol{R}}_{e,k}^i * \mathit{\boldsymbol{G}}_{e,k}^i * \mathit{\boldsymbol{M}}_{e,k}^i. $

(25)

这里采用引导滤波器对高频子带系数的初始融合权重进行修正，将D_{e, k}ⁱ作为引导图像，而W_{e, k}ⁱ作为滤波输入图像，则

$ \mathit{\boldsymbol{P}}_{e,k}^i = {\rm{guidedfilter}}\left( {\mathit{\boldsymbol{D}}_{e,k}^i,\mathit{\boldsymbol{W}}_{e,k}^i,r2,eps2} \right). $

(26)

式中：r2表示引导滤波器窗口的大小，eps2表示模糊度.其次，通过取大策略获得最终的融合权重

$ \begin{array}{l} \mathit{\boldsymbol{X}}_{e,k}^i\left( b \right) = \\ \left\{ \begin{array}{l} 1,\mathit{\boldsymbol{P}}_{e,k}^i\left( b \right) = \max \left( {\mathit{\boldsymbol{P}}_{e,k}^1\left( b \right),\mathit{\boldsymbol{P}}_{e,k}^2\left( b \right), \cdots ,\mathit{\boldsymbol{P}}_{e,k}^L\left( b \right)} \right);\\ 0,{\rm{otherwise}}{\rm{.}} \end{array} \right. \end{array} $

(27)

最后，则融合图像的高频子带系数D_{e, k}^Z为

$ \mathit{\boldsymbol{D}}_{e,k}^Z = \sum\limits_{i = 1}^L {\overline {\mathit{\boldsymbol{X}}_{e,k}^i} \mathit{\boldsymbol{D}}_{e,k}^i} . $

(28)

式中$\mathit{\boldsymbol{\bar X}}_{e, k}^i$(i=1, 2, ...., L)为对L个融合权值X_{e, k}ⁱ进行归一化处理后获得的加权映射权重.

4 实验结果及分析 4.1 实验说明

为验证本文算法的可行性，选取见图 3所示的4组已配准好且大小分别为480 pixel*360 pixel、640 pixel *480 pixel、944 pixel *736 pixel、520 pixel *520 pixel的图像进行融合.将本文算法与文献[13](PCNN方法)、文献[5](NSP方法)、文献[1](ASR方法)和文献[14](MGF方法)分别进行对比实验. PCNN方法、NSP方法、ASR方法和MGF方法的参数取值均与各文献中保持一致；本文融合算法的参数设置为：公式(9)和公式(26)中的引导滤波器参数分别为r1=45、eps1=0.3和r2=7、eps2=10^-6.

4.2 主观评价

图 4为采用不同融合方法的4组实验的融合结果图.从主观上，图 4(a)中老虎的头部发白，整幅图像的清晰度下降；图 4(b)~4(d)均较好地将源图像的信息保留下来，但丢失部分细节信息；图 4(e)较好地保留源图像的细节等信息，提高融合图像的清晰度，融合效果比较理想. 图 4(f)和图 4(g)中，没有很好地将左聚焦源的信息进行融合，使融合后的图像清晰度下降；图 4(h)和图 4(i)中，丢失部分细节及纹理等信息，对比度下降；图 4(j)则较好地保留图像的细节及纹理等信息，同时还提高图像的清晰度和对比度，融合效果较好. 图 4(k)中产生严重的虚影，清晰度下降，融合效果较差；图 4(l)~4(n)均较好地将源图像的信息保留下来，但损失部分细节信息；图 4(o)则较好地保留源图像的信息，聚焦区域的边缘处融合效果也比较理想，融合效果较好. 图 4(p)中人物的脸部较模糊，清晰度下降；图 4(q)~4(s)融合效果比较理想，但丢失部分边缘轮廓信息；图 4(t)则较好地保留源图像的边缘轮廓和纹理等信息，也无细节信息缺失，融合效果较好.

4.3 客观评价

进一步说明本文算法的有效性，本文选取平均梯度(AG)、标准差(STD)、互信息^[15](MI)、边缘信息保留度Q_AB/Z^[16] (其中A和B为待融合的源图像，Z为融合图像)、视觉信息保真度^[17](VIFF)和空间频率误差比Q_SF^[18] (其中SF为改进的空间频率)对融合图像进行定量评价.其中，AG越大，说明融合图像越清晰；STD越大，说明融合图像的对比度越高；MI越大，说明融合图像包含的信息越丰富；Q_AB/Z(其中Q_AB/Z的值不超过1)越大，说明融合图像包含的边缘信息越丰富；VIFF越高，说明融合图像与人眼视觉观察越一致；Q_SF的绝对值越小，说明融合图像的融合效果越好.

表 1列出4组多聚焦图像融合的客观评价实验结果.实验1和实验3中，本文算法的AG、STD、MI、Q_AB/Z、VIFF和Q_SF值均优于其余4种融合方法.说明本文算法的清晰度、对比度、信息丰富度和边缘信息量等都优于其余4种融合方法；实验2中，本文算法的AG、STD、MI、Q_AB/Z、VIFF和Q_SF值均优于PCNN、NSP和ASR方法. MGF方法仅Q_AB/Z高于本文算法，其余5个指标均不如本文算法.说明本文算法在清晰度、对比度、信息丰富度、人眼视觉上和融合效果都优于其余4种融合方法，只是在边缘信息量上略低于MGF方法；

实验4中，本文算法的AG、STD、MI、Q_AB/Z、VIFF和Q_SF值均优于NSP和ASR方法.其中，PCNN方法仅STD值高于本文算法，其余5个指标值均不如本文算法；MGF方法仅Q_AB/Z高于本文算法，其余5个指标均不如本文算法.说明本文算法在清晰度、信息丰富度、人眼视觉上和融合效果都优于其余4种融合方法，只是在对比度及边缘信息量上不如PCNN方法和MGF方法.

将主观评价与客观评价相结合，发现本文算法的融合效果优于其余4种融合方法.本文算法能够从源图像中提取更多轮廓、细节及纹理等信息，并且还提高融合图像的对比度及清晰度.

5 结论

本文根据多聚焦图像的成像特点，为使最终的融合图像含有丰富的纹理边缘等细节信息，将NSST变换的多种优良特性和引导滤波器的保边平滑特性相结合，提出一种NSST与引导滤波相结合的多聚焦图像融合算法.仿真结果表明，本文算法很好地保留源图像的轮廓、细节和纹理等信息，提高融合图像的对比度和清晰度，取得比较理想的融合效果.所以，本文算法是一种行之有效的多聚焦图像融合算法.