如何使低分辨率图像清晰化, 一直以来都是计算机视觉和图像处理领域中一项基础性的重要课题, 也是其他众多领域广泛应用的一项技术.尤其在航天领域中, 作为空间柔性臂^[1]的视觉系统, 在进行柔顺抓捕、空间维修等作业时, 获取例如空间站的支撑结构、航天飞行器太阳能帆板等区域的清晰图像尤为关键.一种常用的方法是使用信号处理技术, 从多个观测到的低分辨率图像中获得高分辨率图像(或序列)^[2-4].然而, 在很多情况下, 额外的多个低分辨率图像可能难以获得, 此时就需要对单幅图像进行超分辨率复原, 这显然是更具有挑战性的.为了从单幅低分辨率图像中得到一幅高分辨率图像, 很多基于不同先验信息假设的算法被提出^[5-7], 以便利用额外的信息来解决单幅图像超分辨率复原的病态问题^[8].

在最近的一些研究中, 全变分(TV)模型非常普遍的被用于单幅图像超分辨率复原中^[9-11].Fernandez等^[12]提出了一种针对城市场景和其他人造场景中直线型三维几何结构的超分辨率复原方法.对于人眼理解图片, 以及进一步的目标定位等其他机器应用领域, 这些直线型结构, 例如建筑物轮廓、窗户的边缘、空间飞行器的桁架结构以及太阳能帆板边界等, 往往都涵盖了更多更重要的信息.

在这些场景中, 全局特征包含了在一些主要方向上的确定方向直线边缘, 而这通常意味着促进了图像结构梯度的稀疏性.通过学习低秩矩阵的结构信息, 这种稀疏性便可以容易的被获取, 图像的直线区域边缘就可以被看成图像全局特征方向到水平和垂直方向的一个变换τ.然后在全变分(TV)的目标函数中加入方向全变分(DTV)的正则化项, 作为一种新的更合适的正则化方法, 对变换后的图像进行超分辨率复原.然而, 无论是TV或者是DTV都会不可避免的产生阶梯化效应^[13], 从而降低了超分辨率复原效果, 特别是在非直线结构区域, 阶梯化效应产生的影响可能更加严重, 例如窗户上的倒影、墙壁纹理或者空间站非规则结构部件轮廓等.

本文提出了一种新的复合正则化超分辨率图像复原方法, 其目标函数中包含了TV、DTV、小波分析、以及平滑项等多种不同类型的正则化项.其中, 小波分析项可以有效地降低TV和DTV产生的阶梯化效应, 而平滑项则使得目标函数可以进行一阶求解的同时在一定程度上提高了复原清晰度.然而, 由于目标函数中包含了多种不同范数的正则化项, 一般的求解方法很难有效的对其进行快速求解, 因此本文使用了文献[14]中提出的一阶锥型函数对偶求解方法(TFOCS)的思想, 推导了本文复合正则化目标函数的变化形式, 并对变换后的目标函数进行求解.实验结果表明, 该方法同样得到了较清晰的直线边缘, 同时有效地减少了图像的阶梯化效应, 在非直线结构区域, 本文方法保留了更多的纹理信息, 使得复原后的图像更接近真实图像, 也更加符合人的视觉习惯.

1 旋转不变的方向全变分模型

为了获得这些人造结构的超分辨率复原图像, 最常采取的方法就是对图像梯度的L1范数进行正则化惩罚, 这也就是经典的TV模型^[10].其各向异性的定义为

$ \text{TV}\left( u \right)=\left| \nabla u \right|=\sum\limits_{i=2}^{m}{\sum\limits_{j=2}^{n}{\left( \left| {{x}_{i, j}}-{{x}_{i-1, j}} \right|+\left| {{x}_{i, j}}-{{x}_{i, j-1}} \right| \right).}} $

然而当处理图像中的二维边缘时, 由于TV模型忽视了图像邻域的方向相关性, 最小化的全变分模型的复原效果并不令人满意.所以作为一种更有效的正则化方法, 方向全变分(DTV)方法被提出^[15].相比于TV模型, DTV模型被定义为

$ \begin{align} &\text{DTV}\left( u \right)=\left| \nabla u \right|=\sum\limits_{j=1}^{n}{\sqrt{\sum\limits_{i=2}^{m}{{{\left( {{x}_{i, j}}-{{x}_{i-1, j}} \right)}^{2}}}}} +\\ &\ \ \ \ \ \ \ \ \ \ \ \ \ \sum\limits_{i=1}^{m}{\sqrt{\sum\limits_{j=2}^{n}{{{\left( {{x}_{i, j}}-{{x}_{i, j-1}} \right)}^{2}}}}}, \\ \end{align} $

可以看出, DTV模型从水平和垂直两个方向上考虑图像的梯度, 因此对图像中水平和垂直方向结构的复原效果更好.

但在高度结构化的人造场景中, 仅仅是水平和垂直两个方向上的复原效果, 显然是完全不够的.为了进一步提高结构区域的复原效果, 本文可以将图像中直线型结构, 看成是水平和垂直结构按照一定的方式投影或仿射变换而来.因此, 只需要找到这种投影或者仿射变换的变换矩阵, 就可以将图像的直线型结构逆变换为水平和垂直结构, 之后再使用DTV模型对逆变换后的图像进行超分辨率复原.

TI-DTV被定义为

$ {\rm{TI}} - {\rm{DTV}}\left( \mathit{\boldsymbol{I}} \right) = {\rm{DTV}}\left( {\mathit{\boldsymbol{I}} \circ \mathit{\boldsymbol{\tau }}} \right), $

式中:矩阵${\mathit{\boldsymbol{I}} \circ \mathit{\boldsymbol{\tau }}}$是将逆变换矩阵τ应用到图像I中, 并重采样后得到的图片.

本文很容易证明, 图像中带有水平和垂直边缘的结构通常是低秩的.所以, 使用文献[16]中提出的高鲁棒性计算工具去获得旋转不变的低秩纹理结构.然后, 逆变换矩阵τ就可以通过求解最小化方程得到：

$ \begin{array}{l} {\rm{Minimize}}\;{\left\| L \right\|_*} + \lambda {\left\| E \right\|_1}, \\ {\rm{Subject}}\;{\rm{to}}\;\mathit{\boldsymbol{I}} \circ \mathit{\boldsymbol{\tau }} = L + E = {\mathit{\boldsymbol{A}}_\tau } \cdot x. \end{array} $

加入了旋转不变性的方向全变分后, TI-DTV目标函数被定义为：

$ \begin{array}{l} {\rm{Minimize}}\;\alpha \;{\left\| {{\mathit{\boldsymbol{A}}_\tau } \cdot x} \right\|_{{\rm{DTV}}}} + \beta {\left\| x \right\|_{{\rm{TV}}}}, \\ {\rm{Subject}}\;{\rm{to}}\;{\left\| {Ax - y} \right\|_2} \le \mathit{\boldsymbol{\epsilon}}. \end{array} $

需要注意的是, 由于A_τ矩阵经常是不满秩的, 所以需要使用TV正则化项来稳定目标函数, 并且将β赋予一个较小的值.最后, 通过对TI-DTV目标函数进行求解, 可以获得包含更多结构边缘信息的超分辨率图像.

2 方法 2.1 基于复合正则化的目标函数

当使用TV模型去复原低分辨率图像时, 阶梯化现象会对图像的复原质量产生较为严重的影响, 这也是图像研究者们一直以来都是比较关心的问题之一.由于无论DTV或是TI-DTV正则化项, 都只在目标函数中对图像的两个主要方向进行惩罚, 所以同样的阶梯化效应也存在与这两种模型之中, 并且可能较TV模型更加严重, 会导致复原后的图像像素块化, 从而降低图像的复原质量.

本文的主要目的之一就是在保留图像中直线结构边缘较高清晰度的前提下, 减小阶梯化效应, 同时提高图像非结构化区域的超分辨率复原效果, 以获得更多的图像纹理信息.因此, 本文将小波分析正则项加入到超分辨率复原的目标函数中, 通过惩罚小波分析正则化项, 可以较有效的复原图像纹理信息, 并且减小块化效应.改进后的目标函数为：

$\begin{array}{l} {\rm{Minimize}}\;\alpha \;{\left\| {{\mathit{\boldsymbol{A}}_\tau } \cdot x} \right\|_{{\rm{DTV}}}} + \beta {\left\| x \right\|_{{\rm{TV}}}}, + \gamma {\left\| {Wx} \right\|_1}, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{Subject}}\;{\rm{to}}\;{\left\| {Ax - y} \right\|_2} \le \mathit{\boldsymbol{\epsilon}}. \end{array} $

(1)

式中:W为JPEG-2000中使用的一个标准对称9/7小波变换域^[17].

可以明显的看出, 在这个目标函数中有着3种不同种类范数的正则化项, 包括了一个L2范数的数据保真项, 一个L1范数的小波分析项, 以及两个TV范数的全变分惩罚项(DTV范数可以看出一种特殊的TV范数).显然, 普通的二阶方法很难解决这个多范数正则化目标函数的求解问题.

2.2 复合正则化超分辨率复原方法

为了对式(1)中带有多种不同范数正则化项的目标函数进行求解, 本文使用了一阶锥形函数对偶求解方法(TFOCS)的思想^[14].TFOCS是一种很灵活的求解方法, 可以有效地解决复杂的锥形问题及其变化形式, 尤其是混合了多种惩罚项和线性算子的目标函数.其求解过程主要是：先将目标问题变换为锥形问题形式, 然后找到该锥形问题的对偶形式, 并将其平滑化, 最后通过优化的一阶求解方法对其进行求解.

针对式(1)中提出的目标函数形式, 本文首先将其变换为锥形问题形式：

$ \begin{array}{l} {\rm{Minimize}}\;\alpha u + \beta v + \gamma w, \\ {\rm{Subject}}\;{\rm{to}}\;\;{\left\| {{\rm{DTV}}\left( {{\mathit{\boldsymbol{A}}_\tau }\cdot x} \right)} \right\|_1} \le u, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\left\| {{\rm{TV}}\left( x \right)} \right\|_1} \le v, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\left\| {Wx} \right\|_1} \le w, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\left\| {Ax - y} \right\|_2} \le \mathit{\boldsymbol{\epsilon}}. \end{array} $

式中：DTV、TV分别为方向全变分和全变分的线性算子；u、v、w分别为新的标量常量.设其对偶变量λ=(z(1), τ(1), z(2), τ(2)), 其中:

$ {\left\| {{z^{(1)}}} \right\|_\infty } \le {\tau ^{(1)}}, {\left\| {{z^{(2)}}} \right\|_2} \le {\tau ^{(2)}}, $

则其拉格朗日算子为

$ \begin{array}{l} \mathscr{L}\left( {x, u, v, w, {z^{(1)}}, {\tau ^{(1)}}, {z^{(2)}}, {\tau ^{(2)}}} \right) = \\ \alpha u + \beta v + \gamma w - \left\langle {{z^{(1)}}, {\rm{DTV}}\left( {{\mathit{\boldsymbol{A}}_\tau }\cdot x} \right)} \right\rangle - \\ \left\langle {{z^{(1)}}, {\rm{TV}}\left( x \right)} \right\rangle - \left\langle {{z^{(1)}}, Wx} \right\rangle - \\ {\tau ^{(1)}}\left( {\alpha u + \beta v + \gamma w} \right) - \left\langle {{z^{(2)}}, Ax - y} \right\rangle - {\mathit{\boldsymbol{\epsilon}}\tau ^{(2)}}, \end{array} $

可以看出, 当且仅当τ⁽¹⁾=1时, 拉格朗日算子有界.同样, 本文可以用文献[14]中的简化方法将τ⁽²⁾消除.化简后的对偶问题为：

$ \begin{array}{l} {\rm{Minimize}}\;\;\left\langle {{\rm{}}y, {z^{(2)}}} \right\rangle - \mathit{\boldsymbol{\epsilon}}{\left\| {{z^{(2)}}} \right\|_2}, \\ {\rm{Subject}}\;{\rm{to}}\;\;{A^ * }{z^{\left( 2 \right)}} - {W^ * }{z^{\left( 2 \right)}} - {A^ * }{z^{\left( 2 \right)}}- \\ \;\;\;\;\;\;\;\;\;\;\;{\rm{DT}}{{\rm{V}}^*}({\mathit{\boldsymbol{A}}_\tau }\cdot x) - {\rm{T}}{{\rm{V}}^*}\left( x \right) = 0, \\ \;\;\;\;\;\;\;\;\;\;\;z_\infty ^{\left( 1 \right)} \le 1, \end{array} $

加入平滑项$ \frac{1}{2}\mu {\left\| {x - y} \right\|^2}$后, 本文得到了目标函数的对偶形式为

$\begin{array}{l} {g_\mu }\left( {{z^{(1)}}, {z^{(2)}}} \right) = {\rm{in}}{{\rm{f}}_x}(\frac{1}{2}\mu {\left\| {x - y} \right\|^2} - \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left\langle {{z^{(1)}}, {\rm{DTV}}({\mathit{\boldsymbol{A}}_\tau }\cdot x)} \right\rangle - \left\langle {{z^{(1)}}, {\rm{TV}}\left( x \right)} \right\rangle - \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left\langle {{z^{(1)}}, Wx} \right\rangle - \left\langle {{z^{(2)}}, Ax - y} \right\rangle - \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathit{\boldsymbol{\epsilon}}{\left\| {{z^{(2)}}} \right\|_2}). \end{array} $

(2)

通过选择一个较小的μ值, 可以从技术上将平滑项对整个目标函数的影响限制在一个可接受的水平程度上.事实上, 对于图像去模糊或者图像超分辨率复原的目标函数, 一个适当稍大的μ反而可以使得图像的复原效果更好^[18].所以本文近似的将μ的值确定为

$\mu = \frac{{{\rm{max}}\left( {\alpha {{\left\| {{\rm{DTV}}({\mathit{\boldsymbol{A}}_\tau }\cdot x)} \right\|}_1}, \beta {{\left\| {{\rm{TV}}\left( x \right)} \right\|}_1}, \gamma {{\left\| {Wx} \right\|}_1}} \right)}}{{{\rm{500}}}}. $

(3)

至此, 得到了平滑的目标函数对偶形式.相对应的, 本文最终得到了复合正则化超分辨率复原方法的目标函数：

$ \begin{array}{l} {\rm{Minimize}}\;\alpha \;{\left\| {{A_\tau }\cdot x} \right\|_{{\rm{DTV}}}} + \beta {\left\| x \right\|_{{\rm{TV}}}} + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\gamma {\left\| {Wx} \right\|_1} + \frac{1}{2}\mu {\left\| {x - y} \right\|^2}, \\ {\rm{Subject}}\;\;{\rm{to}}\;{\left\| {Ax - y} \right\|_2} \le \mathit{\boldsymbol{\epsilon}}. \end{array} $

(4)

2.3 一阶对偶求解方法

由于在式(2)得到的目标函数的平滑的锥形对偶形式中, 所有对偶项都有相同的阶数, 所以本文可以利用一阶方法对其进行迭代求解：

$ {z_{k + 1}} = \mathop {{\rm{arg}}\;{\rm{min}}}\limits_{z:{{\left\| {{z^{(2)}}} \right\|}_\infty } \le 1} \;\mathit{\boldsymbol{\epsilon}}{\left\| {{z^{(2)}}} \right\|_2} + \left\langle {\tilde x, z} \right\rangle + \frac{{{\theta _k}}}{{2{t_k}}}{\left\| {z - {z_k}} \right\|^2}. $

然而TV和DTV算子与小波分析算子对矩阵A有着显著不同的尺度, 所以本文需要对每一个对偶变量使用不同的步长t_k⁽ⁱ⁾为

$ \begin{array}{l} {z_{k + 1}} = \mathop {{\rm{arg}}\;{\rm{min}}}\limits_{z:{{\left\| {{z^{(2)}}} \right\|}_\infty } \le 1} \;\mathit{\boldsymbol{\epsilon}}{\left\| {{z^{(2)}}} \right\|_2} + \left\langle {\tilde x, z} \right\rangle +\\ \;\;\;\;\;\;\;\;\;\;\;\;\; \frac{{{\theta _k}}}{2}\sum\limits_{i = 1}^2 {\frac{1}{{t_k^{\left( i \right)}}}} {\left\| {z - {z_k}} \right\|^2}. \end{array} $

因此, 本文得到了复合正则化超分辨率复原目标函数式(4)的迭代策略, 具体步骤为：

Require: z₀, y∈Rⁿ, μ＞0, t_k⁽ⁱ⁾,

Step1 :θ₀←1, v₀←z₀

Step2:loop k=0, 1, 2，…,

Step3:y_k←(1-θ_k)v_k+θ_kz_k,

Step4: x_k←y+μ^-1(Wy_k⁽¹⁾+DTV^*y_k⁽¹⁾+ TV^*y_k⁽¹⁾-A^*y_k⁽²⁾),

Step5: z_k+1⁽¹⁾← CTrunc(y_k⁽¹⁾-θ_k^-1t_k⁽¹⁾Wx_k-

$ \begin{array}{l} \theta _k^{ - 1}t_k^{\left( 1 \right)}{\rm{DTV}}({\mathit{\boldsymbol{A}}_\tau }\cdot{x_k}) - \\ \theta _k^{ - 1}t_k^{\left( 1 \right)}{\rm{TV}}{x_k}, \theta _k^{ - 1}t_k^{\left( 1 \right)}), \\ z_{k + 1}^{\left( 2 \right)} \leftarrow {\rm{Shrink}}(y_k^{\left( 2 \right)} - \theta _k^{ - 1}t_k^{\left( 2 \right)}(A{x_k} - y), \\ \theta _k^{ - 1}t_k^{\left( 2 \right)}\mathit{\boldsymbol{\epsilon}}), \end{array} $

Step6:v_k+1←(1-θ_k)v_k+θ_kz_k+1,

Step7:θ_k+1←2/(1+(1+4/θ_k²)^1/2),

Step8:end loop

需要注意的是, 在Step4中TV和DTV算子都是将图像从Rⁿ²变换成C^(n-1)2, 因此本文必须小心的使用他们的实值内积进行计算.通过反复迭代计算, 最终可以得到超分辨率复原的图像.

3 结果及分析

本文中所有的实验都是使用Matlab 2 014b在Intel i7 7 700 k和8 GB RAM的Windows 10环境下进行的, 使用的图像为SUN数据库^[19]中的真实街景图像的结构化区域.图 1展示了实验所选取的图片区域.

3.1 复合正则化超分辨率复原效果

为验证本文算法的效果, 选用多种其他算法与其对比实验.

首先, 本文降采样一张高分辨率图像, 使其长、宽均为高分辨率图像的1/2, 并将获得的低分辨率图像作为超分辨率复原的原始图像.然后, 使用本文提出的复合正则化超分辨率图像复原方法对其进行复原.令式(4)在所有实验中的$\mathit{\boldsymbol{\epsilon}}$=5.5, 同时令大多数实验中α=3, β=0.5, γ=1, μ的取值根据式(3)确定.

目标函数的参数调节是一项复杂且十分有意义的研究课题.对于类似本文的复合正则化超分辨率图像复原目标函数, 有很多种参数调节的方法和技巧, 例如Stein无偏风险估计^[20]和广义交叉验证^[21].经过实验验证, 本文参数取上述常值时, 目标函数的还原效果往往接近最优解.

作为对比实验, 本文用其他多种方法与其进行对比, 包括双三次差值、TV、DTV、小波分析、带有小波分析的TV^[22]以及TI-DTV^[12].本文将通过这5种超分辨率复原方法以及本文方法复原后的图像, 与实际的高分辨率图像进行比较, 并计算他们各自的峰值信噪比(PSNR)和结构相似性(SSIM). 表 1为各组实验PSNR值和SSIM值(SSIM*100%)的对比, 图 2为对比实验的效果图.

可以明显的看出各方法都可以较有效的复原低分辨率图像.与传统方法相比, TI-DTV的PSNR和SSIM数值有一定程度的提高, 从图像中可以看出, TI-DTV对图像中包含关键信息的直线型结构区域(如窗框、建筑边缘等)的复原效果提高较大, 但同时也会出现更明显的阶梯化效应.通过本文方法超分辨率复原后的图像, 阶梯化效应有明显改善, 图像更加真实, 在结构化区域的复原效果与前者相仿或略优于前者, 而在非全局方向结构区域, 相比TI-DTV方法复原效果有明显提高.PSNR和SSIM的数值的提高也证明了本文方法的有效性.

3.2 不同种类多尺度换对复原效果的影响

由于超分辨率复原的目标函数中, 小波正则化项主要影响复原图像的纹理信息, 所以不同种类的多尺度变换域类型对图像复原效果有一定影响.经过实验, 发现传统种类的其他小波变换域对复原效果与JPEG-2000的9/7小波差别很小(PSNR差值小于0.02).由于篇幅限制, 本文就不再赘述.

以脊波(ridgelet)^[23]和曲波(curvelet)^[24]为代表的多尺度几何分析, 由于其整体曲线有多个尺度不同或相同的局部曲线构成, 使之具有更好的方向奇异性, 更加贴合图像纹理.在保留了小波变换域局部时频分析特性的同时, 多尺度几何分析有更强的方向选择性和辨识能力, 在图像去噪和复原领域往往较小波有更好的表现.故本文主要选用脊波和曲波变换域作为多尺度分析正则化项与9/7小波进行对比.图 3为不同种类变换域的对比图, 表 2为PSNR的对比数据.

可以看出, 选用脊波和曲波作为多尺度分析变换域正则化项时, 复原效果略好于JPEG-2000的9/7的小波变换域正则化项.在另外几组对比实验中, 含有脊波和曲波变换域分析正则化项的目标函数还原结果相差不大, 且较含有小波变换域正则化项的目标函数还原效果PSNR值平均提高0.05左右.

4 结论

1) 本文提出了一种复合正则化目标函数的图像超分辨率复原方法, 通过整合TV、DTV、小波以及平滑项, 实现了对高度结构化人造场景图像的超分辨率复原.

2) 通过与多种算法比较实验, 证明了本文算法的复原效果较之前算法有明显提高.同时, 脊波和曲波变换域可以代替本文算法中的小波变换域, 且有更好的复原效果.