融合自适应阈值与αML核函数的双稀疏空域错误隐藏

刘浩，丘茂基，周镭，陈根龙，燕帅; LIU Hao; QIU Maoji; ZHOU Lei; CHEN Genlong; YAN Shuai

融合自适应阈值与α-ML核函数的双稀疏空域错误隐藏

doi: 10.11918/202310010

刘浩，丘茂基，周镭，陈根龙，燕帅

东华大学信息科学与技术学院,上海 201620

详细信息

作者简介

刘浩(1977—)，男，副教授，硕士生导师

通讯作者

刘浩，liuhao@dhu.edu.cn

中图分类号: TN919.8

文献标识码: A

文章编号: 0367-6234(2025)10-0154-11

Double-sparse spatial error concealment with adaptive threshold and α-ML kernel functions

LIU Hao ， QIU Maoji ， ZHOU Lei ， CHEN Genlong ， YAN Shuai

College of Information Science and Technology, Donghua University, Shanghai 201620 , China

摘要

在实时视频流的解码端，恢复压缩视频时经常出现块丢失现象。空域错误隐藏利用在当前帧中块与块之间的相关性进行受损图像的恢复，无需其他帧的信息。在众多空域错误隐藏算法中，稀疏表达机制进一步利用了图像的稀疏性，与逐点插值机制相比恢复质量更好。当前的稀疏表达算法仍面临候选子区域选取不准、相关模型参数较敏感的难题。为此，对基于稀疏表达的对偶空间正则框架进行研究，重点对其中的局部区域匹配和局部线性相关建模两个阶段进行优化，提出一种融合自适应阈值与α-ML核函数的双稀疏空域错误隐藏算法。在局部区域匹配阶段，所提算法设计了一种基于自适应阈值的局部区域匹配方法，能够灵活地适应特征各异的丢失子区域，为字典构建和局部线性相关建模提供更准确的观测空间和潜在空间。在局部线性相关建模阶段，所提算法使用了一种基于α-ML核函数的核岭回归方法作为局部线性相关模型，与现有的高斯核函数相比，α-ML核函数参数敏感性更低、灵活性更好。实验结果表明，在典型的块丢失模式下，所提算法在恢复质量上高于其他现有的空域错误隐藏算法。

关键词

错误隐藏 / 自适应阈值 / 核函数 / 区域匹配 / 相关模型

Abstract

In the decoder of live video streaming, compressed video often suffers from block loss during recovery. The spatial error concealment utilizes the correlation between blocks in the current frame for the recovery of error image, without requiring information from other frames. Among many spatial error concealment algorithms, sparse representation mechanism further utilizes the sparsity of an image and achieve better recovery quality than pixel-wise interpolation mechanism. The current sparse representation algorithms still face challenges such as inaccurate selection of candidate subregions and parameter sensitivity of correlation model. Therefore, this paper studies the dual space regularization framework according to sparse representation, and focuses on optimizing such two stages as local region matching and local linear correlation modeling in this framework. We proposes a double-sparse spatial error concealment algorithm with adaptive threshold and α-ML kernel function. During the stage of local region matching, the proposed algorithm designs a local region matching method with adaptive threshold, which can flexibly adapt to the missing subregions with different characteristics, and provide more accurate observation space and potential space for dictionary construction and local linear correlation modeling. During the stage of local linear correlation modeling, the proposed algorithm utilizes a kernel ridge regression method with α-ML kernel function as the local linear correlation model. Compared with the Gaussian kernel function, the α-ML kernel function has low parameter sensitivity and good flexibility. Experimental results show that in typical block loss modes, the proposed algorithm outperforms other existing spatial error concealment algorithms in terms of recovery quality.

Keywords

error concealment / adaptive threshold / kernel function / region matching / correlation model

1 所提算法 1.1 基于自适应阈值的局部区域匹配 1.2 基于α-ML核函数的局部线性相关建模 1.3 总体算法流程 2 结果与分析 2.1 实验场景及评价指标 2.2 实验结果与分析 3 结论

在实时视频流中，块丢失是常见的现象。与编码端的抗误码技术相比，解码端的错误隐藏技术无需对编码器作任何调整，也不增加传输延时，因而受到广泛关注^[1]。在错误隐藏技术中，空域错误隐藏利用当前帧块与块之间的相关性进行受损图像的恢复^[2]；时域错误隐藏根据视频序列中帧与帧之间的运动连续性来进行图像修复^[3]；时空域错误隐藏则是根据当前场景的差异，自适应地选择空域错误隐藏或时域错误隐藏^[4]。空域错误隐藏仅需利用当前帧中正确接收的像素对丢失块进行修复，既适用于单帧图像的修复，也适用于视频的逐帧修复。

现有的空域错误隐藏算法主要分为逐点插值机制和稀疏表达机制。逐点插值机制利用图像特征的局部相关性来恢复缺失像素，如H.264标准就推荐了基于插值的（advanced video coding，AVC）空域错误隐藏算法^[5]。通过改进马尔科夫随机场，王冰等^[6]提出一种基于迭代自适应终止的马尔可夫错误隐藏算法，采用多次迭代的插值方式完成对缺失像素的掩盖。进一步地，王凯巡等^[7]提出一种非迭代收缩多方向预测（non-iterative shrinkage multi-direction，NSM）的空域错误隐藏算法，快速地利用邻域边缘信息来隐藏丢失块。总体而言，这类逐点插值机制对于图像纹理区域的恢复质量较差。

随着信号处理技术的发展，多媒体信号的稀疏表达也被引入空域错误隐藏问题的解决中。通过分层逼近与稀疏约束，Koloda等^[8]提出了一种基于最小均方误差（kernel-based minimum mean square error，KMMSE）的稀疏线性预测器，使用从核密度估计中获得的概率密度函数来恢复缺失像素。进一步地，Liu等^[9]采用对偶空间正则（dual space regularization，DSR）算法来恢复丢失区域，为观测空间和潜在空间单独学习自适应字典，训练数据通过自适应局部区域匹配的收集机制，学习一个局部相关模型来桥接上述对偶空间的稀疏表达，但其中的局部区域匹配采用基于固定阈值的欧氏距离方式进行选取，存在候选子区域选取不够准确、降低模型精度的问题。

空域错误隐藏面临的挑战是恢复质量、通用性与算法复杂度的高效折中。近年来，空域错误隐藏在算法复杂度的优化方面取得了一些新的进展。由于逐点插值机制具有较低的复杂度，Hwang等^[10]提出了一种基于相邻块预测的多方向插值（NEW multi-directional interpolation，NEW-MDI）算法，通过自适应的线性预测器对丢失块进行连续恢复，并根据相邻块上下文自动调整预测方向。此外，低秩矩阵补全也被用于空域错误隐藏，Zhou等^[11]提出了一种基于动量梯度下降的截断核范数最小化模型优化方法（truncated kernel norm minimization with momentum gradient descend，TKNM-MGD），在迭代耗时与通用性方面具有一定的优势。

然而近年来，空域错误隐藏在恢复质量方面的提升并不明显。基于稀疏表达的空域错误隐藏算法利用了信号固有的稀疏性，核心步骤是建立合适字典，求解字典的相关稀疏，并最终通过稀疏表达来重建图像。DSR空域错误隐藏是目前基于稀疏表达算法中效果较好的一种，其框架主要包括子区域划分、恢复顺序确定、局部区域匹配、字典构建、局部线性相关建模和稀疏重构等阶段。本文重点对稀疏表达中的局部区域匹配和局部线性相关模型阶段进行改进，提出了基于自适应阈值的局部区域匹配方法和基于α-ML核函数的局部线性相关模型，并总结了融合自适应阈值与α-ML核函数的双稀疏（adaptive Minkowski dual sparsity，AM-DS）空域错误隐藏算法的主要流程。最后开展比较实验并对实验结果进行了分析，证明所提AM-DS算法在各类块丢失模式下恢复质量的优越性。

1 所提算法

1.1 基于自适应阈值的局部区域匹配

稀疏表达机制通常利用欧氏距离作为衡量子区域之间相似度的指标，由满足阈值条件的潜在子区域组成的潜在空间φ_x，由满足阈值条件的观测子区域组成的观测空间φ_y，其定义分别如下：

ϕ_{x} = \{x_{i j} ∣ {‖y_{i} - y_{i j}‖}^{2} < τ, x_{i j}, y_{i j} \in (S \cup L)\}

(1)

ϕ_{y} = \{y_{i j} ∣ {‖y_{i} - y_{i j}‖}^{2} < τ, x_{i j}, y_{i j} \in (S \cup L)\}

(2)

式中：x_ij表示潜在子区域，y_i表示丢失子区域的相邻子区域，y_ij表示观测子区域，τ表示阈值，S表示可用的观测区域，L表示可用的潜在区域。在当前的DSR算法中，τ是一个固定值，受损图像往往存在多个丢失块，一个丢失块又被分为多个丢失子区域。每个丢失子区域周围区域的像素变化情况不同，使用固定阈值进行筛选，存在筛选得到的各集合元素数差异较大的问题。当筛选得到的潜在子区域过少时，在求解后续局部线性相关模型参数的过程中，存在求解的模型包含有效信息过少的问题；当筛选得到的潜在子区域过多时，则存在模型过拟合、引入较多噪声的问题。基于固定阈值的欧氏距离方式受阈值的影响较大，难以得到最佳阈值，影响了后续字典构建和局部线性相关建模的精度。

如图1所示，以16×16丢失块大小、规则间隔丢失下的Lena图像（256×256）为例，记录执行基于固定阈值的欧氏距离局部区域匹配方式后，各丢失子区域筛选后得到的潜在子区域数目统计表。实验设置的丢失子区域大小为2×2，前64个丢失子区域对应的潜在子区域数目统计情况如图2所示，可以看出，各丢失子区域筛选后得到的潜在子区域数目差距较大，某些丢失子区域对应的潜在子区域数目只有一个，而另一些丢失子区域对应的潜在子区域数目高达数百个。

图1规则间隔丢失下的Lena图像

Fig.1Lena image in regular interval loss

图2各丢失子区域对应潜在子区域数目对比图

Fig.2Comparison of the number of latent subregions corresponding to each missing subregion

基于以上实验现象，将第n个欧氏距离最小的子区域的像素值作为计算自适应阈值的重要组成部分。其次，对以相关性系数作为相似度指标的局部区域匹配方法进行性能探究，计算丢失子区域的相邻子区域和观测子区域之间的相关性系数，其计算公式如下：

r_{x y} = \frac{\overset{n}{\underset{i = 1}{Σ}} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sqrt{\overset{n}{\underset{i = 1}{Σ}} {(x_{i} - \bar{x})}^{2} \overset{n}{\underset{i = 1}{Σ}} {(y_{i} - \bar{y})}^{2}}}

(3)

式中:

\bar{x}

、

\bar{y}

分别为观测子区域和丢失子区域的相邻子区域的像素值的均值。将各组相关性系数从大到小进行排序，选取前n个观测子区域组成观测空间，对应的前n个潜在子区域组成潜在空间。进一步选择Lena、Leaves等7幅图像，以选取前n个欧氏距离最小的子区域为标准，建立潜在空间和观测空间，并以峰值信噪比（PSNR）作为恢复质量的客观评价测度^[12]，记录各图像在16×16规则间隔丢失下的恢复情况，如表1所示。

表1不同子区域数目下图像的PSNR值（相关性系数）

Tab.1PSNR values of images with different numbers of subregions (correlation coefficient)

由表1可知，当以相关性系数作为相似度指标时，在大部分场景下仍有较好的恢复质量，与基于固定阈值的欧氏距离方式相比，在恢复质量上有一定优势。但是，基于固定子区域数目的相关性系数方式面临在不同测试集、不同子区域数n情况下，恢复效果不稳定的问题。表1中标注为NaN的数据代表在该组实验中，当前算法未能修复所有的丢失子区域，存在未修复的丢失子区域。结合以上分析，所提算法设计了如下的自适应阈值公式：

τ = D_{Euc} (y_{i}, y, k) - \frac{\overset{n}{\underset{i = 1}{Σ}} r_{y_{i} y}}{n} \times w

(4)

式中：

D_{Euc} (y_{i} ， y ， k)

表示第k个欧氏距离最小的观测子区域对应的欧氏距离，

\overset{n}{\underset{i = 1}{Σ}} r_{y_{i} y}

表示丢失子区域的相邻子区域和所有观测子区域间的相关性系数的和，w为常量。该自适应阈值通过

D_{Euc} (y_{i} ， y ， k)

项对局部区域匹配得到的候选子区域的数量进行约束，避免局部区域匹配得到的候选子区域的数量过少或过多，影响后续字典构建和局部线性相关建模的精度。当w为0时，该局部区域匹配方法等价于选取前k个欧氏距离最小的子区域。

\frac{\overset{n}{\underset{i = 1}{Σ}} r_{y_{i} y}}{n}

表示丢失块附近区域和潜在子区域间的平均相关性系数。当呈负相关时，说明丢失子区域附近区域与潜在子区域间差异较大，应适当放宽阈值，增加候选子区域数量，此时

- \frac{\overset{n}{\underset{i = 1}{Σ}} r_{y_{i} y}}{n} \times w

为正，τ＞

D_{Euc} (y_{i} ， y ， k)

。反之，当呈正相关时，说明丢失子区域附近区域与潜在子区域相似度较高，应适当收缩阈值，减少候选子区域数量，此时

- \frac{\overset{n}{\underset{i = 1}{Σ}} r_{y_{i} y}}{n} \times w

为负，τ＜

D_{Euc} (y_{i} ， y ， k)

。

至此，局部区域匹配方法通过衡量区域相关性，为当前丢失子区域和其相邻子区域寻找相似度最高的若干个潜在子区域和观测子区域。采用欧氏距离作为子区域间的相似度指标，因丢失子区域的像素值缺失，无法计算丢失子区域和潜在子区域之间的欧氏距离，通过先计算丢失子区域的相邻子区域和观测子区域间的欧氏距离，筛选符合要求的观测子区域组成观测空间，从而确定对应的潜在子区域，组成潜在空间。通过计算自适应阈值τ，筛选满足要求的潜在子区域和观测子区域组成潜在空间和观测空间，基于自适应阈值的局部区域匹配方法灵活的适应性质各异的丢失子区域，为字典构建和局部线性相关建模提供更合适的观测空间和潜在空间，提高受损图像的恢复质量。

基于自适应阈值的局部区域匹配方法的主要流程如图3所示。输入丢失子区域，对于当前丢失子区域和其对应的相邻子区域，遍历搜索所有的潜在子区域和观测子区域，计算每个观测子区域和丢失子区域的相邻子区域间的欧氏距离并进行排序，记录第k个欧氏距离最小的观测子区域的欧氏距离

D_{Euc} (y_{i} ， y ， k)

，计算观测子区域与丢失子区域的相邻子区域间的平均相关性系数，根据自适应阈值公式计算当前丢失子区域的对应自适应阈值，选取满足阈值条件的观测子区域和潜在子区域，组成观测空间和潜在空间。最后，输出当前丢失子区域的观测空间和潜在空间。

图3基于自适应阈值的局部区域匹配流程

Fig.3Flowchart of local region matching based on adaptive threshold

1.2 基于α-ML核函数的局部线性相关建模

普通的线性回归通过最小化平方误差损失函数得到训练模型，而核回归通过将核函数作为权重函数建立非线性回归模型。利用核函数计算x_i在x处的权重，其中，x_i为观测数据点，x为预测的点。DSR算法采用了核函数中最为常见的高斯核函数。相比高斯核函数，拉普拉斯核函数对参数的依赖性和敏感性较低。而参数设置敏感正是核岭回归方法的一大缺点，当参数设置较小时又会为了模型的稳定性而牺牲一定的无偏性。因此，采用拉普拉斯核函数代替高斯核函数。

在采用基于自适应阈值的局部区域匹配方法的基础上，对默认参数下分别以拉普拉斯核函数和高斯核函数作为核函数的核岭回归方法在典型场景下的性能进行实验，分析拉普拉斯核函数和高斯核函数的形式差异，可以推测与高斯核函数相比，拉普拉斯核函数对于参数的敏感性较低、模型的鲁棒性较好。除此之外，当前的核函数的分子大多默认采用欧氏距离。欧氏距离可以看作是闵可夫斯基距离的一种特殊形式，闵可夫斯基距离并不是一种距离，而是一类距离，其定义如下：

D_{E u c} (x, y, α) = {‖x_{i} - y_{i}‖}_{M} = {(\overset{d}{\underset{i = 1}{Σ}} {|x_{i} - y_{i}|}^{α})}^{\frac{1}{α}}

(5)

当α不同时，闵可夫斯基距离有不同的形式：当α为1时，表示曼哈顿距离；α为2时，表示欧氏距离；α趋近于无穷时，则表示切比雪夫距离。当α不同时，对应的内核也有不同的表现形式。为了增强模型在不同场景下的灵活性，所提算法采用闵可夫斯基距离代替固定阈值的欧氏距离，将闵可夫斯基（Minkowski）距离形式下的拉普拉斯核函数称为α-ML核函数，其定义如下：

k (x, y) = e x p (- \frac{‖ x - y ‖_{M}}{σ})

(6)

进一步探究不同α时，闵可夫斯基距离形式下的拉普拉斯核函数对受损图像的恢复作用，分析核函数对核岭回归以及模型整体性能的影响，提高算法的灵活性。对α=1、2、3、4、5、6下的基于α-ML核函数模型的恢复质量进行实验。当α为奇数时，模型的恢复质量较差，且迭代时间很长。当α为偶数时，实验结果如表2所示。可以看出，在不同图像下有不同的最优α值。因此，α-ML核函数的引入提高了原模型的灵活性，可在错误隐藏中寻找典型场景下最优的α值，从而提升模型的泛化性能。

表2α-ML核函数不同α下图像的PSNR值

Tab.2PSNR values of images with different α of α-ML kernel functions

为了将潜在空间与观测空间之间的关系应用到丢失子区域与丢失子区域相邻的子区域，需要建立观测空间和潜在空间之间的联系。因为观测空间中任一观测子区域和潜在空间中任一与之对应的潜在子区域在位置上是几何相邻的，选用局部线性相关模型来建立二者之间的联系。核函数是核岭回归方法中的重要一环，将闵可夫斯基距离与拉普拉斯核函数结合，提出了闵可夫斯基距离形式下的拉普拉斯核函数，即上述α-ML核函数。采用α-ML核函数代替原有的高斯核函数，降低了模型对参数的依赖性和敏感性。通过控制自变量α，可以灵活控制α-ML核函数的形式，使局部线性相关模型更加灵活，从而适应各类复杂场景。具体来说，通过求解以下的优化问题，找到最优矩阵

W_{i}^{*}

：

W_{i}^{*} = \underset{W_{i}}{m i n} (\overset{n}{\underset{j = 1}{Σ}} k_{i j} {‖x_{i j} - W_{i}^{T} y_{i j}‖}_{2}^{2} + u {‖W_{i}‖}_{F}^{2})

(7)

式中：

{‖W_{i}‖}_{F}^{2}

表示W_i的Frobenius范数; k_ij为权重，反应了丢失子区域的相邻子区域y_i和观测子区域y_ij之间的相似性。k_ij采用α-ML核函数，具体定义如下：

k_{i j} = e x p (- \frac{{‖y_{i} - y_{i j}‖}_{M}}{σ})

(8)

通过k_ij权重，与y_i更相似的样本会对

W_{i}^{*}

提供更大的估计贡献。模型的封闭形式解如下：

W_{i}^{*} = {(Y_{i}^{T} K_{i} Y_{i} + u I)}^{- 1} Y_{i}^{T} K_{i} Z_{i}^{T}

(9)

式中：

Z_{i} = {[x_{i 1} ， x_{i 2} ， x_{i 3} ， \dots ， x_{i n}]}^{T} \in R^{n \times d_{x}} ， Y_{i} = [y_{i 1} ， {y_{i 2} ， y_{i 3} ， \dots ， y_{i n}]}^{T} \in R^{n \times d_{y}} ， K_{i} = d i a g (k_{i 1} ， k_{i 2} ， k_{i 3} ， \dots ， k_{i n}) \in R^{n \times n}

，正则化参数u设置为

u = \frac{T r (Y_{i}^{T} K_{i} Y_{i})}{N}

(10)

式中Tr（·）表示求括号内矩阵的迹。在得到上述局部线性相关模型的封闭形式解后，进一步求得丢失子区域的粗略估计值：

x_{i}^{*} = W_{i}^{T} y_{i}

(11)

式中：

W_{i}^{T}

为观测空间和潜在空间之间线性映射矩阵的转置矩阵，y_i为丢失子区域的相邻子区域。

1.3 总体算法流程

综上所述，在对偶空间正则框架下进行了改进。在局部区域匹配阶段，采用了基于自适应阈值的欧氏距离准则，其中，自适应阈值的计算融合了丢失子区域的相邻子区域和所有观测子区域间的平均相关性系数，以及第k个欧氏距离最小的观测子区域对应的欧氏距离，提高了局部区域匹配阶段的匹配精度，并对局部线性相关模型进行完善，提出了参数敏感性更低、灵活性更好的基于α-ML核函数的核岭回归方法，从而得到更精确的丢失块的粗略估计值，作为后续稀疏重构环节的初值。

图4是融合自适应阈值与α-ML核函数的双稀疏（AM-DS）算法流程。所提AM-DS算法的流程如下：对于每一个丢失块，进行丢失子区域划分，利用基于置信度指数的最佳优先策略执行丢失子区域的恢复顺序确定。对于每一个丢失子区域，通过基于自适应阈值的局部区域匹配方法筛选得到符合条件的潜在子区域和观测子区域，组成潜在空间和观测空间。随后，利用主成分分析（PCA）方法构建潜在空间和观测空间对应的自适应字典，利用基于α-ML核函数的核岭回归方法建立潜在空间和观测空间之间的局部线性相关模型，并基于此得到当前丢失子区域的粗略估计值，作为稀疏重构信号的初值。最后，通过稀疏重构得到当前丢失块的精确估计值，恢复所有丢失块后，输出恢复图像。

图4融合自适应阈值与α-ML核函数的双稀疏算法流程

Fig.4Flowchart of the dual sparsity algorithm based on adaptive threshold and α-ML kernel functions

2 结果与分析

本节进行典型块丢失模式下的测试实验，来验证本文所提AM-DS算法的有效性。针对各种空域错误隐藏算法的综合性能，采用当前代表性的AVC^[5]、KMMSE^[8]、DSR^[9]、NSM^[7]、NEW-MDI^[10]、TKNM-MGD^[11]等算法开展比较。

2.1 实验场景及评价指标

选取12幅经典的图像进行实验，如图5所示，图像分辨率均设置为256×256。对于块丢失，设计了4种典型的块丢失模式进行实验，分别为规则间隔丢失、规则连续丢失、随机突发丢失和随机行丢失，如图6所示。丢失块尺寸设置为16×16，丢失率分别设置为25%、30%、35%、40%。图像质量评价测度分为主观评价测度和客观评价测度^[13]。主观评价测度通过肉眼主观感受来判断图像好坏，评价结果受观看者的主观影响较大，且没有精确的数据来展示结果。客观评价测度则是将图像质量相关的特性转化为具体的指标值来进行评价。实验选用PSNR作为恢复质量的客观评价测度。

图5测试图像

Fig.5Test images

图64种典型的块丢失模式

Fig.6Four typical block loss modes

2.2 实验结果与分析

接下来将逐一给出规则间隔丢失、规则连续丢失、随机突发丢失和随机行丢失模式下的实验结果。由于篇幅有限，每种场景只给出1组典型的主观评价结果图。

图7为规则间隔丢失模式下的主观评价结果。表3给出了不同算法在规则间隔丢失下的PSNR，表4给出了对应的耗时情况，其中，Average列是所有12幅图像实验数据的平均值。由表3可以看出，在规则间隔丢失下，所提AM-DS算法的PSNR平均值优于其他算法，比NEW-MDI算法高1.552 dB，比NSM算法高0.750 dB，比DSR算法高0.639 dB，比KMMSE算法高1.201 dB，比AVC算法高3.570 dB，比TKNM-MGD算法高5.381 dB。由表4可以看出，在规则间隔丢失下，所提AM-DS算法的耗时少于KMMSE算法，多于AVC、NSM、NEW-MDI、TKNM-MGD算法，相比DSR算法略有增加。

图7规则间隔丢失的恢复结果

Fig.7Recovery results in regular interval loss

图8是规则连续丢失下的主观评价结果。表5给出了不同算法在规则连续丢失下的PSNR，表6给出了对应的耗时情况。由表5可以看出，在规则连续丢失下，所提AM-DS算法的PSNR平均值优于其他算法，比NEW-MDI算法高1.264 dB，比NSM算法高0.667 dB，比DSR算法高0.414 dB，比KMMSE算法高1.312 dB，比AVC算法高3.461 dB，比TKNM-MGD算法高6.523 dB。由表6可以看出，在规则连续丢失下，所提AM-DS算法的耗时少于KMMSE算法，多于AVC、NEW-MDI、NSM、TKNM-MGD算法，相比DSR算法略有增加。

图8规则连续丢失的恢复结果

Fig.8Recovery results in regular continuous loss

图9是随机突发丢失下的主观评价结果。表7给出了不同算法在随机突发丢失下的PSNR，表8给出了对应的耗时情况。由表7可以看出，在随机突发丢失下，所提AM-DS算法的PSNR平均值优于其他算法，比NEW-MDI算法高1.898 dB，比NSM算法高1.069 dB，比DSR算法高0.949 dB，比KMMSE算法高1.001 dB，比AVC算法高2.753 dB，比TKNM-MGD算法高4.301 dB。由表8可以看出，在随机突发丢失下，所提AM-DS算法的耗时少于KMMSE算法，多于AVC、NEW-MDI、NSM、TKNM-MGD算法，相比DSR算法略有增加。

表3不同算法在规则间隔丢失下的PSNR值

Tab.3PSNR values for different algorithms in regular interval loss

表4不同算法在规则间隔丢失下的耗时

Tab.4Runtime of different algorithms in regular interval loss

表5不同算法在规则连续丢失下的PSNR值

Tab.5PSNR values for different algorithms in regular continuous loss

表6不同算法在规则连续丢失下的耗时

Tab.6Runtime of different algorithms in regular continuous loss

图10是随机行丢失下的主观评价结果。表9给出了不同算法在随机行丢失下的PSNR，表10给出了对应的耗时情况。由表9可以看出，在随机行丢失下，所提AM-DS算法的PSNR平均值优于其他算法，比NEW-MDI算法高1.709 dB，比NSM算法高0.398 dB，比DSR算法高0.238 dB，比KMMSE算法高1.171 dB，比AVC算法高2.589 dB，比TKNM-MGD算法高4.589 dB。由表10可以看出，在随机行丢失下，所提AM-DS算法的耗时少于KMMSE算法，多于AVC、NEW-MDI、NSM、TKNM-MGD，与DSR算法相比略有增加。

综合规则间隔丢失、规则连续丢失、随机突发丢失和随机行丢失下的情况，可得出如下结论：基于低秩矩阵补全机制的TKNM-MGD算法在典型块丢失模式下，PSNR平均值明显低于其他空域错误算法。而基于逐点插值机制的NEW-MDI、AVC算法复杂度较低，耗时较少，但PSNR平均值也明显低于其他算法；KMMSE算法复杂度较高，PSNR平均值处于中等层次；NSM、DSR算法复杂度中等，而所提AM-DS算法的PSNR平均值显著高于其他算法，和NEW-MDI、NSM等近年的算法相比在图像恢复质量上也有显著的优势。AM-DS算法在耗时上少于HSR算法和KMMSE算法，与DSR相比仅略有增加，在一个可接受范围内。综合恢复质量和耗时，AM-DS算法具有较强的竞争力。

图9随机突发丢失的恢复结果

Fig.9Recovery results in random burst loss

图10随机行丢失的恢复结果

Fig.10Recovery results in random row loss

表7不同算法在随机突发丢失下的PSNR值

Tab.7PSNR values for different algorithms in random burst loss

表8不同算法在随机突发丢失下的耗时

Tab.8Runtime of different algorithms in random burst loss

表9不同算法在随机行丢失下的PSNR值

Tab.9PSNR values for different algorithms in random row loss

表10不同算法在随机行丢失下的耗时

Tab.10Runtime of different algorithms in random row loss

最后采用全部12幅图像，测试基于自适应阈值的局部区域匹配机制和基于α-ML核函数的局部线性相关模型单独作用下的效果。设当前的DSR为基线算法（Baseline），在Baseline基础上增加了基于自适应阈值的局部区域匹配机制的算法为Module1，在Baseline基础上增加了基于α-ML核函数的局部线性相关模型的算法为Module2。基线算法Baseline，单一改进的Module1、Module2算法，最终改进的AM-DS算法在各丢失模式下的平均PSNR值、平均耗时如表11、12所示。可以看出，在规则间隔丢失、规则连续丢失、随机行丢失、随机突发丢失下，本文所提基于自适应阈值的局部区域匹配机制的Module1算法和基于α-ML核函数的局部线性相关模型的Module2算法得到的PSNR值均高于基线Baseline算法得到的结果。而结合了Module1算法和Module2算法之后，本文提出的AM-DS算法在各丢失模式下得到的PSNR值均高于任一单一改进算法的结果。在主观评价方面，两模块的共同作用使得AM-DS算法的恢复效果更加平滑，如图7~10所示，均优于当前的DSR算法。在耗时方面，单一改进算法或最终改进AM-DS算法的结果均略微高于基线Baseline算法得到的结果，但相差较小，在一个可接受范围内。

表11单一改进算法和最终改进算法在各丢失模式下的平均PSNR值

Tab.11Average PSNR values of a single improved algorithm and a final improved algorithm in each loss mode

表12单一改进算法和最终改进算法在各丢失模式下的平均耗时

Tab.12Average runtime of a single improved algorithm and a final improved algorithm in each loss mode

3 结论

针对当前对偶空间正则算法存在的候选子区域选取不准、相关模型参数较敏感问题，提出了一种融合自适应阈值与α-ML核函数的双稀疏空域错误隐藏算法。所提算法设计了基于自适应阈值的局部区域匹配阶段，能够灵活地适应特征各异的丢失子区域，为字典构建和局部线性相关建模提供更准确的观测空间和潜在空间。在局部线性相关建模阶段，所提算法使用了基于α-ML核函数的核岭回归方法，比现有高斯核函数的参数敏感性更低、灵活性更好。实验表明，所提算法在各类典型的块丢失模式下，与其他现有的空域错误隐藏算法相比，具有更好的恢复质量。在后续研究中，将对字典建立、稀疏重构等环节进行优化，进一步提高算法的恢复质量，并降低算法复杂度。

图1规则间隔丢失下的Lena图像

Fig.1Lena image in regular interval loss

下载: 全尺寸图片

图2各丢失子区域对应潜在子区域数目对比图

Fig.2Comparison of the number of latent subregions corresponding to each missing subregion

下载: 全尺寸图片

图3基于自适应阈值的局部区域匹配流程

Fig.3Flowchart of local region matching based on adaptive threshold

下载: 全尺寸图片

图4融合自适应阈值与α-ML核函数的双稀疏算法流程

Fig.4Flowchart of the dual sparsity algorithm based on adaptive threshold and α-ML kernel functions

下载: 全尺寸图片

图5测试图像

Fig.5Test images

下载: 全尺寸图片

图64种典型的块丢失模式

Fig.6Four typical block loss modes

下载: 全尺寸图片

图7规则间隔丢失的恢复结果

Fig.7Recovery results in regular interval loss

下载: 全尺寸图片

图8规则连续丢失的恢复结果

Fig.8Recovery results in regular continuous loss

下载: 全尺寸图片

图9随机突发丢失的恢复结果

Fig.9Recovery results in random burst loss

下载: 全尺寸图片

图10随机行丢失的恢复结果

Fig.10Recovery results in random row loss

下载: 全尺寸图片

表1不同子区域数目下图像的PSNR值（相关性系数）

Tab.1PSNR values of images with different numbers of subregions (correlation coefficient)

下载: 全尺寸图片

表2α-ML核函数不同α下图像的PSNR值

Tab.2PSNR values of images with different α of α-ML kernel functions

下载: 全尺寸图片

表3不同算法在规则间隔丢失下的PSNR值

Tab.3PSNR values for different algorithms in regular interval loss

下载: 全尺寸图片

表4不同算法在规则间隔丢失下的耗时

Tab.4Runtime of different algorithms in regular interval loss

下载: 全尺寸图片

表5不同算法在规则连续丢失下的PSNR值

Tab.5PSNR values for different algorithms in regular continuous loss

下载: 全尺寸图片

表6不同算法在规则连续丢失下的耗时

Tab.6Runtime of different algorithms in regular continuous loss

下载: 全尺寸图片

表7不同算法在随机突发丢失下的PSNR值

Tab.7PSNR values for different algorithms in random burst loss

下载: 全尺寸图片

表8不同算法在随机突发丢失下的耗时

Tab.8Runtime of different algorithms in random burst loss

下载: 全尺寸图片

表9不同算法在随机行丢失下的PSNR值

Tab.9PSNR values for different algorithms in random row loss

下载: 全尺寸图片

表10不同算法在随机行丢失下的耗时

Tab.10Runtime of different algorithms in random row loss

下载: 全尺寸图片

表11单一改进算法和最终改进算法在各丢失模式下的平均PSNR值

Tab.11Average PSNR values of a single improved algorithm and a final improved algorithm in each loss mode

下载: 全尺寸图片

表12单一改进算法和最终改进算法在各丢失模式下的平均耗时

Tab.12Average runtime of a single improved algorithm and a final improved algorithm in each loss mode

下载: 全尺寸图片

图1规则间隔丢失下的Lena图像

Fig.1Lena image in regular interval loss

图2各丢失子区域对应潜在子区域数目对比图

Fig.2Comparison of the number of latent subregions corresponding to each missing subregion

图3基于自适应阈值的局部区域匹配流程

Fig.3Flowchart of local region matching based on adaptive threshold

图4融合自适应阈值与α-ML核函数的双稀疏算法流程

Fig.4Flowchart of the dual sparsity algorithm based on adaptive threshold and α-ML kernel functions

图5测试图像

Fig.5Test images

图64种典型的块丢失模式

Fig.6Four typical block loss modes

图7规则间隔丢失的恢复结果

Fig.7Recovery results in regular interval loss

图8规则连续丢失的恢复结果

Fig.8Recovery results in regular continuous loss

图9随机突发丢失的恢复结果

Fig.9Recovery results in random burst loss

图10随机行丢失的恢复结果

Fig.10Recovery results in random row loss

表1不同子区域数目下图像的PSNR值（相关性系数）

Tab.1PSNR values of images with different numbers of subregions (correlation coefficient)

表2α-ML核函数不同α下图像的PSNR值

Tab.2PSNR values of images with different α of α-ML kernel functions

表3不同算法在规则间隔丢失下的PSNR值

Tab.3PSNR values for different algorithms in regular interval loss

表4不同算法在规则间隔丢失下的耗时

Tab.4Runtime of different algorithms in regular interval loss

表5不同算法在规则连续丢失下的PSNR值

Tab.5PSNR values for different algorithms in regular continuous loss

表6不同算法在规则连续丢失下的耗时

Tab.6Runtime of different algorithms in regular continuous loss

表7不同算法在随机突发丢失下的PSNR值

Tab.7PSNR values for different algorithms in random burst loss

表8不同算法在随机突发丢失下的耗时

Tab.8Runtime of different algorithms in random burst loss

表9不同算法在随机行丢失下的PSNR值

Tab.9PSNR values for different algorithms in random row loss

表10不同算法在随机行丢失下的耗时

Tab.10Runtime of different algorithms in random row loss

表11单一改进算法和最终改进算法在各丢失模式下的平均PSNR值

Tab.11Average PSNR values of a single improved algorithm and a final improved algorithm in each loss mode

表12单一改进算法和最终改进算法在各丢失模式下的平均耗时

Tab.12Average runtime of a single improved algorithm and a final improved algorithm in each loss mode

图1规则间隔丢失下的Lena图像

Fig.1Lena image in regular interval loss

图2各丢失子区域对应潜在子区域数目对比图

Fig.2Comparison of the number of latent subregions corresponding to each missing subregion

图3基于自适应阈值的局部区域匹配流程

Fig.3Flowchart of local region matching based on adaptive threshold

图4融合自适应阈值与α-ML核函数的双稀疏算法流程

Fig.4Flowchart of the dual sparsity algorithm based on adaptive threshold and α-ML kernel functions

图5测试图像

Fig.5Test images

图64种典型的块丢失模式

Fig.6Four typical block loss modes

图7规则间隔丢失的恢复结果

Fig.7Recovery results in regular interval loss

图8规则连续丢失的恢复结果

Fig.8Recovery results in regular continuous loss

图9随机突发丢失的恢复结果

Fig.9Recovery results in random burst loss

图10随机行丢失的恢复结果

Fig.10Recovery results in random row loss

表1不同子区域数目下图像的PSNR值（相关性系数）

Tab.1PSNR values of images with different numbers of subregions (correlation coefficient)

表2α-ML核函数不同α下图像的PSNR值

Tab.2PSNR values of images with different α of α-ML kernel functions

表3不同算法在规则间隔丢失下的PSNR值

Tab.3PSNR values for different algorithms in regular interval loss

表4不同算法在规则间隔丢失下的耗时

Tab.4Runtime of different algorithms in regular interval loss

表5不同算法在规则连续丢失下的PSNR值

Tab.5PSNR values for different algorithms in regular continuous loss

表6不同算法在规则连续丢失下的耗时

Tab.6Runtime of different algorithms in regular continuous loss

表7不同算法在随机突发丢失下的PSNR值

Tab.7PSNR values for different algorithms in random burst loss

表8不同算法在随机突发丢失下的耗时

Tab.8Runtime of different algorithms in random burst loss

表9不同算法在随机行丢失下的PSNR值

Tab.9PSNR values for different algorithms in random row loss

表10不同算法在随机行丢失下的耗时

Tab.10Runtime of different algorithms in random row loss

表11单一改进算法和最终改进算法在各丢失模式下的平均PSNR值

Tab.11Average PSNR values of a single improved algorithm and a final improved algorithm in each loss mode

表12单一改进算法和最终改进算法在各丢失模式下的平均耗时

Tab.12Average runtime of a single improved algorithm and a final improved algorithm in each loss mode

CARREIRA J F M, ASSUNĢÃO P A, DE FARIA S M M,et al. Error concealment-aware encoding for robust video transmission[J]. IEEE Transactions on Broadcasting,2019,65(2):282. DOI:10.1109/TBC.2018.2865644

USMAN M, HE Xiangjian, XU Min,et al. Survey of error concealment techniques:research directions and open issues[C]//Proceedings of the 2015 Picture Coding Symposium(PCS). Cairns: IEEE,2015:233. DOI:10.1109/PCS.2015.7170081

KAZEMI M, GHANBARI M, SHIRMOHAMMADI S. A review of temporal video error concealment techniques and their suitability for HEVC and VVC[J]. Multimedia Tools and Applications,2021,80(8):12685. DOI:10.1007/s11042-020-10333-6

HUNG T K, HUANG I C, COX S R,et al. Error concealment of dynamic 3D point cloud streaming[C]//Proceedings of the 30th ACM International Conference on Multimedia(MM’22). Lisbon: ACM,2022:3134

KUMAR S, XU Liyang, MANDAL M K,et al. Error resiliency schemes in H.264/AVC standard[J]. Journal of Visual Communication and Image Representation,2006,17(2):425. DOI:10.1016/j.jvcir.2005.04.006

王冰, 刘浩, 李康达, 等. 基于迭代自适应终止的马尔科夫错误隐藏算法[J]. 计算机工程,2018,44(9):230.WANG Bing, LIU Hao, LI Kangda,et al. Markov error concealment algorithm based on iterative adaptive termination[J]. Computer Engineering,2018,44(9):230. DOI:10.19678/j.issn.1000-3428.0047951

王凯巡, 刘浩. 非迭代收缩多方向预测的空域错误隐藏算法[J]. 哈尔滨工业大学学报,2020,52(10):128.WANG Xunkai, LIU Hao. Spatial error concealment algorithm for non-iterative shrinkage multi-direction prediction[J]. Journal of Harbin Institute of Technology,2020,52(10):128

KOLODA J, SEILER J, PEINADO A M,et al. Scalable kernel-based minimum mean square error estimator for accelerated image error concealment[J]. IEEE Transactions on Broadcasting,2017,63(1):59. DOI:10.1109/TBC.2016.2619581

LIU X, ZHAI D, ZHOU J,et al. Sparsity-based image error concealment via adaptive dual dictionary learning and regularization[J]. IEEE Transactions on Image Processing,2017,26(2):782. DOI:10.1109/TIP.2016.2623481

HWANG P, RI J, YUN Y. Method for speeding up spatial error concealment using prediction mode of the neighboring blocks on H.264 video communication[J]. Multimedia Tools and Applications,2023,82:4769. DOI:10.1007/s11042-022-13950-5

ZHOU L, LIU H. Truncated kernel norm minimization with extrapolative proximal gradient for multi-mask matrix completion[C]//Proceedings of the IEEE 24th International Workshop on Multimedia Signal Processing(MMSP). Shanghai: IEEE,2022:1. DOI:10.1109/MMSP55362.2022.9949308

KAZEMI M, GHANBARI M, SHIRMOHAMMADI S. The performance of quality metrics in assessing error-concealed video quality[J]. IEEE Transactions on Image Processing,2020,29:5937. DOI:10.1109/TIP.2020.2984356

DING K, MA K, WANG S,et al. Image quality assessment:unifying structure and texture similarity[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(5):2567. DOI:10.1109/TPAMI.2020.3045810

出版声明

期刊订阅

1 所提算法

2 结果与分析

3 结论