伪标签校正和优化的跨场景带钢缺陷识别

刘坤，王静凯，毛经坤，刘卫朋，陈海永; LIU Kun; WANG Jingkai; MAO Jingkun; LIU Weipeng; CHEN Haiyong

伪标签校正和优化的跨场景带钢缺陷识别

doi: 10.11918/202305016

刘坤¹ ，王静凯¹ ，毛经坤² ，刘卫朋¹ ，陈海永¹

1. 河北工业大学人工智能与数据科学学院，天津 300130

2. 天津理工大学电气工程与自动化学院，天津 300382

基金项目: 国家自然科学基金（62173124）；京津冀基础研究合作专项（F2024202102）；河北省基础研究重大项目（A2023202049）

详细信息

作者简介

刘坤(1980—)，女，教授，博士生导师；

刘卫朋(1979—)，男，教授，博士生导师；

陈海永(1980—)，男，教授，博士生导师

通讯作者

毛经坤，jingkun@email.tjut.edu.cn

中图分类号: TP391

文献标识码: A

文章编号: 0367-6234(2025)10-0135-08

Cross-scene strip defect recognition based on pseudo-label correction and optimization

LIU Kun¹ ， WANG Jingkai¹ ， MAO Jingkun² ， LIU Weipeng¹ ， CHEN Haiyong¹

1. School of Artificial Intelligence, Hebei University of Technology, Tianjin 300130 , China

2. School of Electrical Engineering and Automation, Tianjin University of Technology, Tianjin 300382 , China

摘要

由于摄像机类型、参数和环境光照等因素影响，在跨场景情况下采集的带钢图像数据分布存在较大差异，基于深度学习的缺陷识别模型泛化性能差。为此，提出一种伪标签校正和优化的带钢缺陷识别域适应模型（pseudo label correction and optimization domain adaptation，PLCODA）。首先，设计一种基于最大熵和亮度约束的Retinex图像增强模块，用于生成一个与源域标签信息一致且不同于两域数据分布的中间域。其次，设计一个双预测对抗耦合模型，通过源域和中间域分别与目标域的对抗学习，实现对目标域样本的初始伪标签生成。最后，设计一种伪标签校正与迭代提纯策略，通过改进噪声矩阵对伪标签校正，并利用高置信度预测的迭代提纯、低置信度预测的自我惩罚和设计的标签差异度量函数减小伪标签与真值标签的差距。在邯郸钢铁集团和公开的谢维尔钢铁集团的带钢缺陷数据集上进行了验证，实验结果表明，提出的方法针对跨场景缺陷识别问题优于现有的域适应方法。

关键词

无监督 / 域适应 / 跨场景 / 带钢表面缺陷识别 / 伪标签

Abstract

The data distributions of cross-scenario images of strip steel defects vary considerably due to imaging factors such as camera type, parameters, and environmental illumination, resulting in poor generalization performance of defect recognition models based on deep learning. To address this issue, we propose a pseudo label correction and optimization domain adaptation (PLCODA) model for strip steel defect recognition. Firstly, a Retinex image enhancement module based on maximum entropy and brightness constraints was designed to generate an intermediate domain that is consistent with the label information in the source domain while different from the data distribution in the two domains. Second, we develop a dual-prediction adversarial coupling architecture that performs adversarial learning between the target domain and each of the source and intermediate domains to generate initial pseudo-labels for target-domain samples. Finally, we propose a pseudo-label correction and iterative purification strategy: we correct pseudo-labels via an improved noise matrix, then iteratively purify them by reinforcing high-confidence predictions, self-punishing low-confidence predictions, and reducing the discrepancy between pseudo-labels and ground-truth labels using a designed label-difference metric. The method was validated on steel-strip defect datasets from Handan Iron & Steel Group and the publicly Severstal Steel Defect Dataset. Experimental results show that the proposed method is superior to the existing domain adaptation methods for cross-scenario defect recognition.

Keywords

unsupervised / domain adaptation / cross scene / identification of strip surface defects / pseudo label

1 本文方法 1.1 基于最大熵和亮度约束的Retinex图像增强模块 1.2 伪标签校正策略 1.3 基于双模型预测的伪标签迭代提纯策略 1.4 设计的损失函数 1.4.1 图像增强损失函数L_img 1.4.2 对抗损失函数L_adv 1.4.3 分类损失函数L_cls 2 实验验证 2.1 数据集 2.2 实验环境与参数设置 2.3 评价指标 3 实验结果分析 3.1 统计性能分析 3.2 特征可视化结果 3.3 消融实验 4 结论

带钢作为生产生活中必不可少的材料，在航空航天、土地建筑、汽车制造等领域备受关注。带钢在生产过程中，由于生产工艺或环境等因素的限制，表面容易出现裂纹、划痕等缺陷，这些缺陷不仅影响产品的外观^[1]，而且会使产品更容易锈蚀和破裂。视觉检测技术是带钢表面质量检测的常用手段之一，包括基于特征工程的传统缺陷识别方法和基于深度学习的缺陷识别方法。传统的缺陷识别方法主要依赖人工手动设计的视觉特征耗时、耗力，包括光谱法、统计法、模型法等。基于深度学习的缺陷识别方法在封闭场景中取得了良好的效果，但是需要大规模高质量的标注数据，在跨场景下难以获得充足的标注数据。

域适应是一种背景条件约束更加严格的迁移学习问题。以域适应为代表的迁移学习方法通过对齐源域和目标域的数据分布，减小源域与目标域的数据分布差异，学习具有领域不变的特征表示，实现领域不变知识的跨域迁移。Zhang等^[2]提出了一种基于差异的域适应框架，通过共享特征提取层学习两域共享特征和判别层匹配条件分布，实现数据分布对齐。Ganin等^[3]提出了一种对抗域适应模型，通过提出的梯度反转层使两个域的特征分布相似，实现提取域不变特征。Ghifary等^[4]提出了一种基于重构的域适应模型，通过有监督的源域标签预测和无监督的目标数据重构，实现对齐两域数据分布。Liu等^[5]提出了一种域适应方法，通过聚合每个域特征空间中的3个尺度特征实现对道路裂缝的检测。现有的域适应方法大多将从源域学到的知识直接应用于目标域，以实现跨场景的带钢表面缺陷识别，但两域之间较大的域间隙导致难以对齐两域数据分布，降低了模型的泛化性能。

最近，使用基于伪标签的域适应方法取得了一定的进展。伪标签方法利用源域数据所训练的模型在目标域数据上进行预测，根据预测结果对目标域样本进行标注以获得目标样本的标签。Ham等^[6]提出了一种新的伪标签域适应框架，通过提出伪标签修剪策略比较模型输出识别混淆的样本并对齐特征分布，有效缓解标签噪声问题。Jiang等^[7]提出了一种基于采样的隐式对齐域适应方法，其中，目标域样本选择过程由伪标签隐式指导，以获得域不变特征。Li等^[8]提出了一种领域自适应语义集中模型，目标域样本通过伪标签结果的成对对抗性来对齐最主要的特征。现有使用伪标签的域适应方法根据模型的预测对目标样本标注，再将目标样本及标签输入到模型中训练，但样本数量的不平衡导致样本数量少的类容易产生错误的伪标签进行迭代，从而进一步降低模型的泛化性能。

为了应对现有域适应模型泛化性能差的问题，设计了一种基于最大熵和亮度约束的Retinex图像增强模块，用于生成一个数据分布接近目标域的中间域，该中间域和源域分别与目标域之间对抗学习以构建双预测对抗耦合模型。该域作为源域和目标域之间的桥接，有效缓解两域数据分布差异并增强两域之间的数据分布对齐。为了应对错误伪标签导致模型泛化性能差的问题，设计了一种伪标签校正与迭代提纯策略，用于提升目标域样本标签的置信度。初始伪标签通过改进的噪声矩阵进行校正，目标域样本及校正伪标签在双模型中相互迭代训练，使一个模型使用高置信度预测教授另一个模型，降低样本不足类错误标签的生成，实现高置信度预测的迭代提纯和低置信度预测的自我惩罚，并利用设计的标签差异度量函数共同减小伪标签与真值标签的差距。总之，提出了一种伪标签校正和优化的带钢缺陷识别域适应方法（PLCODA），有效缓解两域的数据分布差异并对齐了两域数据分布，有效提升了模型的泛化能力。

1 本文方法

本文提出的PLCODA模型如图1所示，由图像增强模块M，特征提取器F1、F2，分类器C1、C2和域鉴别器D组成。首先，针对给定的源域数据

D_{s} = {\{X_{t}\}}_{i = 1}^{n_{s}}

和目标域数据

D_{t} = {\{X_{t}\}}_{i = 1}^{n_{t}}

，通过本文设计的基于最大熵和亮度约束的Retinex图像增强模块，生成一个亮度分布不同于两域数据且与源域标签信息一致的中间域。其次，设计了一个内容耦合的双预测对抗模型，中间域和源域分别与目标域对抗学习，以获得域不变表示和初始目标域样本伪标签。最后，双模型利用伪标签校正策略对初始伪标签进行校正，缓解初始伪标签中的混肴信息。再利用伪标签迭代提纯策略和设计的标签差异度量函数，实现高置信度预测的迭代提纯和低置信度预测的自我惩罚，提升目标样本伪标签的置信度。

1.1 基于最大熵和亮度约束的Retinex图像增强模块

Ben-David等^[9]认为模型在目标域上的泛化误差能够衡量模型在目标域中的性能。源域泛化误差和领域间差异是影响目标域任务性能的重要因素，其中，源域泛化误差表示模型在源域中学习知识的质量，领域间差异表示源域和目标域数据分布之间的相似性。针对两域的数据分布差异，域适应方法通过对齐两域数据分布，降低两域的域间差异，从而获得更小的目标域泛化误差。域间差异的数学表示如下：

(1)

式中：h（x）表示分类器，P（x^s）和P（x^t）分别表示源域和目标域数据分布。

图1本文提出的PLCODA模型结构

Fig.1PLCODA model structure diagram proposed in this article

源域和目标域的域差异越小，模型的泛化性能越好。域间差异和分类器h（x）的误差相关，分类器的分类效果越好，则域间差异越小及两个域的分布越相似。本文设计了一种基于信息熵理论和亮度约束的Retinex模型，旨在生成一个数据分布不同于两域数据且与源域标签信息一致的中间域，该域和源域分别与目标域之间对抗学习以构建双预测对抗耦合模型。双模型利用提出的伪标签校正和优化策略，使一个模型生成的高置信预测伪标签教授另一个模型学习，目标样本及伪标签在两个模型的相互迭代训练可以降低样本不足类错误标签的生成，并持续生成高置信预测伪标签，提高分类器的分类效果，使域间差异最小化。中间域起到源域和目标域数据的桥接作用，有助于两域在特征空间中匹配更多相似特征，实现源域到目标域的逐步适应并对齐数据分布。

本模块针对图像数据施加亮度信息约束来增加先验知识的前置过程，以此减少深度学习网络训练中学习到的无用信息特征对处理图像任务的模型性能的影响。本模块再引入一个约束条件，即反射率的最大通道与照明图的最大通道一致且其信息熵最大，使增强后的图像有足够的信息与源域标签信息保持一致。本文提出的图像增强模块由分解网络、光照调节网络和重建网络构成，整体结构如图2所示。

图2基于最大熵和亮度约束的Retinex模型结构

Fig.2Retinex model structure diagram based on maximum entropy and brightness constraints

本模块在分解网络以Retinex方式分解图像为两个分量，既反射率R和照明图I，具体为

S = R \circ I

(2)

图像增强问题可以转换为3个距离项加亮度约束的形式，具体为

\underset{R, S}{m i n} l_{rcon} + λ_{1} l_{R} + λ_{2} l_{I} + λ_{3} l_{B}

(3)

式中：l_rcon表示重建损失，l_R表示反射损失，l_I表示光照损失，l_B表示中间亮度值，λ₁、λ₂和λ3为权重参数。

在光照调节网络提取源域和目标域图像的像素亮度信息，并利用亮度约束函数得到中间亮度信息l_B，作为源域图像在重建时的增强信息。亮度约束函数作为先验知识，使一种光照条件转换成另一种，具体为

l_{B} = \frac{2 \overset{i}{\underset{i = 1}{Σ}} R_{i} * 0.299 + G_{i} * 0.587 + B_{i} * 0.114}{i}

(4)

式中：R，G，B为图像的3个通道，i为数据集样本的总数。在重建网络中采用L₁范数约束所有损失，对此最小化重建损失l_rcon。为了保证增强图像有足够的信息，用直方图均衡化的结果作参照可以提高图像的信息熵，使反射率的最大通道与图像的最大通道一致并具有最大信息熵。

1.2 伪标签校正策略

通过域鉴别器对抗学习构造了噪声矩阵，以减少伪标签与真值标签的差异并对齐特征分布。域鉴别器D以深度特征F（x）为输入，输出得到一个多分类的向量D（F（x））∈R^K。经过一个sigmoid层后，鉴别器产生噪声向量ε（x）。利用鉴别器产生的噪声向量构造噪声校正矩阵

η_{k l}^{(x_{t})}

。生成的伪标签与噪声校正矩阵相乘后，伪标签向量转化为校正之后的标签向量作为目标域数据训练时的标签。

η_{k l}^{(x_{t})} = \frac{1 - ε_{l}^{(x_{t})}}{K}

(5)

式中：k，l表示噪声校正矩阵第（k，l）个分量，K表示类别。

1.3 基于双模型预测的伪标签迭代提纯策略

为了进一步提升目标域样本伪标签的置信度，设计了基于双模型的伪标签迭代提纯策略。目标域样本及伪标签通过在双模型中相互循环训练，实现持续生成高置信度预测伪标签并提高目标样本分类的性能。设置了一个自适应阈值τ，当输出的类别概率在阈值τ之上时称为高置信度预测，而类别概率低于阈值τ时称为低置信度预测。当特征提取器F1模型的校正伪标签为高置信度预测时，该目标样本与标签输入到特征提取器F2的模型中参与训练。反之同理，特征提取器F2模型中高置信预测伪标签的目标样本也输入到特征提取器F1的模型中训练。而低置信度预测目标样本在原有模型中迭代训练。实现一个模型使用高置信度预测教授另一个模型，或使用低置信度预测进行自我惩罚。

1.4 设计的损失函数

1.4.1 图像增强损失函数L_img

本文设计的图像增强损失函数L_img由式（3）3个距离项和1个约束函数组成，具体为

L_{i m g} = \underset{R, S}{m i n} l_{r c o n} + λ_{1} l_{R} + λ_{2} l_{I} + λ_{3} l_{B}

(6)

对于重建损失l_rcon，采用L₁范数约束可以表示为

l_{rcon} = ‖ S - R \circ I ‖_{1}

(7)

对于反射损失，与现有的仅使用L₁范数的方法不同。对于图像增强任务，处理后的图像应具有足够的信息，且处理后的图像应与原始图像信息一致，而直方图均衡化可以提高图像的信息熵。基于上述考虑反射损失为

l_{R} = {‖\underset{c \in R, G, B}{m a x} R^{c} - F (\underset{c \in R, G, B}{m a x} S^{c})‖}_{1} + λ_{4} ‖ Δ R ‖_{1}

(8)

式中：F（x）表示图像X的直方图均衡化算子，λ₄为权重参数。该损失函数是图像增强模块的一个约束即反射率的最大通道与图像的最大通道一致，且信息熵最大。

对于光照损失，采用文献^[10]中提出的结构感知平滑度损失，即

l_{I} = {‖Δ I \circ e x p (- λ_{5} Δ R)‖}_{1}

(9)

在图像增强模块中，还加入中间亮度值的约束，即

l_{B} = \frac{2 \overset{i}{\underset{i = 1}{Σ}} R_{i} * 0.299 + G_{i} * 0.587 + B_{i} * 0.114}{i}

(10)

由式（7）~（10）得到了图像增强的损失函数L_img，即

\begin{matrix} L_{i m g} = ‖ S - R \circ I ‖_{1} + λ_{1} {‖\underset{c \in R, G, B}{m a x} R^{c} - F (\underset{c \in R, G, B}{m a x} S^{c})‖}_{1} + \\ λ_{4} ‖ Δ R ‖_{1} + λ_{2} {‖Δ I \circ e x p (- λ_{5} Δ R)‖}_{1} + \\ λ_{3} \frac{2 \overset{i}{\underset{i = 1}{Σ}} R_{i} * 0.299 + G_{i} * 0.587 + B_{i} * 0.114}{i} \end{matrix}

(11)

1.4.2 对抗损失函数L_adv

在本文中由噪声校正域鉴别器为中间域、源域和目标域生成不同的噪声向量，之后构建噪声校正矩阵，与伪标签相乘后得到校正伪标签。为了得到高置信度预测的伪标签，设计了一种标签确定性差异（LCD）度量函数。假设C₁是源域样本生成的伪标签，y_s是源域真值标签。使用相关矩阵A来研究标签差异，即

A = C_{1} y_{s}^{T}

(12)

式中：A是大小为K×K的方阵。A可以有效评估标签预测的相关性。利用A的特性，使两个标签保持一致性和相关性，即最大化A的对角元素。

对于源域特征F（x_s），旨在最小化生成的源域标签向量

c^{(x_{s})}

和源域真值标签y_s之间的差异。源域数据的对抗损失

L_{l c d} (x_{s}, y_{s}) = \overset{K}{\underset{m, n = 1}{Σ}} A_{m n} - \overset{K}{\underset{m = 1}{Σ}} A_{m n} = \overset{K}{\underset{m \neq n}{Σ}} A_{m n}

(13)

对于目标域特征F（x_t），旨在最小化生成的源域标签向量

c^{(x_{s})}

和目标域标签向量

c^{(x_{t})}

之间差异。目标域数据的对抗损失

L_{l e d} (x_{t}) = \overset{K}{\underset{m, n = 1}{Σ}} A_{m n} - \overset{K}{\underset{m = 1}{Σ}} A_{m n} = \overset{K}{\underset{m \neq n}{Σ}} A_{m n}

(14)

对抗损失函数如下：

L_{a d v} (x_{s}, y_{s}, x_{t}) = L_{l c d} (x_{s}, y_{s}) + L_{l c d} (x_{t})

(15)

1.4.3 分类损失函数L_cls

为了将分类任务嵌入到训练中，在噪声校正域鉴别器中添加了一个正则化项，即

L_{r e g} (x_{s}, y_{s}) = L_{C E} (P_{D}^{(x_{s})}, y_{s})

(16)

式中：

P_{D}^{(x_{s})} = s o f t m a x (D (F (x_{s})))

，L_CE为交叉熵损失。

使用高置信度预测进行迭代提纯，使一个模型可以学习另一个模型。循环迭代的定义如下：

L_{b i m} = \frac{\overset{B}{\underset{i = 1}{Σ}} m a x (p (c^{(x_{t})}) > τ) {\hat{y}}_{t} l o g (q (y ∣ x_{t}))}{B}

(17)

式中：B为最小批量，p和q为两个模型的分布概率。

使用低置信度预测进行自我惩罚。自我惩罚的定义如下：

L_{s p} = \frac{\overset{B}{\underset{i = 1}{Σ}} m a x (p (c^{x_{t}}) < τ) {\hat{y}}_{t} l o g (1 - p (y ∣ x_{t}))}{B}

(18)

分类损失函数如下：

L_{c l s} = L_{r e g} + L_{b i m} + L_{s p}

(19)

综上，本文设计的整体损失函数如下：

L_{a l l} = L_{i m g} + L_{a d v} + L_{c l s}

(20)

2 实验验证

2.1 数据集

邯郸钢铁缺陷数据集（HSDD）是邯郸钢铁集团收集的带钢缺陷数据集。HSDD共有11 814张图像，240×240图像分辨率，有6类缺陷，包括渐变、划痕、油污、边缘、网纹和油点。将HSDD按照灰度高斯分布分为3个域HSDD_N1、 HSDD_N2和HSDD_N3。

谢维尔带钢缺陷数据集（SSDD）是谢维尔钢铁集团公开的带钢缺陷数据集，其光照分布比其他带钢缺陷更为复杂。SSDD共有12 568张图像，图像分辨率为256×256。有3类缺陷，包括凹坑、划痕和补丁，根据图像灰度的高斯分布，将SSDD分为3个域SSDD_N1、 SSDD_N2和SSDD_N3。HSDD和SSDD亮度子数据集的示例情况及光照数据分布如图3所示。

图3不同光照场景的带钢缺陷数据集及光照分布

Fig.3Strip steel defect datasets and light distribution under different lighting scenarios

2.2 实验环境与参数设置

本实验采用的计算机硬件配置为I7-11700K， NVIDIA GeForce RTX 3090，操作系统为Win10。网络模型使用PyTorch框架搭建，epoch设置为100，batch size设置为64。使用SGD优化器对模型进行优化，初始学习率为0.000 3，动量为0.9，衰减系数为0.000 5。损失函数的参数分别设置为λ₁=0.1、λ₂=0.1、λ₃=0.6、λ₄=0.01、λ₅=10，使用ResNet50作为特征提取器，加载在ImageNet上的预训练分类权重作为初始权重。经验证，λ₃=0.6时，模型性能最好。

2.3 评价指标

为了对提出方法的性能进行统计性能评估，采用精确率评估不同方法在数据集上的有效性，即

Accuracy = \frac{T P + T N}{T P + T N + F P + F N}

(21)

式中：Accuracy表示精确率，TP表示实际阳性且预测为阳性的样本数，TN表示实际为阴性且预测为阴性的样本数，FP表示实际为阴性且预测为阳性的样本数，FN表示实际为阳性且预测为阴性的样本数。

3 实验结果分析

3.1 统计性能分析

为了验证本文所提方法的有效性，在HSDD和SSDD上进行了实验，并将所提方法与基于Resnet50^[11]的直推方法和现有的域适应方法作比较，所对比的域适应方法包括基于MK-MMD的DAN^[12]方法、基于领域鉴别器的DANN^[13]方法、基于伪标签训练的ADLA^[14]方法、基于双分类器的BCDM^[15]方法和去噪分类差异D-MCD^[16]方法。

在不同光照条件下HSDD_N1，HSDD_N2，HSDD_N3数据集上进行的实验结果如表1所示。HSDD_N1→HSDD_N3表示在HSDD_N1上训练的模型在HSDD_N3上测试。

表1本文方法与现有方法在HSDD上的统计性能对比

Tab.1Statistical performance comparison between our method and existing methods on HSDD

由表1可以看出，基于Resnet50的直推方法的平均精确率仅为54.902%。DANN方法把具有不同分布的源域和目标域中的数据映射到同一个特征空间，进而对齐两域数据的特征分布，在HSDD_N1→HSDD_N3上较DAN方法提高了29.023%。BCDM方法使用两个分类器来进行对抗学习，在HSDD_N3→HSDD_N2上较DANN方法提高了7.684%。ADLA和D-MCD方法与本文类似结合伪标签学习判别特征，在不同数据集上获得的平均精确率达95.523%和96.315%。本文提出的方法平均精确率达99.190%，验证了本文方法针对跨场景缺陷识别问题优于现有的域适应方法。

本文方法与现有域适应方法在光照分布更为复杂的SSDD_N1、SSDD_N2和SSDD_N3数据集上的统计性能对比结果如表2所示。

表2本文方法与现有方法在SSDD上的统计性能对比

Tab.2Statistical performance comparison between our method and existing methods on SSDD

由表2可以看出，本文提出的方法在跨场景下的平均精确率达91.280%，验证了本文方法针对跨场景缺陷识别问题优于现有的域适应方法。基于Resnet50的直推方法的泛化性能较差，平均精确率仅为74.315%。由于本文方法与伪标签方法相结合来学习判别特征，本文方法比基于对抗学习的方法（DAN、DANN、BCDM）取得了更好的性能。与本文方法类似，ADLA和D-MCD方法也结合伪标签方法。在迁移任务SSDD_N1→SSDD_N3、SSDD_N2→SSDD_N1和SSDD_N3→SSDD_N2上，本文方法相比ALDA和D-MCD方法取得了更优的性能。

3.2 特征可视化结果

为了进一步验证提出PLCODA方法的有效性，本文利用T-SNE方法将模型学习到的目标域高维特征向量映射为二维特征向量，并在二维嵌入空间中对SSDD_N1→SSDD_N2的特征可视化，结果如图4所示。

图4不同方法针对目标域提取的特征可视化结果

Fig.4Different methods visualize the results of the extracted features for the target domain

由图4可以看出，基于Resnet50的直推方法对各类缺陷提取的特征在嵌入空间中的类间距离较小。针对划痕、油点和油污缺陷，DANN方法较DAN方法在嵌入空间中的类内距离更为紧凑，但边缘和网纹缺陷提取的特征相似度较高。BCDM方法对提取特征的类内间距较DANN方法和DAN方法更小，但划痕与油点缺陷在嵌入空间中存在远离聚类中心的样本。ADLA方法较BCDM方法拉近了划痕缺陷特征的类内距离，但边缘缺陷提取的特征散度较大。本文提出的方法对目标域所有缺陷特征在嵌入空间中的类内距相比其他方法更为紧凑，类间距更大，验证了所提方法对目标域数据提取的特征具有类别区分性。

3.3 消融实验

为了进一步验证图像增强模块、伪标签校正策略和基于双模型的伪标签迭代优化策略的性能，以SSDD_N1→SSDD_N2为例设计了消融实验，结果如表3所示。

表3消融实验

Tab.3Ablation experiment

由表3可以看出，在DANN方法下精确率仅为81.937%。使用图像增强模块的方法相比没有使用的方法提升了3.028%，表明图像增强模块能够提升模型泛化性能。使用伪标签校正策略和基于双模型的伪标签迭代优化策略，精确率分别提升了2.718%和5.595%。本文方法的精确率达92.850%。综上，本文提出的图像增强模块和两个伪标签策略能够提升模型的泛化性能。

4 结论

1）为了解决深度学习模型在跨场景的带钢表面缺陷识别中泛化性能差的问题，提出了一种伪标签校正和优化的带钢缺陷识别域适应模型（PLCODA）。

2）设计了基于最大熵和亮度约束的Retinex图像增强模块，该模块生成一个数据分布不同于源域和目标域且保留源域标签信息的中间域，该域作为源域和目标域之间的桥接，有效缓解两域数据分布差异。

3）设计了一个双预测对抗耦合模型，中间域和源域分别与目标域进行对抗学习，以获得域不变表示，并针对目标域样本生成初始的伪标签。

4）设计了伪标签校正策略和基于双模型的伪标签迭代提纯策略来优化跨场景的目标域样本伪标签，并通过设计的标签差异度量函数提升伪标签置信度。

5）在邯郸钢铁集团带钢缺陷数据集以及谢维尔钢铁集团带钢缺陷数据集上分别进行了验证，结果表明，本文方法对跨场景的带钢缺陷识别具有更好的泛化性。

图1本文提出的PLCODA模型结构

Fig.1PLCODA model structure diagram proposed in this article

下载: 全尺寸图片

图2基于最大熵和亮度约束的Retinex模型结构

Fig.2Retinex model structure diagram based on maximum entropy and brightness constraints

下载: 全尺寸图片

图3不同光照场景的带钢缺陷数据集及光照分布

Fig.3Strip steel defect datasets and light distribution under different lighting scenarios

下载: 全尺寸图片

图4不同方法针对目标域提取的特征可视化结果

Fig.4Different methods visualize the results of the extracted features for the target domain

下载: 全尺寸图片

表1本文方法与现有方法在HSDD上的统计性能对比

Tab.1Statistical performance comparison between our method and existing methods on HSDD

下载: 全尺寸图片

表2本文方法与现有方法在SSDD上的统计性能对比

Tab.2Statistical performance comparison between our method and existing methods on SSDD

下载: 全尺寸图片

表3消融实验

Tab.3Ablation experiment

下载: 全尺寸图片

图1本文提出的PLCODA模型结构

Fig.1PLCODA model structure diagram proposed in this article

图2基于最大熵和亮度约束的Retinex模型结构

Fig.2Retinex model structure diagram based on maximum entropy and brightness constraints

图3不同光照场景的带钢缺陷数据集及光照分布

Fig.3Strip steel defect datasets and light distribution under different lighting scenarios

图4不同方法针对目标域提取的特征可视化结果

Fig.4Different methods visualize the results of the extracted features for the target domain

表1本文方法与现有方法在HSDD上的统计性能对比

Tab.1Statistical performance comparison between our method and existing methods on HSDD

表2本文方法与现有方法在SSDD上的统计性能对比

Tab.2Statistical performance comparison between our method and existing methods on SSDD

表3消融实验

Tab.3Ablation experiment

图1本文提出的PLCODA模型结构

Fig.1PLCODA model structure diagram proposed in this article

图2基于最大熵和亮度约束的Retinex模型结构

Fig.2Retinex model structure diagram based on maximum entropy and brightness constraints

图3不同光照场景的带钢缺陷数据集及光照分布

Fig.3Strip steel defect datasets and light distribution under different lighting scenarios

图4不同方法针对目标域提取的特征可视化结果

Fig.4Different methods visualize the results of the extracted features for the target domain

表1本文方法与现有方法在HSDD上的统计性能对比

Tab.1Statistical performance comparison between our method and existing methods on HSDD

表2本文方法与现有方法在SSDD上的统计性能对比

Tab.2Statistical performance comparison between our method and existing methods on SSDD

表3消融实验

Tab.3Ablation experiment

易梦云. 带钢表面质量缺陷检测与分类方法研究[D]. 武汉: 湖北工业大学,2019.YI Mengyun. Research on surface quality defect detection and classification methods for strip steel[D]. Wuhan: Hubei University of Technology,2019

ZHANG Xu, YU Xinnan, WANG Shengjin,et al. Deep transfer network:unsupervised domain adaptation[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE Computer Society,2015:11. DOI:10.48550/arXiv.1503.00591

GANIN Y, LEMPITSKY V. Unsupervised domain adaptation by backpropagation[C]//International Conference on Machine Learnings. Stroudsburg, PA, USA: International Machine Learning Society,2015,37:1180. DOI:10.5555/3045118.3045244

GHIFARY M, KLEIJN W B, ZHANG M,et al. Deep reconstruction-classification networks for unsupervised domain adaptation[C]//European Conference on Computer Vision, Cham. Switzerland: Lecture Notes in Computer Science(LNCS),2016,28:597. DOI:10.1007/978-3-319-46493-0_36

LIU Huijun, YANG Chuya, LI Aocheng,et al. Deep domain adaptation for pavement crack detection[J]. IEEE Transactions on Intelligent Transportation Systems,2021,24:1669. DOI:10.1109/TITS.2022.3225212

GYEONGDO H, YUCHEOL C, JAE H L,et al. P-pseudolabel:enhanced pseudo labeling framework with network pruning in semi-supervised learning[J]. IEEE Access,2022,10:115652. DOI:10.1109/Access.2022.3218161

JIANG X, LAO Qicheng, MATWIN S,et al. Implicit class-conditioned domain alignment for unsupervised domain adaptation[C]//International Conference on Machine Learning. Vienna, Austria: Proceedings of Machine Learning Research,2020,119:4816

LI Shuang, XIE Mixue, LV F,et al. Semantic concentration for domain adaptation[C]//IEEE/CVF International Conference on Computer Vision and Pattern Recognition. Stroudsburg: IEEE Computer Society,2021:9082. DOI:10.1109/ICCV48922.2021.00897

BEN-DAVID S, BLITZER J, CRAMMER K,et al. A theory of learning from different domains[J]. Machine Learning,2010,79(1/2):151. DOI:10.1007/s10994-009-5152-4

WEI C, WANG W, YANG W,et al. Deep retinex decomposition for low-light enhancement[C]//British Machine Vision Conference. Durham: BMVA Press,2018,55(4):124. DOI:10.48550/arXiv.1808.04560

HE Kaiming, ZHANG Xiangyu, REN Shaoqing,et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE Computer Society,2016:770. DOI:10.1109/CVPR.2016.90

LONG Mingsheng, ZHU Hanhua, WANG Jianmin,et al. Deep transfer learning with joint adaptation networks[C]//International Conference on Machine Learning. Sydney, Australia: Proceedings of Machine Learning Research(PMLR),2017,70:2208. DOI:10.48550/arXiv.1605.06636

CHEN Minghao, ZHAO Shuai, LIU Haifeng,et al. Adversarial-learned loss for domain adaptation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Stroudsburg: AAAI Press,2020,34(4):3521. DOI:10.1609/aaai.v34i04.5757

LI Shuang, LÜ Fangrui, XIE Binhui,et al. Bi-classifier determinacy maximization for unsupervised domain adaptation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto, California: AAAI Press,2021,35(10):1854. DOI:10.1609/aaai.v35i10.17027

CHU Tong, LIU Yahao, DENG Jinhong,et al. Denoised maximum classifier discrepancy for source free unsupervised domain adaptation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Washington DC: AAAI Press,2022:472. DOI:10.1609/aaai.v36i1.19925

LAURENS V D M, HINTON E G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research,2008,9(2605):2579

出版声明

期刊订阅

1 本文方法

2 实验验证

3 实验结果分析

4 结论