基于双域N2N和注意力的无监督磁共振成像重建

段继忠，陈盛毅; DUAN Jizhong; CHEN Shengyi

doi: 10.11918/202309074

段继忠，陈盛毅

昆明理工大学信息工程与自动化学院，昆明 650504

基金项目: 国家自然科学基金(61861023) ；云南省基础研究计划(202301AT070452)

详细信息

作者简介

段继忠(1984—)，男，副教授，硕士生导师

通讯作者

段继忠，duanjz@kust.edu.cn

中图分类号: TP391

文献标识码: A

文章编号: 0367-6234(2025)10-0143-11

Unsupervised magnetic resonance imaging reconstruction based on dual-domain N2N and attention mechanisms

DUAN Jizhong ， CHEN Shengyi

Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650504 , China

摘要

为解决目前大部分重建磁共振成像（MRI）的深度学习方法依赖于大量完全采样的数据集进行训练的问题，提出一种包含注意力机制的无监督双域N2N网络（DN2NA）进行并行MRI重建，提出的DN2NA网络不需要额外的训练数据，即可直接对欠采样的k空间数据进行重建。具体而言，在N2N网络中加入复数卷积和通道注意力机制，构建一个基础无监督网络N2NA，同时加入两个物理先验提高频域（k空间）N2NA网络的性能，再将频域N2NA网络与图像域N2NA网络级联成双域网络DN2NA，这种组合方法充分结合了频域和图像域网络的优势。由于在实际应用场景中没有真实数据作为参考，还采用了一种提前停止方法来避免过拟合和提高稳定性。在膝盖和大脑共3个数据集上进行的实验表明，相比现有的无监督网络IUNN和KUNN，DN2NA网络拥有更高的PSNR值和SSIM值以及更低的HFEN值和STD值，这表明DN2NA网络重建质量更好，多次重复重建结果也更稳定。与有监督网络MICCAN相比，DN2NA网络也展现了相似或者更优的性能。

关键词

磁共振成像 / 深度学习 / 无监督网络 / 零样本 / 提取停止准则

Abstract

To address the reliance of most deep learning methods for magnetic resonance (MR) imaging (MRI) reconstruction on extensive fully-sampled datasets for training, this study proposes an unsupervised dual-domain N2N network with attention mechanisms (DN2NA) for parallel MRI reconstruction. The proposed DN2NA network can directly reconstruct undersampled k-space data without requiring additional training data. Specifically, we integrate complex-valued convolution and channel attention mechanism into the N2N framework to construct a baseline unsupervised network N2NA. Two physical priors are incorporated to enhance the performance of the frequency-domain (k-space) N2NA network, which is then cascaded with an image-domain N2NA network to form the dual-domain DN2NA architecture. This combination effectively leverages the complementary advantages of frequency-domain and image-domain networks. Given the absence of ground-truth references in practical scenarios, an early-stopping strategy is adopted to prevent overfitting and improve stability. Experiments conducted on three knee and brain datasets demonstrate that DN2NA achieves higher PSNR and SSIM, along with lower HFEN and STD compared to existing unsupervised networks (IUNN and KUNN), indicating superior reconstruction quality and stability in repeated reconstructions. Furthermore, DN2NA exhibits comparable or better performance than the supervised network MICCAN.

Keywords

magnetic resonance imaging / deep learning / unsupervised neural network / zero-shot / early stopping criterion

1 模型与方法 1.1 DN2NA 1.2 提前停止准则（ES） 1.3 通道注意力机制 1.4 复数卷积 1.5 数据一致性（DC）操作 2 实验及结果分析 2.1 实验数据 2.1.1 膝盖数据 2.1.2 SIAT大脑数据 2.1.3 NYUfastMRI大脑数据 2.2 实验设置 2.3 实验结果 2.4 消融实验 2.4.1 KN2NAP网络的消融实验 2.4.2 IN2NA网络的消融实验 2.4.3 DN2NA网络的消融实验 3 结论

磁共振成像（magnetic resonance imaging，MRI）因其无创、无电离辐射、软组织对比度高等优点，成为一种应用广泛的医学成像技术。然而，采集MR信号的速度受到成像对象心理上的限制或者成像设备物理上的约束。因此，如何加快MR信号的采集速度是当前的研究热点。欠采样和并行成像是提高MRI采集速度的有效方法。根据压缩感知（compressed sensing，CS）理论^[1-3]，由于MR图像具有稀疏性，可以利用非线性优化方法从高度欠采样的k空间数据中重建MR图像。并行成像利用多个阵列接收器的空间灵敏度来加快MRI的采集^[4-6]。

随着深度学习在计算机视觉领域展现出极强的能力，一些研究人员提出使用深度学习模型从欠采样k空间数据重建并行MR图像。具体来说，Hammernik等^[7]从全采样的多线圈k空间数据中训练了一个用于并行MRI重建的变分网络。Aggarwal等^[8]提出了一种基于深度学习先验的重构框架，该框架包含数据一致性（data consistency，DC）并学习卷积神经网络（convolution neural network，CNN）来捕获图像的冗余信息。Sriram等^[9]提出了一种用于并行MRI重建的端到端变分网络（VarNet）。Lu等^[10]设计了一种受稀疏迭代重构启发的网络结构，并且使用了残差结构。由于MR图像和k空间数据本质上是复值的^[11]，Wang等^[12]提出了复值CNN模型deepcomplex进行并行MRI重建。Feng等^[13]基于deepcomplex提出了一种将MR数据分为高频和低频分量处理的双阶卷积网络DONet。Huang等^[14]提出了MICCAN网络，该模型将注意力机制应用到了 U-Net中。Lehtinen等^[15]提出了Noise2Noise（N2N）网络，从有噪声的图像中去除噪声，从欠采样k空间数据中重建MR图像。

这些基于深度学习的方法依赖于完全采样的MR数据的大型数据库来训练CNN。然而，在某些情况下，获取完全采样的k空间数据很困难，有时甚至不可行。Yaman等^[16]提出了一种通过欠采样数据进行物理引导深度学习重建的自监督学习方法（SSDU），该方法将可用的欠采样测量值划分为两个不相交的集合，一个用于数据一致性，另一个用于定义训练损失。SSDU只需要欠采样的k空间数据集就能训练。Peng等^[17]提出了一种新的Hankel-k-space生成模型（Hankel-k-space generative model，HKGM），该模型仅从一个完全采样的k空间数据学习并生成样本。此外，一些研究人员提出了在没有任何外部训练数据集的情况下重建MRI的方法。Darestani等^[18]提出了一种基于深度解码器变体的图像域未训练神经网络（image domain untrained neural network，IUNN），用于加速MRI重建。Cui等^[19]提出了一种k空间未训练神经网络（k-space interpolation with untrained neural network，KUNN），用于频域的MRI重构，该网络采用三重结构，由3个物理先验（变换稀疏性、线圈灵敏度平滑性和相位平滑性）驱动。由于KUNN和IUNN使用随机的低维变量作为输入，并直接选择固定的轮次进行训练，无法保证稳定的重构。Yaman^[20]提出了一种称为zero-shot SSDU（ZS-SSDU）的方法，该方法不依赖于任何外部训练数据集，但该方法需要显式使用线圈灵敏度信息，该信息通常需要全采样的自校准信号（auto-calibration signal，ACS）进行估计，这会造成加速比的降低。

为了提高无监督网络性能，提出一种基于双域N2N网络和注意力机制的零样本无监督MR图像重建网络（DN2NA），所提出的网络无需任何外部训练数据集即可进行并行MRI重建。具体地，在编码器-解码器形式的N2N网络中加入了复数卷积和通道注意力机制，设计了N2NA网络。对于在频域进行重建的k空间N2NA（k-space domain N2N with attention mechanism，KN2NA）网络，额外加入了相位平滑和线圈灵敏度平滑两个物理先验来提高重建性能。将带有物理先验的k空间N2NA网络（k-space N2N with attention mechanism and physical prior，KN2NAP）的重建结果输入到图像域N2NA网络（image domain N2N with attention mechanism，IN2NA）进行下一步的重建，设计了频域-图像域形式的双域网络DN2NA。同时在DN2NA模型中加入提前停止准则，使DN2NA网络在过拟合时可自动停止，从而提升网络的稳定性。

1 模型与方法

1.1 DN2NA

并行磁共振成像模型可以表示为

y_{i} = R {\hat{x}}_{i} + n_{i}

(1)

式中：

{\hat{x}}_{i} = F x_{i} \in C^{N} ， \hat{x} = [{\hat{x}}_{1} ， \dots ， {\hat{x}}_{C}] \in C^{N \times C}

为全采样的多线圈k空间数据，x_i=S_iz∈C^N，x=[x₁，···，x_C]∈C^N^×^C为多线圈图像，z∈C^N为待重建目标图像，N=n×n，y_i∈C^M为第i个线圈欠采样k空间数据，y=[y₁，···，y_C]∈C^M^×^C为多线圈k空间数据，F为傅里叶变换，对角矩阵S_i为第i个线圈灵敏度信息，n_i表示第i个线圈的噪声，R∈R^M^×^N表示单线圈欠采样矩阵，其行由N×N的单位矩阵I_N的行构成，将I_N的这些行编号组成R的下标集合R_ind，M表示单个线圈欠采样k空间数据的数量。

对于带有物理先验的KN2NA网络（即KN2NAP），采用虚拟共轭线圈（virtual conjugate coils，VCC）技术^[21]将其并入相位先验中，于是重建模型可写成：

(2)

式中：

y^{'} = {\bar{y}}^{*}

，（·）^*表示复数的共轭，

\bar{y}

表示y的翻转，使得

\bar{y} （ i ） = y （ - i ）

。

利用卷积定理，以上最优化问题可以转换为如下形式：

(3)

式中:

\otimes

表示卷积；

\hat{z}

通过KN2NA网络实现，即

\hat{z}

=KN2NA_θ（Y）; θ为KN2NA网络的参数。N2NA网络的结构如图1所示，在KN2NA网络中χ=2。

图1加入了通道注意力和复数卷积的N2N网络（N2NA）结构

Fig.1Architecture of N2N network with channel attention and complex convolution (N2NA)

同时，考虑到MRI的相位φ和线圈灵敏度S_i在图像域具有平滑特性，从而在k空间域具有紧支撑先验，与KUNN^[19]类似，使用具有小尺寸输出的基于解码器结构的UNN网络生成

η = \{{\hat{S}}_{i}\} = {U N N}_{ε} （ p ）

和

ζ = {\hat{e}}^{- j 2 φ} = {U N N}_{δ} （ q ）

，其中，p，q是大小为[1，2，3，3]的低维随机变量，ε、δ为UNN网络的参数，UNN网络结构如图2所示。

图2UNN网络的结构

Fig.2Structure of the UNN network

于是KN2NAP优化问题可以转化成如下紧凑形式：

\underset{θ, ε, δ}{m i n} L (Y, p, q) = {‖\overset{˘}{R} Ψ_{θ, ε, δ} (Y, p, q) - Y‖}_{F}^{2}

(4)

其中，

Ψ_{θ ， ε ， δ} (Y ， p ， q) = [{K N}_{} 2 {N A}_{θ} (Y) \otimes {U N N}_{ε} (p) ， K N 2 {N A}_{θ} （ Y ） \otimes {U N N}_{δ} （ q ） \otimes {U N N}_{ε}^{*} （ p ）]

表示KN2NAP网络重建得到的多线圈k空间数据，

Y = [y ， y^{'}] \in C^{N \times 2 C} ， y^{'} = {\bar{y}}^{*} ， \overset{˘}{R} ([y ， y^{'}]) = [R y_{1} ， \dots ， R y_{C} ， \bar{R} y_{1}^{'} ， \dots ， \bar{R} y_{C}^{'}]

。

频域网络KN2NPA和图像域网络IN2NA级联成双域网络DN2NA，具体地，KN2NAP网络的重建结果作为IN2NA网络的输入进行进一步的重建。双域网络DN2NA的优化问题写成如下形式：

\begin{matrix} \underset{σ, θ, ε, δ}{m i n} L (Y, p, q) = \\ {‖\overset{˘}{R} F (I N 2 {N A}_{σ} (F^{- 1} (D C (Ψ_{θ, ε, δ} (Y, p, q))))) - Y‖}_{F}^{2} \end{matrix}

(5)

其中，DC（·）表示DC操作（定义见第1.5节），σ为IN2NA网络的参数，N2NA网络结构如图1所示，在IN2NA网络中χ=4C。

双域网络DN2NA的结构如图3所示。欠采样的k空间数据在经KN2NAP网络重建后进行DC操作，再通过傅里叶反变换将重建的频域数据转化为图像域数据。图像域数据通过IN2NA网络进一步重建后，经傅里叶变换得到频域数据，再与原始的欠采样k空间数据计算训练损失和验证损失，其中，训练损失用来训练网络参数，验证损失用来判断网络的提前停止。在网络判断停止后，整个DN2NA网络重建的频域数据（即k空间数据）再进行DC操作、傅里叶反变换和平方和的平方根（square root of sum of squares，SOS）操作即可得到图像域的输出。

图3DN2NA网络的结构

Fig.3Structure of the KN2N network

1.2 提前停止准则（ES）

在实际应用中，由于无监督网络没有可用的真实图像信息，网络无法根据峰值信噪比（peak signal to noise ratio，PSNR）判断什么时候停止训练。尽管损失函数（loss function）会随着网络的训练持续下降，但当达到临界点之后，网络开始过拟合（即重建质量开始降低）。之前的工作^[18-19]直接选择固定的迭代次数，但是在临床应用中，采集到的MR数据是多变且未知的，使用固定的迭代次数不能保证稳定的重建质量，也会浪费计算资源。在ZS-SSDU^[20]一文中，作者将采样轨迹划分为training mask，loss mask，validation mask共3部分，其中，validation mask用来判断网络是否过拟合。受此启发，将原始mask进行划分，选择一个区域用于判断过拟合，从而使我们的网络可以自己判断什么时候停止。

将下标集Rind分为不相交的两部分T_ind和V_ind，即

\{\begin{matrix} T_{ind} \cup V_{ind} = R_{ind} \\ T_{ind} \cap V_{ind} = \emptyset \end{matrix}

(6)

T、V分别表示由下标集T_ind、V_ind指定的欠采样矩阵，T用于训练，V用于验证。这时，KN2NAP网络的输入由Y变为

\overset{˘}{T} Y

（因为利用T对y进行了重新采样），再分别计算两部分的损失：

{L o s s}_{T} = {‖\overset{˘}{T} Ψ_{θ, ε, δ} (Y, p, q) - \overset{˘}{T} Y‖}_{F}^{2}

(7)

{L o s s}_{V} = {‖\overset{˘}{V} Ψ_{θ, ε, δ} (Y, p, q) - \overset{˘}{V} Y‖}_{F}^{2}

(8)

Loss_T为训练的损失函数，用于优化网络、更新网络的参数， Loss_V用于判断网络是否过拟合。当Loss_V由下降转为上升时，网络过拟合，停止训练，保存网络的重建输出。其中，验证区域占全部采样区域的比例为|V_ind|/|R_ind|=0.1。

如图4所示，通过判断验证损失是否上升来寻找网络的停止点，可以看出，训练损失随着epoch的增加一直降低，但验证损失在达到最低点后开始上升。可以认为此时网络已经学习到了一组较好的参数，如果继续学习，网络可能会过拟合，继而降低图像重建的质量。

图4DN2NA网络在加速倍率为3的RADU采样模式下的大脑数据的训练损失和验证损失

Fig.4Training and validation loss of DN2NA on brain data with RADU at AF=3

1.3 通道注意力机制

在多线圈数据中，受线圈灵敏度的影响，每个线圈包含的数据并不相同。在神经网络中多线圈数据将按照多通道数据进行处理。通道注意力机制通过平均池化来量化多通道数据中单个通道拥有的信息量，并通过卷积-激活-卷积的形式来调整所有通道之间的权重。通道注意力机制可以为包含更多信息的通道赋予更大的权重，更大的权重意味着在训练的过程中会更多地对这部分进行优化，使重建图的质量得到提升。通道注意力机制模块的结构见图5。

图5通道注意力机制结构

Fig.5Structure of the channel attention mechanism

1.4 复数卷积

在MRI重建中，大多方法都是将MR数据的实部和虚部分开，分别使用实值卷积处理实部和虚部。为了避免信息丢失，Wang等^[12]提出使用复数卷积来处理复值输入。复数数据V=V_r+jV_i和具有复数权重的卷积核K=K_r+jK_i进行复数卷积的过程可以表示为

K \otimes V = (K_{r} \otimes V_{r} - K_{i} \otimes V_{i}) + j (K_{r} \otimes V_{i} + K_{i} \otimes V_{r})

(9)

其中，K_r、K_i、V_r、V_i均为实数矩阵。

复数卷积被应用到了KN2NAP和IN2NA中。在2.4节设计了消融实验，来证明通道注意力机制和复数卷积的加入对N2N网络造成的影响。

1.5 数据一致性（DC）操作

如图3所示，KN2NAP网络的最后一步是进行k空间数据的数据一致性（DC）操作，IN2NA网络在频域进行训练损失和验证损失的计算后也会进行DC操作。设DC操作前的数据为

\hat{x} \in C^{2 N C}

，则DC操作后变成

\tilde{x} = D C (\hat{x}) = {\overset{˘}{R}}_{C}^{T} {\overset{˘}{R}}_{C} \hat{x} + {\overset{˘}{R}}^{T} Y

(10)

R_C为k空间数据中未采样的点。将

\tilde{x}

进行傅里叶反变换之后，即x=F^-1

\tilde{x}

，再对前C个线圈（由于使用了VCC技术，后C个线圈为虚拟线圈，不予考虑）通过SOS操作可以组合成单线圈幅度图像X，即

X = S O S (x) = \sqrt{\overset{C}{\underset{i = 1}{Σ}} {|x_{i}|}^{2}}

(11)

2 实验及结果分析

2.1 实验数据

2.1.1 膝盖数据

膝盖数据选择的是公开数据集NYULH Radiology-Reconstruction-Data^[7]，该数据集使用临床3T系统（Siemens Magnetom Skyra）对不同的成像受试者进行膝盖部位全采样，该数据集由5个2D涡轮自旋回波（turbo spin-echo，TSE）序列组成。每个序列包含20位不同成像受试者的数据。本实验选择冠状面质子密度加权序列，序列参数：重复时间（repetition time，TR）为2 750 ms，回波时间（echo time，TE）为27 ms，平面分辨率为 0.49×0.36 mm²。在对比的有监督网络中，选取其中14个成像受试者的数据作为训练集，3个成像受试者的数据作为验证集，3个成像受试者的数据为测试集。每个成像受试者选择中间的20个切片，并将数据裁剪或填充为320×320，每个切片为15通道，即每个实验样本大小为320×320×15。对于无监督网络，随机选取测试集中的一个数据进行重建，无需额外的训练集。

2.1.2 SIAT大脑数据

SIAT大脑数据由中国科学院深圳先进技术研究院提供。该数据集使用3T系统（SIEMENS MAGNETOM Trio Tim）对500名受试者进行大脑部位全采样，全采样的二维复值MR数据从T2加权的3D涡轮自旋回波序列中获取。参数如下：平面分辨率为220×220 mm²，回波时间TE为149 ms，重复时间TR为2 500 ms，线圈数为12。在对比的有监督网络中，选择340个成像受试者的数据作为训练集，80个成像受试者的数据作为验证集，80个成像受试者的数据作为测试集，将数据裁剪为256×256，即每个实验样本大小为256×256×12。对于无监督网络，随机选取测试集中的一个数据进行重建，无需额外的训练集。

2.1.3 NYUfastMRI大脑数据

NYU fastMRI^[22]数据集由纽约大学和Langone健康中心提供，该数据集是在3T西门子扫描仪上使用20通道接收线圈和2D涡轮自旋回波序列获得的。参数如下：平面分辨率为220×220 mm²，回波时间TE为113 ms，重复时间TR为6 000 ms。选择其中的多线圈大脑数据进行实验。在对比的有监督网络中，选取70个成像受试者的数据作为训练集，20个成像受试者的数据为验证集，20个成像受试者的数据为测试集。每个成像受试者选择前4个切片，并将数据裁剪为384×384，每个切片20个通道，即每个实验样本大小为384×384×20。对于无监督网络，随机选取测试集中的一个数据进行重建，无需额外的训练集。

2.2 实验设置

为了评估提出的DN2NA网络的性能，选择了不同的采样轨迹进行欠采样模拟。选择的欠采样掩码为：一维随机欠采样（one-dimensional random undersampling pattern，1DRU），二维泊松圆盘欠采样（two-dimensional Poisson-disc undersampling pattern，2DPU），二维随机欠采样（two-dimensional random undersampling pattern，2DRU）和伪径向欠采样（pseudo radial undersampling pattern，RADU）。选用了经典的未训练网络IUNN和最新的在k空间重建的未训练网络KUNN进行对比，以探究DN2NA网络与其他无监督网络之间的性能差异。此外，选用了带有通道注意力机制的有监督网络MICCAN进行对比，以探究DN2NA网络与有监督网络之间的性能差异。

选择峰值信噪比（peak signal to noise ratio，PSNR）、结构相似性（structural similarity，SSIM）和高频误差范数（high frequency error norm，HFEN）作为评价指标。其中，PSNR和SSIM的数值越高代表重建质量越好，HFEN的数值越低代表重建质量越好。需要强调的是，对无监督的网络均进行10次重复实验，每个评价指标都是取10次结果的平均值。额外加入了10次重建结果的PSNR值的标准差（standard deviation，STD）作为评价无监督网络稳定性的指标，STD越低代表重建的质量越稳定。选择ADAM优化器对损失函数式进行优化，参数设置为β₁= 0.9，β₂=0.999，学习率为1×10^-4。实验在配置为Intel Core i9-12900K@3.2 GHz CPU，NVIDIA RTX 3090（24 GB显存）GPU， 64 GB内存，64位Ubuntu 20.04操作系统的服务器上完成。

2.3 实验结果

在膝盖数据集、SIAT大脑数据集和NYU fastMRI大脑数据集上进行了实验。表1~3给出了所有网络在不同的采样模式以及不同加速因子下的膝盖数据大脑数据重建图像的评价指标。最好的结果标记为红色，第二好的结果标记为蓝色。

图6~10可视化地展示了4种网络（MICCAN^[14]、IUNN^[18]、KUNN^[19]、DN2NA）的重建结果。每组图有3列，第1列为4种不同网络的重建图，左下角为局部放大图，右下角为重建图的评价指标；第2列为误差图，左下角为局部放大图，右下角为色标；第3列为方差图，右下角为色标，其中，只有无监督网络有方差图。

从图6的误差图可以看出，不同于MICCAN和KUNN重建结果有大块高误差区域，DN2NA和IUNN的误差值更小，同时，与IUNN相比，DN2NA误差的区域更少，拥有更加丰富的细节。

图6膝盖数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.6Comparison of reconstruction results for four different networks on knee data using 2DPU with acceleration factor of 3

由图7可以看出，MICCAN出现了明显的条状伪影，表现不佳。与IUNN和KUNN相比，DN2NA在关节连接处重建误差更小。

由图8的误差图可以看出，DN2NA的重建误差比对比网络小得多。

由图9可以看出，IUNN和MICCAN都没有提供好的重建结果，而KUNN和DN2NA表现更好。但是KUNN网络的重建图出现了两块明显的误差区域，这两个区域亮度较低，在实际场景中会影响医生的判断。同时观察方差图可以看出，KUNN在其他几次重建中仍然出现了明显误差区域。DN2NA在此场景下展现了更多的细节。

由图10可以看出，MICCAN在平坦区域重建误差更小（SSIM值更大），而在大脑沟回和头骨等细节区域的重建误差非常大，这种情况对于临床诊断来说十分不利。相比之下，DN2NA在大脑沟回和头骨等细节区域的重建误差明显减小，表现出更高的PSNR值和更低的HFEN值。

图7膝盖数据在加速倍率为3的1DRU模式下4种网络的重建结果对比

Fig.7Comparison of reconstruction results for four different networks on knee data using 1DRU with acceleration factor of 3

图8膝盖数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.8Comparison of reconstruction results for four different networks on knee data using 2DRU with acceleration factor of 3

图9SIAT大脑数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.9Comparison of reconstruction results for four different networks on SIAT brain data using 2DPU with acceleration factor of 3

图10NYU fastMRI大脑数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.10Comparison of reconstruction results for four different networks on NYU fastMRI brain data using 2DRU with acceleration factor of 3

从表1所有欠采样模式重建结果的评价指标可以看出，DN2NA不仅提供了优于IUNN和KUNN的重建结果，而且展现了与有监督网络MICCAN相近的性能，在部分场景下DN2NA甚至拥有好于MICCAN的性能。从表2可以看出，DN2NA依然展现了优于IUNN和KUNN的性能，在PSNR值接近时，DN2NA的重建结果具有更高的SSIM值。从表3可以看出，在不同欠采样模式下，DN2NA均能提供最高的PSNR值和较低的HFEN值。观察表1~3可以看出，在大部分场景中DN2NA的STD值都是最低的，说明拥有提前停止准则的DN2NA能提供更加稳定的重建结果。

表14种不同网络在膝盖数据重建结果的评价指标

Tab.1Evaluation metrics for knee reconstruction results of four different networks

表24种不同网络在SIAT大脑数据重建结果的评价指标

Tab.2Evaluation metrics for brain reconstruction results on SIAT dataset across four different networks

表34种不同网络在NYU fastMRI大脑数据重建结果的评价指标

Tab.3Evaluation metrics for brain reconstruction results on NYU fastMRI dataset across four different networks

2.4 消融实验

为了验证所提出的改进，设计了3组详尽的消融实验。

2.4.1 KN2NAP网络的消融实验

对在频域工作的KN2N网络加入了复数卷积和通道注意力机制，同时加入了相位平滑和线圈灵敏度平滑两个物理先验。对加入的部分设计了如下几组消融实验。线圈灵敏度平滑先验（coil sensitivity smoothness）用S表示，相位平滑先验（phase smoothness）用P表示，复数卷积（complex convolution）用C表示，通道注意力机制（channel attention mechanism）用A表示。所有组别的重建结果见表4，其中，最好的结果标记为红色。

表4KN2NAP网络消融实验的结果

Tab.4Results of ablation experiments for KN2NAP network

从表4可以看出，所提出的改进都带来了效果的提升，单独加入线圈灵敏度先验和相位先验都能带来可观的提升，通道注意力机制和复数卷积的组合也带来了较多的提升。组合所有的改进因素，可以得到最好的效果。

2.4.2 IN2NA网络的消融实验

与在频域工作的KN2NAP网络相同的是，对在图像域工作的IN2N网络中加入了复数卷积和通道注意力机制。对IN2NA网络设计了如下几组消融实验。复数卷积（complex convolution）用C表示，通道注意力机制（channel attention mechanism）用A表示。上述所有组别的重建结果见表5，其中，最好的结果标记为红色。

表5IN2NA网络消融实验的结果

Tab.5Results of ablation experiments for IN2NA network

观察表5可以看出，复数卷积和通道注意力机制都带来了效果的提升，其中，通道注意力机制带来的提升更多，同时加入复数卷积和通道注意力机制可以得到最好的效果。

2.4.3 DN2NA网络的消融实验

选择将KN2NAP网络和IN2NA网络结合起来，组成双域的DN2NA网络进一步提升网络的性能，设计了如下消融实验验证双域网络的优势：a）单独的KN2NAP网络，b）单独的IN2NA网络，c）IN2NA网络重建的结果由KN2NAP网络进一步重建，d）KN2NAP网络的重建结果由IN2NA网络进一步重建。上述所有组别的重建结果见表6，其中，最好的结果标记为红色。

表6DN2NA网络消融实验的结果

Tab.6Results of ablation experiments for DN2NA network

从表6可以看出，使用频域网络-图像域网络形式的双域网络拥有最好的性能。

3 结论

1）提出了一种包含注意力机制的双域N2N网络（DN2NA）进行并行MRI重建，所提出的DN2NA网络不需要额外的训练数据，即可直接对欠采样的k空间MR数据进行重建。

2）DN2NA网络结合了频域和图像域网络的优势；在DN2NA网络中使用的复数卷积可以更好地处理复数MR数据；DN2NA网络中的通道注意力机制在对单个多线圈欠采样数据进行训练时，可以调整每个通道之间的比例，带来了显著的效果提升。

3）在膝盖和大脑共3个数据集上进行的实验表明，DN2NA优于现有的无监督方法IUNN和KUNN，这不仅体现在更好的重建指标，也体现在更稳定的重建性能。

4）与有监督网络MICCAN相比，DN2NA展示了与其相似的性能，在部分场景下DN2NA的表现甚至优于MICCAN。

5）DN2NA网络也存在一些不足。DN2NA作为无监督网络，相比有监督网络MICCAN在重建速度上存在劣势，MICCAN网络虽然训练时间很长，但是网络训练好之后重建MR图像（测试）只需要几秒，提高无监督网络的重建速度是下一步的研究方向。在之后的工作中，会继续探究双域网络的形式，充分结合频域网络与图像域网络的优势，同时会尝试更多种类的注意力机制，以期获得更好的重建性能。

图1加入了通道注意力和复数卷积的N2N网络（N2NA）结构

Fig.1Architecture of N2N network with channel attention and complex convolution (N2NA)

下载: 全尺寸图片

图2UNN网络的结构

Fig.2Structure of the UNN network

下载: 全尺寸图片

图3DN2NA网络的结构

Fig.3Structure of the KN2N network

下载: 全尺寸图片

图4DN2NA网络在加速倍率为3的RADU采样模式下的大脑数据的训练损失和验证损失

Fig.4Training and validation loss of DN2NA on brain data with RADU at AF=3

下载: 全尺寸图片

图5通道注意力机制结构

Fig.5Structure of the channel attention mechanism

下载: 全尺寸图片

图6膝盖数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.6Comparison of reconstruction results for four different networks on knee data using 2DPU with acceleration factor of 3

下载: 全尺寸图片

图7膝盖数据在加速倍率为3的1DRU模式下4种网络的重建结果对比

Fig.7Comparison of reconstruction results for four different networks on knee data using 1DRU with acceleration factor of 3

下载: 全尺寸图片

图8膝盖数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.8Comparison of reconstruction results for four different networks on knee data using 2DRU with acceleration factor of 3

下载: 全尺寸图片

图9SIAT大脑数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.9Comparison of reconstruction results for four different networks on SIAT brain data using 2DPU with acceleration factor of 3

下载: 全尺寸图片

图10NYU fastMRI大脑数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.10Comparison of reconstruction results for four different networks on NYU fastMRI brain data using 2DRU with acceleration factor of 3

下载: 全尺寸图片

表14种不同网络在膝盖数据重建结果的评价指标

Tab.1Evaluation metrics for knee reconstruction results of four different networks

下载: 全尺寸图片

表24种不同网络在SIAT大脑数据重建结果的评价指标

Tab.2Evaluation metrics for brain reconstruction results on SIAT dataset across four different networks

下载: 全尺寸图片

表34种不同网络在NYU fastMRI大脑数据重建结果的评价指标

Tab.3Evaluation metrics for brain reconstruction results on NYU fastMRI dataset across four different networks

下载: 全尺寸图片

表4KN2NAP网络消融实验的结果

Tab.4Results of ablation experiments for KN2NAP network

下载: 全尺寸图片

表5IN2NA网络消融实验的结果

Tab.5Results of ablation experiments for IN2NA network

下载: 全尺寸图片

表6DN2NA网络消融实验的结果

Tab.6Results of ablation experiments for DN2NA network

下载: 全尺寸图片

图1加入了通道注意力和复数卷积的N2N网络（N2NA）结构

Fig.1Architecture of N2N network with channel attention and complex convolution (N2NA)

图2UNN网络的结构

Fig.2Structure of the UNN network

图3DN2NA网络的结构

Fig.3Structure of the KN2N network

图4DN2NA网络在加速倍率为3的RADU采样模式下的大脑数据的训练损失和验证损失

Fig.4Training and validation loss of DN2NA on brain data with RADU at AF=3

图5通道注意力机制结构

Fig.5Structure of the channel attention mechanism

图6膝盖数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.6Comparison of reconstruction results for four different networks on knee data using 2DPU with acceleration factor of 3

图7膝盖数据在加速倍率为3的1DRU模式下4种网络的重建结果对比

Fig.7Comparison of reconstruction results for four different networks on knee data using 1DRU with acceleration factor of 3

图8膝盖数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.8Comparison of reconstruction results for four different networks on knee data using 2DRU with acceleration factor of 3

图9SIAT大脑数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.9Comparison of reconstruction results for four different networks on SIAT brain data using 2DPU with acceleration factor of 3

图10NYU fastMRI大脑数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.10Comparison of reconstruction results for four different networks on NYU fastMRI brain data using 2DRU with acceleration factor of 3

表14种不同网络在膝盖数据重建结果的评价指标

Tab.1Evaluation metrics for knee reconstruction results of four different networks

表24种不同网络在SIAT大脑数据重建结果的评价指标

Tab.2Evaluation metrics for brain reconstruction results on SIAT dataset across four different networks

表34种不同网络在NYU fastMRI大脑数据重建结果的评价指标

Tab.3Evaluation metrics for brain reconstruction results on NYU fastMRI dataset across four different networks

表4KN2NAP网络消融实验的结果

Tab.4Results of ablation experiments for KN2NAP network

表5IN2NA网络消融实验的结果

Tab.5Results of ablation experiments for IN2NA network

表6DN2NA网络消融实验的结果

Tab.6Results of ablation experiments for DN2NA network

图1加入了通道注意力和复数卷积的N2N网络（N2NA）结构

Fig.1Architecture of N2N network with channel attention and complex convolution (N2NA)

图2UNN网络的结构

Fig.2Structure of the UNN network

图3DN2NA网络的结构

Fig.3Structure of the KN2N network

图4DN2NA网络在加速倍率为3的RADU采样模式下的大脑数据的训练损失和验证损失

Fig.4Training and validation loss of DN2NA on brain data with RADU at AF=3

图5通道注意力机制结构

Fig.5Structure of the channel attention mechanism

图6膝盖数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.6Comparison of reconstruction results for four different networks on knee data using 2DPU with acceleration factor of 3

图7膝盖数据在加速倍率为3的1DRU模式下4种网络的重建结果对比

Fig.7Comparison of reconstruction results for four different networks on knee data using 1DRU with acceleration factor of 3

图8膝盖数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.8Comparison of reconstruction results for four different networks on knee data using 2DRU with acceleration factor of 3

图9SIAT大脑数据在加速倍率为3的2DPU模式下4种网络的重建结果对比

Fig.9Comparison of reconstruction results for four different networks on SIAT brain data using 2DPU with acceleration factor of 3

图10NYU fastMRI大脑数据在加速倍率为3的2DRU模式下4种网络的重建结果对比

Fig.10Comparison of reconstruction results for four different networks on NYU fastMRI brain data using 2DRU with acceleration factor of 3

表14种不同网络在膝盖数据重建结果的评价指标

Tab.1Evaluation metrics for knee reconstruction results of four different networks

表24种不同网络在SIAT大脑数据重建结果的评价指标

Tab.2Evaluation metrics for brain reconstruction results on SIAT dataset across four different networks

表34种不同网络在NYU fastMRI大脑数据重建结果的评价指标

Tab.3Evaluation metrics for brain reconstruction results on NYU fastMRI dataset across four different networks

表4KN2NAP网络消融实验的结果

Tab.4Results of ablation experiments for KN2NAP network

表5IN2NA网络消融实验的结果

Tab.5Results of ablation experiments for IN2NA network

表6DN2NA网络消融实验的结果

Tab.6Results of ablation experiments for DN2NA network

DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory,2006,52(4):1289. DOI:10.1109/TIT.2006.871582

CANDÈS E J, ROMBERG J, TAO T. Robust uncertainty principles:exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory,2006,52(2):489. DOI:10.1109/TIT.2005.862083

LUSTIG M, DONOHO D L, SANTOS J M,et al. Compressed sensing MRI[J]. IEEE Signal Processing Magazine,2008,25(2):72. DOI:10.1109/MSP.2007.914728

PRUESSMANN K P, WEIGER M, SCHEIDEGGER M B,et al. SENSE:sensitivity encoding for fast MRI[J]. Magnetic Resonance in Medicine,1999,42(5):952. DOI:10.1002/(SICI)1522-2594(199911)42:5＜952:: AID-MRM16＞3.0. CO;2-S

GRISWOLD M A, JAKOB P M, HEIDEMANN R M,et al. Generalized autocalibrating partially parallel acquisitions(GRAPPA)[J]. Magnetic Resonance in Medicine,2002,47(6):1202. DOI:10.1002/mrm.10171

LUSTIG M, PAULY J M. SPIRiT:iterative self-consistent parallel imaging reconstruction from arbitrary k-space[J]. Magnetic Resonance in Medicine,2010,64(2):457. DOI:10.1002/mrm.22428

HAMMERNIK K, KLATZER T, KOBLER E,et al. Learning a variational network for reconstruction of accelerated MRI data[J]. Magnetic Resonance in Medicine,2018,79(6):3055. DOI:10.1002/mrm.26977

AGGARWAL H K, MANI M P, JACOB M. MoDL:model-based deep learning architecture for inverse problems[J]. IEEE Transactions on Medical Imaging,2018,38(2):394. DOI:10.1109/TMI.2018.2865356

SRIRAM A, ZBONTAR J, MURRELL T,et al. End-to-end variational networks for accelerated MRI reconstruction[C]//Medical Image Computing and Computer Assisted Intervention(MICCAI 2020). Cormell: Cornell University,2020:64. DOI:10.1007/978-3-030-59713-9_7

LU Tieyuan, ZHANG Xinlin, HUANG Yihui,et al.pFISTA-SENSE-ResNet for parallel MRI reconstruction[J]. Journal of Magnetic Resonance,2020,318:106790. DOI:10.1016/j.jmr.2020.106790

DEDMARI M A, CONJETI S, ESTRADA S,et al. Complex fully convolutional neural networks for MR image reconstruction[C]//International Workshop on Machine Learning for Medical Image Reconstruction. Cormell: Cornell University,2018:30. DOI:10.1007/978-3-030-00129-2_4

WANG Shanshan, CHENG Huitao, YING L,et al. DeepcomplexMRI:exploiting deep residual network for fast parallel MR imaging with complex convolution[J]. Magnetic Resonance Imaging,2020,68:136. DOI:10.1016/j.mri.2020.02.002

FENG Chunmei, YANG Zhanyuan, FU Huazhu,et al. DONet:dual-octave network for fast MR image reconstruction[J]. IEEE Transactions on Neural Networks and Learning Systems,2025,36(3):3965. DOI:10.1109/TNNLS.2021.3090303

HUANG Qiaoying, YANG Dong, WU Pengxiang,et al. MRI reconstruction via cascaded channel-wise attention network[C]//2019 IEEE 16th International Symposium on Biomedical Imaging(ISBI 2019). Venice, Italy: IEEE,2019:1622. DOI:10.1109/ISBI.2019.8759423

LEHTINEN J, MUNKBERG J, HASSELGREN J,et al. Noise2Noise:learning image restoration without clean data[C]//International Conference on Machine Learning 2018(ICML). Stockholm, Sweden: PMLR,2018:2965

YAMAN B, HOSSEINI S A H, MOELLER S,et al. Self-supervised learning of physics-guided reconstruction neural networks without fully sampled reference data[J]. Magnetic Resonance in Medicine,2020,84(6):3172. DOI:10.1002/mrm.28378

PENG Hong, JIANG Chen, CHENG Jing,et al. One-shot generative prior in hankel-k-space for parallel imaging reconstruction[J]. IEEE Transactions on Medical Imaging,2023,42:3431. DOI:10.1109/TMI.2023.3288219

DARESTANI M Z, HECKEL R. Accelerated MRI with un-trained neural networks[J]. IEEE Transactions on Computational Imaging,2021(7):724. DOI:10.1109/TCI.2021.3097596

CUI Zhuoxu, JIA Sen, CAO Chentao,et al. K-UNN:k-space interpolation with untrained neural network[J]. Medical Image Analysis,2023,88:102877. DOI:10.1016/j.media.2023.102877

YAMAN B. Zero-shot self-supervised learning for MRI reconstruction[C]//International Conference on Learning Representations. Cormell: Cornell Universiy,2022

BLAIMER M, GUTBERLET M, KELLMAN P,et al. Virtual coil concept for improved parallel MRI employing conjugate symmetric signals[J]. Magnetic Resonance in Medicine,2009,61(1):93. DOI:10.1002/mrm.21652

KNOLL F, ZBONTAR J, SRIRAM A,et al.fastMRI:a publicly available raw k-space and DICOM dataset of knee images for accelerated MR image reconstruction using machine learning[J]. Radiology,2020,2(1):e190007. DOI:10.1148/ryai.2020190007

出版声明

期刊订阅

1 模型与方法

2 实验及结果分析

3 结论