作为人体血液循环系统的重要组成部分，心脏为人体血流提供动力，为维持人体生命体征起着至关重要的作用。《中国心血管报告2018》指出，包括冠心病、高血压、心力衰竭、心率失常、心肌梗死和房颤等在内的心脏病诊疗已成为重大公共健康卫生问题。医学成像技术的发展，使得以非侵入方式获得活体心脏组织的结构影像成为现实。对心脏影像进行智能分析对心脏疾病的检测、诊断与治疗起着重要作用。

然而，受活体心跳影响与成像原理约束，心脏磁共振(cardiac magnetic resonance, CMR)成像难且慢。现有技术通过欠采样(under sampled)重建，加快成像速度，但对影像质量产生负面影响。成像设备需在较短时间内实现心脏影像信息采集与高质量重建。这给心脏高分辨率成像带来挑战。一种可行的解决办法是设备成像时尽可能保证时间性能，在由容许误差决定的成像时间内生成细节特征尽可能完整的心脏影像，此时为低分辨率(low-resolution, LR)心脏影像。然后采用后处理超分辨率(super-resolution, SR)重建技术进一步提升心脏影像分辨率，进而改善影像质量。SR重建技术可显著提高心脏影像分辨率，进而解决为获取高分辨率心脏影像需要较长成像时间的问题。SR重建技术可为心脏病筛查与诊断提供高分辨率(high-resolution, HR)影像，进而降低诊断难度，提升诊断效率。因此，自Harris(1964)首次提出SR的概念后，陆续衍生出基于重构与样本学习的SR技术。但是，这些较为传统的方法普遍难以恢复心脏影像的高频细节，从而导致重建后的心脏影像更加模糊。另外，这些方法普遍存在计算复杂、实时性差，且不能满足大因子(8倍及以上)缩放需求的问题，为心脏影像智能分析带来困难。深度学习技术在医学影像处理领域展现出强大生命力，基于深度学习的SR技术因其强大的学习能力与数据驱动性，在心脏影像SR重建领域中表现出明显优于传统方法的性能，已成为研究热点。

本文以“心脏”、“超分辨率”、“深度学习”为全文搜索关键词，通过谷歌学术、中国知网以及DBLP(database systems and logic programming)文献数据库查阅近5年发表的基于深度学习模型实现心脏影像SR重建的学术文献。共搜索到如表 1所示的13篇文献，本文分别从心脏影像来源与规模、SR方法评价标准、SR方法的特色和SR技术的应用4个视角对深度学习技术在心脏影像SR领域的现状进行梳理总结，便于感兴趣的读者了解领域内的研究现状与发展趋势。

随着医学领域信息化的不断深入，医学影像数据也越来越丰富，文献集中处理的心脏影像主要源于公开心脏影像集与合作医疗机构。具体地，文献中用于训练、验证SR网络模型的数据集主要包括：

1) MICCAI2009心脏MR左心室分割挑战赛数据集(https://www.midasjournal.org/browse/journal/49)。该数据集包含45幅来自不同患者和病理的电影稳态自由进动(steady state free precession, SSFP)CMRI，是由心脏病学家确定的舒张末期和收缩末期的手动分段。Mahapatra和Bozorgtabar (2019)使用此数据集训练并验证提出的SR网络模型。

2) Kaggle第2届数据科学碗心脏挑战赛数据集(https://www.kaggle.com/c/second-annual-data-science-bowl/data)。该数据集中包含数百幅电影CMR 2维影像，每幅2维影像包含约30个时间序列，对应1个心跳周期。其中，所有影像均是屏息状态下获得。Lin等人(2020)、Basty和Grau (2018)用此数据集训练并验证提出的SR网络模型。

3) 英国数码心脏计划数据集(UK digital heart project)(https://digital-heart.org/)。该数据集中共含有1 200对LR心脏短轴2维与HR 3维电影CMRI。所有影像对均来自健康活体扫描。其中，心脏短轴2维序列在不同屏气状态下采集得到，故影像中可能存在运动伪影。LR心脏短轴2维序列与HR 3维影像的体分辨率分别为1.25×1.25×10.00 mm与1.25×1.25×2.00 mm，即数据集建立的初衷是实现分辨率5倍提升。Oktay等人(2018)用此数据集训练并验证提出的SR网络模型。

4) MICCAI2017自动心脏诊断挑战数据集(automated cardiac diagnosis challenge, ACDC)(https://acdc.creatis.insa-lyon.fr/description/databases.html)。该数据集由对100名患者扫描获得的心脏短轴CMR影像构成，均匀分布于心功能正常、扩张型心肌病、肥厚型心肌病、心力衰竭伴梗塞和右心室异常5组中。Lin等人(2020)、Sander等人(2020)用此数据集训练并验证提出的SR网络模型。

5) 院方合作且未公开具体来源的心脏影像集。除以上心脏影像集外，部分文献用于训练、验证SR网络模型的心脏影像来自于合作医疗机构或模拟数据集，并未在线公开。Steeden等人(2020)、Kobayashi等人(2020)、Masutani等人(2020)、Giannakidis等人(2017)用被支持的医疗机构提供的心脏影像训练并验证提出的SR网络模型；Ferdian等人(2020)采用计算流体动力学模型构建的模拟4D心血管流数据，训练、验证提出的SR网络模型。

基于重建影像质量定义标准评价指标，可量化评价SR重建方法的性能，进而可有效减少选择SR方法的盲目性, 对于新方法研发起到指导作用。就自然图像SR重建来说，常用的SR评价标准有峰值信噪比、结构相似性等，这些评价标准也广泛应用于心脏影像SR重建方法评价。除此之外，在心脏影像SR重建领域，包括射血分数、心室容积等心脏功能参数以及对于心脏影像分割的精度在内的指标，也用于评价SR重建质量。因此，本文将心脏SR重建方法性能评价指标分为重建影像质量评价、心脏功能评价以及心脏分割效果评价3类。

复用自然图像SR重建主流性能评价指标：

1) 均方误差(mean-square error, MSE)。均方误差是反映估计量与被估计量之间差异程度的一种度量。对于心脏影像SR重建来说，重建结果为估计量$\boldsymbol{I}$，真实的HR影像为被估计量$\boldsymbol{J}$，则心脏SR重建与真实HR影像像素间的MSE定义为

$ MSE = \frac{1}{{mn}}\sum\limits_{i = 1}^m {\mathop \sum \limits_{j = 1}^n } {[I(i, j) - J(i, j)]^2} $

(1)

式中，$m$、$n$表示心脏影像尺寸，$I(i, j)$、$J(i, j)$分别表示重建影像与参考HR影像在像素$(i, j)$处的灰度值。显然，当MSE取值较小时，心脏SR重建影像失真少，质量好。Steeden等人(2020)、Kobayashi等人(2020)采用MSE评价提出的SR重建方法的性能。

2) 峰值信噪比(peak signal-to-noise ratio, PSNR)。作为SR重建性能评价出现频率较高的指标，峰值信噪比用于衡量心脏SR重建影像失真或噪声水平。由MSE对心脏SR重建影像失真程度的定量描述，定义为

$ PSNR = 10 \times \lg \frac{{{{\left({{2^n} - 1} \right)}^2}}}{{MSE}} $

(2)

式中，$n$为像素灰度值的比特数，$MSE$为参考HR影像与SR重建影像之间的均方误差值。PSNR的单位为dB，且PSNR值越大，心脏SR重建影像失真越少，重建质量越好。Lin等人(2020)、Basty和Grau(2018)、Mahapatra和Bozorgtabar (2019)、Zhao等人(2020)、Oktay等人(2016)、Zhao等人(2019)、Sander等人(2020)、Giannakidis等人(2017)采用PSNR评价提出的SR方法的性能。

3) 结构相似性(structual similarity, SSIM)。结构相似性用于衡量心脏SR重建影像与参考HR影像之间的相似度，在心脏SR影像重建方法的性能评价中同样起重要作用。令$\mu_{I}$与$\mu_{J}$分别为SR影像与HR影像的灰度均值，$\sigma^{2}_{I}$、$\sigma^{2}_{J}$与$\sigma_{IJ}$分别为SR影像与HR影像的灰度方差与协方差，则

$ SSIM(\mathit{\boldsymbol{I}}, \mathit{\boldsymbol{J}}) = \frac{{\left({2{\mu _I}{\mu _J} + {c_1}} \right)\left({2{\sigma _{IJ}} + {c_2}} \right)}}{{\left({\mu _I^2 + \mu _J^2 + {c_1}} \right)\left({\sigma _I^2 + \sigma _J^2 + {c_2}} \right)}} $

(3)

式中，$c_{1}=(k_{1}L)^{2}$，$c_{2}=(k_{2}L)^{2}$为控制因子。通常地，$k_{1}$与$k_{2}$分别取0.01与0.03，$L$为灰度取值范围：$2^{n}-1$。不难验证，SSIM的取值范围为-1到1，且SSIM值越趋近于1，则SR重建影像与HR影像的相似度越高，即SR重建效果越好。表 1中除Ferdian等人(2020)的方法，其他文献都采用了SSIM评价提出的SR方法的性能。

4) 每秒帧速率(frames per second, FPS)。与以上指标均关注SR重建影像的质量不同，每秒帧速率用于评价SR重建方法的时间性能。FPS取值较大时，代表对应的SR重建方法能够在较短的时间内处理生成更多的心脏SR影像，效率更高。Lin等人(2020)采用FPS评价提出的SR方法的性能。

除复用自然图像SR重建主流性能评价指标之外，因心脏影像SR重建的根本目的是提升后续影像智能分析性能，测量重建影像中血管直径、心室容积以及射血分数等心脏功能指数，故检验SR重建影像与参考HR影像的心功能指数的差异性已广泛用于心脏影像SR重建性能评价(Steeden等人(2020)、Oktay等人(2016)、Masutani等人(2020))。

1) 管径测量。血管直径测量值可用于验证心脏SR重建影像相较于HR影像在血管显示上有无明显失真。测量对象包括升主动脉、降主动脉、主肺动脉、右肺动脉、左肺动脉和近端左冠状动脉。测量手段为临床医生基于多平面重建技术进行手动测量。对分别由SR影像和HR影像测量的结果采用Bland-Altman方法进行一致性分析：分别计算两组测量值中对应值的差值，记差值的均值为$\mu$，差值的标准差为$S$。若两组血管直径测量值的差值服从正态分布，则95%的差值落在一致性界限区间[$\mu-1.96S$, $\mu+1.96S$]内。若绝大多数血管直径差值位于一致性界限内，则表示这两组血管直径测量值具有较好的一致性，对应的SR重建影像与HR影像在血管直径估计方面一致性较好。Steeden等人(2020)用此指标评价提出的SR方法的性能。

2) 左心室容积与组间心肌表面的豪斯多夫距离。作为心脏的重要组成部分，心室功能评价意义重大。左心室(left ventricle, LV)容积与心肌(myocardium, MYO)表面距离估计可用于验证心脏SR重建影像相较于HR影像在心功能评估方向上是否存在明显差异。为计算上述两个指标，通常需要将心室内外膜边界标记出来。左心室容积定义为内膜边界内体素的和。豪斯多夫距离定义为边界曲线点集之间的距离度量。具体地，若SR重建影像中边界曲线点集为$\boldsymbol{A}$={$\boldsymbol{a}_{1}$, $\boldsymbol{a}_{2}$, …}，HR影像中对应边界曲线点集为$\boldsymbol{B}$={$\boldsymbol{b}_{1}$, $\boldsymbol{b}_{2}$, …}，则豪斯多夫距离定义为

$ H(\mathit{\boldsymbol{A}}, \mathit{\boldsymbol{B}}) = \max [h(\mathit{\boldsymbol{A}}, \mathit{\boldsymbol{B}}), h(\mathit{\boldsymbol{B}}, \mathit{\boldsymbol{A}})] $

(4)

$ h(\mathit{\boldsymbol{A}}, \mathit{\boldsymbol{B}}) = \mathop {\max }\limits_{a \in \mathit{\boldsymbol{A}}} \mathop {\min }\limits_{b \in \mathit{\boldsymbol{B}}} \left\| {\mathit{\boldsymbol{a}} - \mathit{\boldsymbol{b}}} \right\| $

(5)

$ h(\mathit{\boldsymbol{B}}, \mathit{\boldsymbol{A}}) = \mathop {\max }\limits_{b \in \mathit{\boldsymbol{B}}} \mathop {\min }\limits_{a \in \mathit{\boldsymbol{A}}} \left\| {\mathit{\boldsymbol{b}} - \mathit{\boldsymbol{a}}} \right\| $

(6)

显然，SR重建影像中测得的LV容积与参考HR影像中测量的LV值越接近，且对应的豪斯多夫距离越小，则表明SR重建影像与参考HR影像在心室容积评估与心肌表面距离测试方面一致性越好。Oktay等人(2016)采用以上两个指标评价提出的SR方法的性能。

3) 左心室心博量与射血分数差值的配对t检验。左心室心博量(left ventricle stroke volume, LV SV)与射血分数(ejection fraction, EF)可用于检验SR重建影像相较于参考HR影像在心功能评估方面是否存在评估偏差。对测量后的两组心功能参数，进行配对t检验，检测两组测量值的均值是否存在显著性差异。配对t检验统计量为

$ t = \frac{{\mu - {\mu _0}}}{{S\sqrt n }} $

(7)

式中，$\mu$为两组测量值均值之差，零假设即$\mu_{0}=0$，$n$为配对测量的数量。显然，该统计量服从自由度为$n－1$的t分布。计算$p$值，判断是否达到显著水平。$p$值小于显著性水平，则接受零假设。此时，SR重建影像重建效果好，对心脏功能评估影响小。Masutani等人(2020)采用以上指标评价提出的SR方法的性能。

Dice系数。通过比较Dice系数可检测对心脏SR重建影像与HR影像分割的精度是否存在差异。对SR重建影像与HR影像基于同一分割方法分割，常见的方法有基于U-Net、多图谱的心脏分割方法。分别计算相对于金标准分割图像的Dice系数，最后比较系数差异。具体地，若金标准分割图像为$\boldsymbol{X}$，对SR与HR影像分割得到的图像为$\boldsymbol{Y}$，则Dice系数定义为

$ s = \frac{{2|\mathit{\boldsymbol{X}} \cap \mathit{\boldsymbol{Y}}|}}{{|\mathit{\boldsymbol{X}}| + |\mathit{\boldsymbol{Y}}|}} $

(8)

式中，$|·|$操作表示求区域内所有像素点的个数。Dice系数的取值范围为0~1，Dice系数的值越趋近于1，则代表分割的精度越高。当对SR影像分割的Dice系数与HR影像Dice系数越接近时，则表明SR重建影像与HR影像在心脏分割的精度一致性越好，即SR重建效果越好。Mahapatra和Bozorgtabar (2019)采用以上指标评价提出的SR方法的性能。

虽然临床上可用于心脏病诊断的影像模态包括计算机断层扫描(computed tomography, CT)、超声(ultrasound, US)、MR等多种模态，表 1所列的13篇基于深度学习模型的心脏影像SR重建文献均基于MR模态。根据不同的临床分析需求，可以提升心脏影像的时间分辨率或空间分辨率，本文所分析总结的文献中的CMR SR重建方法都为提升心脏影像的空间分辨率，即层间与层内分辨率。本文基于深度学习模型处理心脏影像维度的不同，将其分为CMR 2维超分辨率重建、CMR 3维超分辨率重建，以及其他维度的CMR超分辨率重建3类。

Mahapatra和Bozorgtabar (2019)提出一个基于逐步生成对抗网络(progressive generative adversarial networks, p-GANs)的CMR SR重建方法，p-GANs网络结构如图 1所示，图 1中$G_{1}$与$D_{1}$，$G_{2}$与$D_{2}$对应两组用于2×分辨率提升任务的生成器与鉴别器。生成器与鉴别器网络结构如图 2所示。该方法以CMR 2维影像为操作对象，用三元组损失函数，将上一阶段的重建结果作为基准，逐阶段提升影像分辨率。每阶段分辨率提升2倍，满足了大因子缩放的需求。该方法解决了低分辨率下CMR影像中心脏组织的微小病变难以检测以及对于CMR影像分割精度不足的问题。为评估提出方法的性能，Mahapatra和Bozorgtabar (2019)采用MICCAI 2009心脏MR左心室分割挑战赛数据集中的150幅心脏SSFP短轴影像作为心脏HR影像。LR影像通过对HR影像施以高斯滤波后，降采样获得。将150幅影像扩展生成75 000幅影像用于训练。实验结果表明，4倍缩放因子下，重建影像较传统卷积神经网络(convolutional neural network, CNN)方法(Dong等，2016)PSNR指标提升11 dB左右，达到43.7 dB；SSIM系数达到0.83，高于传统CNN SR方法的0.69。

Zhao等人(2020)提出结合拉普拉斯金字塔的生成对抗网络(Laplacian pyramid based on generative adversarial network, LSRGAN)实现CMR 2维SR重建。该方法与p-GANs类似，影像分辨率提升为渐近式，实现了高缩放因子(16×)下心脏影像SR重建。该方法实现SR重建的过程如图 3所示。其中，拉普拉斯金字塔有利于不同分辨率下高频信息的保留。除此之外，LSRGAN生成器网络中引入如图 4所示的残差—稠密块(residual dense block, RDB)作为基础网络原件，用于进一步保证重建影像质量。该方法抑制了心脏影像经SR重建后常出现的伪影。为评估提出方法的性能，Zhao等人(2020)将来自于64位患者的2 560幅CMR影像作为HR影像。LR影像由对HR影像进行双三次插值后下采样得到。实验结果表明，引入16个RDB后网络模型的整体PSNR系数达到31.3 dB，相较于仅使用残差块的网络提升0.2 dB。结合拉普拉斯金字塔结构后，重建PSNR系数达到27.1 dB，较之前提升0.6 dB。SSIM系数达到了0.74，提升0.04。但是，由于LSRGAN网络结构复杂度较高，该方法的SR重建速度较慢。

Kobayashi等人(2020)采用CNN实现全心冠动脉MR血管造影2维SR重建。该方法解决了全心冠动脉MR影像中冠状动脉组织处分辨率不足的问题。为评估提出方法的性能，Kobayashi等人(2020)将合作院方提供的80例患者影像均分为两部分，一半用作训练，一半用作测试。实验结果表明，提出模型深度为3时重建效果最好。与参考HR影像相比，提出方法重建影像的MSE值为7.07，PSNR系数与SSIM系数分别为39.41 dB与0.998。但是，提出方法参数调优基于12组给定超参数，存在模型参数非最优的风险。

Zhao等人(2019)提出基于加强的深度残差网络(enhanced deep residual network, EDSR)(Lim等，2017)的综合多方向分辨率增强(synthetic multi-orientation resolution enhancement, SMORE)方法，用于提升猪的CMR影像层间分辨率。方法利用已有层内HR影像构建的LR/HR影像对训练模型，以自学习形式实现CMR影像的SR重建，在不借助外界图谱或样本的同时实现了心脏影像的抗锯齿化。解决了心肌梗死的心脏影像中心肌、瘢痕的边界细节不清晰的问题。Zhao等人(2019)采用两头猪的T1加权影像序列评估SMORE方法的性能。实验结果表明，SSIM系数达到0.514 6，优于sinc插值的0.507 0。PSNR系数低于sinc插值法0.5 dB，为28.881 6 dB。但是，SMORE方法的性能受影像层内分辨率影响较大，且对含呼吸伪影的影像重建效果不佳。

Sander等人(2020)提出如图 5所示的基于无监督学习的SR重建方法，图中$\boldsymbol{X}_{n}$、$\boldsymbol{X}_{n+1}$为CMR影像中相邻的切片，$\boldsymbol{Z}_{n}$、$\boldsymbol{Z}_{n+1}$对应其在编码器潜空间的表示。$\boldsymbol{Z}_{α}$($\boldsymbol{Z}_{n}$, $\boldsymbol{Z}_{n+1}$)为对切片插值后的表示，$\boldsymbol{X}^{n, n+1}_{α}$为方法最终合成的中间切片。方法基于自编码器(auto encoder, AE)的空间插值能力训练各向异性的心脏影像，对相邻切片插值进而提升层间分辨率。解决了SR方法训练所需的各向同性的HR心脏影像难以采集的问题。为评估提出方法的性能，Sander等人(2020)将MICCAI 2017自动心脏诊断数据集中的100例短轴CMR影像序列中70例用于自编码器训练，30例用于模型验证。数据集中的影像作为HR影像，隔层去除部分切片构建LR影像。实验结果表明，提出方法的重建影像与HR影像的SSIM系数达到0.85，高于线性插值方法0.02。PSNR系数达到28 dB，高于线性插值方法4 dB。

Basty和Grau(2018)提出基于U-Net与长短期记忆网络(long short-term memory, LSTM)的模型，网络结构如图 6所示。模型用于实现心脏长轴电影MR影像的SR重建，与Steeden等人(2020)的3层U-Net不同，Basty和Grau(2018)的U-Net为5层2维卷积。其中模型前两层中LSTM能更好地提取电影MR影像序列的时间信息从而改善重建影像质量。方法解决了由于心跳导致的心脏影像序列的SR重建效果不佳的问题。为评估方法的性能，Basty和Grau(2018)将Kaggle第2届数据科学院心脏挑战赛数据集中的长轴心脏影像用作HR影像，对HR影像降采样后进行立方插值获得对应的LR影像。为保证精度，训练集中包含3 000对LR/HR影像。采用171对LR/HR影像验证模型性能。实验表明，PSNR系数达到26.57 dB，SSIM系数达到0.81，均高于常规U-Net的25.23 dB与0.77。但是，模型重建精度易受影像伪影以及影像间灰度不匹配问题的影响。

Lin等人(2020)提出基于常规卷积层与LSTM的端到端网络模型用于CMR视频影像SR重建。网络的结构图如图 7所示。方法结合心脏周期的相关概念，提出用于提取时间信息的阶段融合模型。该方法基于残差学习方案逐步细化恢复残差，并采用分治的思想，具有根据任务难度调整迭代细化的自适应能力。方法解决了心跳导致的重建影像质量不佳问题。为评估网络模型的性能，Lin等人(2020)采用MICCAI 2017自动心脏诊断挑战数据集中的150例4维CMR影像与Kaggle第2届数据科学碗心脏挑战赛数据集中的440例电影CMR作为HR影像。对HR影像进行傅里叶变换，然后滤去高频信息，进行反傅里叶变换再降采样构建LR影像。实验结果表明，模型在两个数据集上的PSNR与SSIM分别达到30.41 dB/0.866 8与30.91 dB/0.895 6，并获得了较高的FPS(frames per second)，效率与性能上达到了较好的平衡。

综上所述，多数CMR 2维SR重建方法可以在较短的时间内实现心脏影像SR重建，且能保证SR重建质量，而且领域内可供分析的心脏影像数据充足，但普遍方法对于心脏结构信息考虑较少。

为解决HR 3维CMR SSFP影像序列成像时间长的问题，Steeden等人(2020)提出基于残差U-Net的网络模型，用于实现心脏影像序列的SR重建。网络基于3维卷积，其结构如图 8所示。方法利用多尺度下的残差学习实现了SR重建的加速。为评估网络模型的性能，Steeden等人(2020)采用合作院方医疗机构提供的500例患有小儿心脏病或先天性心脏病儿童或成人影像序列作为HR影像。LR影像通过傅里叶变换方法由HR影像构建。实验结果表明，模型SR重建影像与HR影像的SSIM系数达到0.96±0.01，MSE系数达到0.68±0.000 45。除此之外，Steeden等人(2020)测量了影像中血管管径，并计算获得测量差值的一致性界限[-2.0, 2.0]，且几乎所有差值都落于此区间。结果表明，SR重建影像与HR影像在血管直径估计方面一致性较好。但是，训练集中无罕见先天性心脏缺陷的代表性影像，可能导致方法普适性不强，且模型易受心跳影响。

Oktay等人(2016)提出用于心脏长/短轴MR影像序列SR重建的深层残差网络SC-CNN(single image channel CNN)模型。网络结构如图 9所示。其中，在升采样阶段使用反卷积层代替固定的卷积层，使网络具有更好的数据自适应性。采用3×3×3尺寸卷积核，以及增加深度的方式提升网络性能。方法旨在解决3维CMR影像成像时间长的问题。为评估网络性能，Oktay等人(2016)将1 080例3维CMR短轴影像序列作为HR影像。通过转换模型(Greenspan，2009)构造LR影像。训练集与测试集规模分别为930与150。实验结果表明，提出的7层SC-CNN模型PSNR达到24.45±1.20 dB，SSIM系数达到0.88±0.02。相较于浅层CNN取得更好的重建质量。

晚期钆增强的CMR(late gadolinium enhancement CMR, LGE-CMR)技术可用于区分正常与病变的心肌组织, 从而进行病理分析，然而常见临床LGE-CMR影像为2维各向异性的序列，存在层间分辨率不足的问题，为解决该问题，Giannakidis等人(2017)将SC-CNN模型用于3维LGE-CMR影像的SR重建，提升了心脏影像的层间分辨率，模型深度为6。Giannakidis等人(2017)将28位成人先天性心脏病患者的扫描影像作为HR影像。LR影像采用Greenspan(2009)和Gholipour等人(2010)给出的方法降采样HR影像获得。实验结果表明，提出方法在数据集上的PSNR系数达到40.1 dB，SSIM系数达到0.94，优于基于多图谱像素块匹配的SR方法(Shi等，2013)的36.7 dB与0.91。

为进一步提升心脏影像的SR重建质量，Oktay等人(2016)将SC-CNN网络进一步扩展为支持多输入通道的残差网络(muti-image channel CNN, MC-CNN)，通过借鉴孪生神经网络(Bromley等，1993)的思想，支持不同成像平面(长轴与短轴)CMR序列多通道输入，以获得更多的图像特征。为评估网络模型性能，Oktay等人(2016)将1 233位健康成人CMR电影序列中舒张末期影像作为HR影像，LR影像基于降采样转换模型(Greenspan，2009)获得。训练集与测试集规模为143与10。SR重建质量对比如表 2所示，MC-CNN模型相较于SC-CNN模型在PSNR系数上有0.5 dB的提升，达到25.26 dB；在SSIM系数上有0.01的提升，达到0.818。MC-CNN模型有较高的自由度，相较于孪生网络模型重建质量更好，但模型复杂度较高，需要较长的训练时间。最后，Oktay等人(2016)测量了18例SR重建短轴影像的左心室(LV)容积与心肌(MYO)距离，并计算与参考HR影像测量值间的豪斯多夫距离，用以评价SR重建影像在心脏功能评估方面的表现。其中，MYO分割采用多图谱分割方法(Bai等，2013)实现。重建影像心脏功能评价如表 3所示。结果表明，CNN模型重建影像与HR影像在心功能评估方面无明显差异。但是，不同成像平面间的错位问题，可能导致MC-CNN模型SR重建质量变差。

结合器官的形状与位置的先验知识是提高图像分析性能的关键，Oktay等人(2018)提出基于一种新正则化模式的训练策略，将心脏先验知识融入到CNN中，结合该策略的网络称为解剖结构约束的神经网络(anatomically constrained neural network, ACNN)。Oktay等人(2018)通过自编码器与预测网络结合提出T-L正则化模型，模型结构如图 10所示。模型学习得到该隐藏表示空间由影像标签空间与强度空间的映射获取，使SR网络模型训练过程中能更多地学习影像的全局信息而不只局限于像素级信息。方法很好地抑制了由呼吸、切片分辨率不足等因素导致的运动伪影对临床分析造成的影响。为评估ACNN模型的性能，Oktay等人(2018)采用英国数码心脏计划数据集所提供的共1 200对CMR短轴序列作为HR/LR心脏影像。其中，1 000对用于训练，200对用于测试。实验结果表明，相比于MC-CNN模型，ACNN在SSIM系数上有0.013的提升，达到0.796。同时，ACNN模型的时间性能是MC-CNN模型的5倍。

Masutani等人(2020)分析了4种CMR影像SR重建网络模型(Retson等，2019；Chartrand等，2017；Zhu等，2019)的性能。网络为作用于CMR影像的单帧与多帧处理浅层CNN(k-SRNet与kt-SRNet)与深层U-Net(k-UNet与kt-UNet)；其中，kt-SRNet与kt-UNet基于3维卷积，提取输入影像的时间特性。Masutani等人(2020)采用合作院方提供的367位患者的短轴CMR影像序列作为HR影像。LR影像通过对HR影像傅里叶变换后降采样获得。70%用于训练，30%用于验证。实验结果表明，99.2%的重建影像均是深度模型，质量更高。浅层CNN与深层U-Net的SR重建性能对比如表 4所示。结果表明，深层网络SSIM系数更好，影像重建质量更高，但优势并不显著。除此之外，Masutani等人(2020)测量了10位临床患者CMR影像的LV容积、LV SV与LV EF，并检验是否与参考值存在偏差，测量与检验结果如表 5所示。结果表明，SR重建影像在LV容积和LV EF等值上与HR参考值没有显著性差异。

综上，CMR 3维SR重建方法引入3维卷积，使得方法更好地考虑了心脏的空间结构，结合了心脏影像相邻帧间信息进行分析。部分方法相较于CMR 2维SR重建方法取得了更好的SR重建效果。但是，方法分析的心脏影像数据量少且大多未公开，而且方法更大的感受域增加了计算量，一定程度上降低了时间性能。

4D MR血流成像是一种新兴的成像技术，其能获取全体积覆盖的时空3维血流速度，有助对心脏与大血管的血流动力学参数的定量、定性分析。Ferdian等人(2020)提出一种SR深度学习方法用于提升4D MR血流成像的空间分辨率并去除噪声。与SRGAN中的生成器(Ledig等，2017)结构相似，提出的模型是深度残差网络，其结构如图 11所示。网络包含血流速度与血管结构双通道输入，其中血流速度分量分别来自$x$、$y$、$z$ 3个方向。方法解决了由4D血流数据分辨率不足与噪声对患者血流评估造成影响的问题，为评估提出模型的性能，Ferdian等人(2020)使用计算流体动力力学(computational fluid dynamics, CFD)模型(Rispoli等，2015)模拟得到4D血流数据作为HR影像。LR影像通过对HR影像在傅里叶变换后的频域进行降采样并添加高斯噪声获得。评价指标为相对速度误差(relative speed error, RSE)。实验结果表明，提出模型在高速与低速血流速度下的RSE系数分别为7.05%与23.16%，均有较高的重建质量。Ferdian等人(2020)还通过志愿者扫描数据验证提出模型的性能，血流速度在3个方向的误差分别为2.6%、-1.1%与-4.8%。

Ferdian等人(2020)实现的4D血流数据的SR重建方法有着一定研究意义，满足了临床分析中高分辨率、去噪的需求。但可供做SR分析研究的数据量相对于2维、3维重建方法小，且由于数据维度的提升，计算量会相应增大，目前对于更高维度CMR影像SR重建的研究相对较少，仍是值得深入探索研究的方向。

SR重建技术为解决成像质量与设备扫描时间之间的矛盾提供了一条有效途径。凭借优于传统方法的表达能力，基于深度学习的SR技术在这一领域取得了不错的成绩。高分辨率影像有助于对后续心脏影像进行智能分析，对心脏病筛查与诊断起着重要作用。

Steeden等人(2020)将基于3D U-Net的SR方法应用于SSFP影像序列，重建后的影像质量优于传统SR重建影像和LR影像，能更准确地描述心脏和血管的解剖结构，对先天性心脏疾病的诊断与治疗有很大帮助。Giannakidis等人(2017)将基于CNN的SR方法应用于LGE-CMR影像集，获得高质量LGE-CMR影像，能更真实地描述心肌的瘢痕特征，从而更准确地对心脏病理进行风险分层和指导干预。Ferdian等人(2020)将4D流网络模型应用于4D流数据集，快速准确地获得重建4D流数据，在去噪的同时清晰显示了流体与非流体间的边界，能更好地计算血流参数，进而评价患者体内血流情况。

基于深度学习的SR技术有助于提升心脏组织分割精度，相较于LR心脏影像，基于SR重建影像可获得更准确的分割结果，对心脏疾病检测与诊断精度的提升有重大意义。Mahapatra和Bozorgtabar (2019)基于SR重建SSFP影像，采用U-Net模型，实现LV分割。结果表明，相较于LR影像分割结果，Dice由83.4%提升至90.1%，低于标准HR影像(长时间扫描获得)分割的Dice系数1.2%。Oktay等人(2016)基于SR重建后的短轴CMR影像，采用多图谱方法(Bai等，2013)，实现MYO分割。结果表明，由HR影像与SR重建影像获得MYO分割结果的边界豪斯多夫距离仅为4.73±1.03 mm，相较于LR/HR影像的5.50±1.08 mm更加准确。综上，基于深度学习的SR技术有助于提升心脏组织分割精度。

除按影像维度组织CMR SR重建方法以外，从其他角度组织也是可行的。例如，根据方法所基于的不同网络模型，比较U-Net、GAN、LSTM、Res-Net等不同模型在CMR SR重建的性能差异。通过比较方法是否结合了时序信息，可探究时序信息对CMR SR重建性能的影响。对于HR影像退化处理构造LR影像的方法，可按退化方法不同，分为基于插值函数退化、基于傅里叶域退化以及手动筛除切片退化的方法等。

有必要说明的是，仍有大量基于深度学习模型的非心脏影像重建的代表性方法，对心脏影像的SR重建有借鉴意义。例如Peng等人(2020)提出的一种空间感知的插值网络(spatially aware interpolation network, SAINT)用于提升肝脏、结肠等部位影像的层间分辨率，取得了优秀的重建效果。对于同样层间切片数少的LR心脏影像而言，将SAINT用于影像SR重建是有意义的。Sui等人(2020)提出了一种学习梯度先验信息用于指导脑部影像的各向同性SR重建方法，在SR重建各向同性的HR心脏影像时同样可引入梯度先验信息以提高重建质量。Chen等人(2020)提出了结合空间与小波域的双流SR网络(spatial wavelet super-resolution network, SWD-Net)用于提升淋巴结组织影像的分辨率，可将SWD-Net用于心脏影像SR重建来满足医疗诊断中所需的高层内分辨率。柏正尧和陶劲宇(2022)提出了基于伪3D可分离卷积的脑部MR影像的SR重建方法。方法通过伪3D卷积代替传统3D卷积，在保证SR重建质量的同时降低模型参数量与计算复杂度，并缓解了3维SR重建方法对于数据量的需求。Zhou和Zhou(2020)提出了双域循环网络(dual domain recurrent network, DuDoRNet)，在T1先验基础上，结合图像域和k空间域实现MR快速重建。该方法同样可用于心脏影像SR重建，在影像空间域重建以外，确保k空间域的一致性以进一步提升SR重建质量，同时循环学习可缓解过拟合问题。

另外有必要指出的是，值得心脏影像SR重建借鉴的方法不仅限于医学影像SR重建方法，计算机视觉(computer vision, CV)领域前沿SR技术对于CMR SR重建同样有借鉴意义，例如，深度CNN在视频超分辨率(vedio SR, VSR)重建任务中表现出良好的效率与效果，Tian等人(2020)提出的时域可变的配准网络(temporally-deformable alignment network, TDAN)，以及Xiang等人(2020)提出基于LSTM与可变特征插值网络的单阶段VSR重建模型等。心脏的跳动特性使得心脏影像的VSR重建在临床诊断中同样至关重要，因此可与上述模型结合并应用于心脏影像SR重建。此外，可将心脏的周期性跳动作为先验知识(Lin等，2020)，进一步改善重建效果。真实场景SR重建是计算机视觉(CV) SR中活跃的研究方向之一，其对于训练数据不足、未知退化场景有着优秀的重建效果，例如Ji等人(2020)提出了基于退化核估计与噪声注入的精确退化框架RealSR，Bell-Kligler等人(2019)提出了基于KernelGAN获得真实的退化图像的无监督学习方法。在心脏影像的SR重建任务中，HR影像成像时间长、成本高，导致成对的训练数据难获取，且LR影像大多通过插值、抽层等退化手段获得，对真实退化场景以及噪声考虑不足。故可引入真实场景SR思想，但由于医学影像与自然图像的成像场景不同、医学影像没有颜色特征等原因，二者并未很好结合。近年来注意力机制广泛应用于各类CV任务中，成为先进网络模型中不可或缺的部分。Cai等人(2020)通过引入通道注意力机制(Hu等，2018)，提出基于残差通道注意力的GAN。通道注意力机制考虑特征通道间的相互依赖关系以产生更好的SR效果。周波等人(2021)在通道注意力机制(Hu等，2018)的基础上结合考虑空间层面信息，提出了区域级通道注意力下的图像超分辨率方法，能自适应地关注不同通道和不同空间区域上的信息，获得了更好的SR重建效果。Mei等人(2020)提出将非局部注意力机制(Wang等，2018)用于挖掘图像跨尺度特征相关性, 获取内部先验知识，提升模型性能。对于心脏影像SR重建方法而言，可在网络模型中引入注意力模块, 提升重建质量。

心脏影像SR重建有效地解决了成像质量与扫描时间的矛盾。相较于自然图像SR重建，心脏影像SR有其鲜明的特点: 1)评价指标更多样化、更目的化和更应用化；2)重建质量关注重点更局部化；3)训练数据获取更困难，数据量更少。

本文搜索并挑选了基于深度学习模型实现心脏影像SR重建的13篇学术文献，对心脏影像数据来源与规模、常用的评价指标进行了总结。对于文献中提出的网络模型，依据其操作影像数据的维度划分为3类，依次介绍模型的特色，给出模型结构图、模型数据集的构成，以及取得的性能评价结论。最后讨论了按其他维度组织SR重建方法的可行性与意义，以及对于心脏影像SR重建有借鉴意义的医学影像SR重建方法与CV SR前沿技术。

基于深度学习的心脏SR重建技术取得了较大进展，但在运动伪影抑制、模型简化程度与时间性能方面仍有进步空间，除此之外，现有模型基本完全依靠网络强大的表达能力，鲜有临床先验知识的引入，最后，模型间性能对比相对较少，且领域内缺少代表性的可用于评价不同心脏SR重建模型性能的数据集。综上，基于深度学习的SR技术在心脏影像SR重建领域仍有极大的发展空间。