《中国图象图形学报》编辑部

编者按

“深度学习+智慧医疗”专刊编者按 doi: 16-09-2021 23 11
摘要：编者按深度学习已经广泛应用于医学影像相关的各种任务中，并且取得了显著成效，为了探索国内外以深度学习为代表的方法和技术在现代医疗中的应用和发展前景，立足新一轮人工智能发展背景，《中国图象图形学报》邀请领域内优秀学者共同策划出版了“深度学习+智慧医疗”专刊，围绕临床医学中的应用需求，回顾和总结深度学习在医学影像中的应用，梳理最新的研究进展，思考亟待解决的科学问题，探索智慧医疗的未来发展方向。本专刊得到了相关研究领域专家和学者的热烈响应，为本专刊提供了丰富的优质稿源。经过严格的同行评审，“深度学习+智慧医疗”专刊共收录学术论文20篇，包括4篇“综述”、1篇“数据集论文”、6篇“计算机断层扫描图像”论文、5篇“磁共振图像”论文以及4篇“研究应用”论文。 “综述”《深度医学图像配准研究进展：迈向无监督学习》总结了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势,并按照网络训练过程中监督信息不断减少的思路系统性地分析深度医学图像配准领域的最新研究进展,比较不同方法的优势与挑战,并对未来研究趋势进行展望。《U-Net网络医学图像分割应用综述》从U-Net基本原理、U-Net模型改进、U-Net结构改进和网络改进的机制四个方面总结了U-Net及其在医学图像中的应用。《医学图像深度学习技术:从卷积到图卷积的发展》归纳和总结图结构视角下医学图像的专业采集、数据结构的剪枝转换以及特征聚类重构方法；图卷积网络的理论溯源，重要的网络架构和发展脉络；图卷积网络的优化方向和衍生出的跳跃连接、inception、图注意力等重要机制；图卷积网络在医学图像分割、疾病检测和图像重建等方面的实践应用。最后提出了图卷积网络在医学图像分析领域仍亟待突破的瓶颈问题。《多尺度变换像素级医学图像融合：研究进展、应用和挑战》阐述基于多尺度变换图像融合的基本原理和框架；以时间为序总结塔式分解，小波变换和多尺度几何分析方法的发展历程；围绕讨论通用的像素级融合框架：Zhang框架和Piella框架；总结11种跨模态医学图像融合方式；讨论该领域面临的主要挑战，并对未来的发展方向进行展望。 “数据集论文”《肺部影像解剖结构分割数据集及应用》创建了一个带标签的肺部CT 扫描影像数据集，对每组CT/CTA对应标注支气管、肺实质、肺叶和肺动静脉等4个不同的目标区域类别，补充了肺部CT影像解剖结构数据集的不足，为该领域的研究人员提供有效的数据集。我们期待广大读者和科技人员通过本期“深度学习+智慧医疗”专刊，能够广泛深入地了解当前AI+医学影像研究领域最新的技术和最前沿的应用方向，为我国智慧医疗发展做出新的贡献。

综述

深度医学图像配准研究进展：迈向无监督学习 马露凡，罗凤，严江鹏，徐哲，罗捷，李秀doi:10.11834/jig.200361 16-09-2021 18 8
摘要：在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中，将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展，基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文，系统地分析了深度医学图像配准领域的最新研究进展，展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说，本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上，以相关算法的网络训练过程中所使用的监督信息多少作为分类标准，将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息；双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖；无监督配准方法则完全消除对标注数据的需要，仅使用图像相似度损失和正则化损失监督网络训练。目前，无监督医学图像算法已经成为医学图像配准领域的研究重点，在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上，本文进一步讨论了医学图像配准研究后续可能的4个未来挑战，希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向，并推动深度医学图像配准技术在临床诊疗中落地应用。

U-Net网络医学图像分割应用综述 周涛，董雅丽，霍兵强，刘珊，马宗军doi:10.11834/jig.200704 16-09-2021 10 8
摘要：病灶精确分割对患者病情评估和治疗方案制定有重要意义，由于医学图像中病灶与周围组织的对比度低，同一疾病病灶边缘和形状存在很大差异，从而增加了分割难度。U-Net是近些年深度学习研究中的热点，为医生提供了一致性的量化病灶方法，一定程度上提高了分割性能，广泛应用于医学图像语义分割领域。本文对U-Net网络进行全面综述。阐述U-Net网络的基本结构和工作原理；从编码器个数、多个U-Net级联、与U-Net结合的其他模型以及3D U-Net等方面对U-Net网络模型的改进进行总结；从卷积操作、下采样操作、上采样操作、跳跃连接、模型优化策略和数据增强等方面对U-Net网络结构改进进行总结；从残差思想、密集思想、注意力机制和多机制组合等方面对U-Net的改进机制进行总结；对U-Net网络未来的发展方向进行展望。本文对U-Net网络的原理、结构和模型进行详细总结，对U-Net网络的发展具有一定积极意义。

医学图像深度学习技术:从卷积到图卷积的发展 唐朝生，胡超超，孙君顶，司马海峰doi:10.11834/jig.200666 16-09-2021 14 9
摘要：以卷积神经网络为代表的深度学习技术推动神经网络在医学图像研究领域不断实现新突破。然而，平移不变性等理论假设限制了卷积神经网络在非欧氏空间数据中的表达能力，是医学图像深度学习技术亟待突破的瓶颈。图卷积技术不仅能够解决非欧氏空间数据的拓扑建模难题，还实现了空间特征提取，是深度学习技术全新的研究方向。本文对图卷积网络在医学图像领域的相关理论及其应用进行综述，旨在系统归纳和全面总结医学图像领域最新的图卷积理论、方法和实践，包括图结构视角下医学图像的专业采集、数据结构的剪枝转换以及特征聚类重构方法；图卷积网络的理论溯源，重要的网络架构和发展脉络；图卷积网络的优化方向和衍生出的跳跃连接、inception、图注意力等重要机制；图卷积网络在医学图像分割、疾病检测和图像重建等方面的实践应用。最后，提出了图卷积网络在医学图像分析领域仍亟待突破的瓶颈问题：1）多模态医学图像学习中，异构图的构建与学习任务的优化；2）特征重构和池化过程中，如何通过构图算法设计与神经架构搜索算法结合，以实现最优图结构的可学习过程转换；3）高质量图结构医学标注数据的大规模低成本生成与生成对抗网络的算法设计。随着人工智能技术的不断发展和医学影像规模的不断扩大，以图卷积为代表的深度学习方法必将在医疗辅助诊断领域取得更大的突破。

多尺度变换像素级医学图像融合：研究进展、应用和挑战 周涛，刘珊，董雅丽，霍兵强，马宗军doi:10.11834/jig.200803 16-09-2021 9 6
摘要：基于多尺度变换的像素级图像融合是计算机视觉领域的研究热点，广泛应用于医学图像处理等领域。本文对多尺度变换的像素级图像融合进行综述，阐述多尺度变换图像融合的基本原理和框架。在多尺度分解方面，以时间为序梳理了塔式分解、小波变换和多尺度几何分析方法的发展历程。在融合规则方面，围绕Piella框架和Zhang框架，讨论通用的像素级图像融合框架；在低频子带融合规则方面，总结基于像素、区域、模糊理论、稀疏表示和聚焦测度的5种融合规则；在高频子带融合规则方面，综述基于像素、边缘、区域、稀疏表示和神经网络的5种融合规则。总结12种跨模态医学图像融合方式，讨论该领域面临的主要挑战，并对未来的发展方向进行展望。本文系统梳理了多尺度变换像素级图像融合过程中的多尺度分解方法和融合规则，以及多尺度变换在医学图像融合中的应用，对多尺度变换像素级医学图像融合方法的研究具有积极的指导意义。

数据集论文

肺部影像解剖结构分割数据集及应用 覃文军，李小硕，周庆华，刘盼，杨金柱doi:10.11834/jig.210130 16-09-2021 6 6
摘要：目的从影像中快速精准地分割出肺部解剖结构可以清晰直观地分辨各解剖结构间的关系，提供有效、客观的辅助诊断信息，大大提高医生的阅片效率并降低医生的工作量。随着影像分割算法的发展，越来越多的方法应用于分割肺部影像中感兴趣的解剖结构区域，但目前尚缺乏包含多种肺部精细解剖结构的影像数据集。本文创建了一个带标签的肺部CT/CTA （computer tomography/computer tomography angiography）影像数据集，以促进肺部解剖结构分割算法的发展。方法该数据集共标记了67组肺部CT/CTA影像，包括CT影像24组、CTA影像43组，共计切片图像26 157幅。每组CT/CTA有4个不同的目标区域类别，标记对应支气管、肺实质、肺叶、肺动脉和肺静脉。结果本文利用该数据集，用于肺部CT解剖结构分割医学影像挑战赛——2020年第四届国际图像计算与数字医学研讨会，该挑战赛提供了一个肺血管、支气管和肺实质的评估平台，通过Dice系数、过分割率、欠分割率、医学和算法行业专家对分割和3维重建效果进行了评估，目的是比较各种算法分割肺部解剖结构的性能。结论本文详细描述了包括支气管、肺实质、肺叶、肺动脉和肺静脉等解剖结构标签的肺部影像数据集和应用结果，为相关研究人员利用本数据集进行更深入的研究提供参考。

计算机断层扫描图像

LFSCA-UNet：基于空间与通道注意力机制的肝纤维化区域分割网络 陈弘扬，高敬阳，赵地，吴忌，陈金军，全显跃，李欣明，薛峰，周沐瑶，柏冰冰doi:10.11834/jig.210236 16-09-2021 28 10
摘要：目的肝纤维化是众多慢性肝脏疾病的常见表现，如不及时治疗可发展为肝硬化甚至引发肝癌。肝纤维化的准确评估对临床治疗和预后评估等至关重要。目前，肝纤维化的诊断通过肝穿活检判断，有创且有并发症危险。为此，基于影像学的无创诊断方法越来越受到关注。本文提出一种基于通道注意力与空间注意力机制改进的用于肝纤维化区域的自动化分割U-Net （liver fibrosis region segmentation network based on spatial and channel attention mechanisms，LFSCA-UNet）。方法依据Attention U-Net的改进方式，围绕U-Net的跳跃连接结构进行基于注意力的改进，在AG （attention gate）的基础上，加入以ECA （efficient channel attention）模块为实现方式的通道注意力机制，依据加入ECA的位置，LFSCA-UNet分为A、B、C共3个子型。结果在肝数据集上与其他实验网络进行评估对比，本文提出的LFSCA-UNet网络结构平均Dice系数达到了93.33%，相比原始U-Net的Dice系数提高了0.539 6%。结论本文方法将空间注意力机制与通道注意力机制进行结合，有效提高了肝纤维化区域的分割精度，对空间注意力模块使用通道注意力模块优化输入和输出，增加了网络的稳定性，提升了网络的整体效果。

融合上下文和多尺度特征的胸部多器官分割 吉淑滢，肖志勇doi:10.11834/jig.200558 16-09-2021 7 7
摘要：目的肿瘤周围高危器官的准确分割是图像引导放射治疗中的关键步骤，也是对抗肺癌和食道癌，规划有效治疗策略的重要组成部分。为了解决不同患者之间器官形状和位置的复杂变化情况以及计算机断层扫描（computed tomography，CT）图像中相邻器官之间软组织对比度低等问题，本文提出了一种深度学习算法对胸部CT图像中的高危器官进行细分。方法以U-Net神经网络结构为基础，将冠状面下的3个连续切片序列即2.5D （2.5 dimention）数据作为网络输入来获取切片联系，同时利用高效全局上下文实现不降维的跨通道交互、捕获单视图下切片序列间的长距离依赖关系、加强通道联系和融合空间全局上下文信息。在编码部分使用金字塔卷积和密集连接的集成提取多尺度信息，扩大卷积层的感受野，并将解码器与编码器每层进行连接来充分利用多尺度特征，增强特征图的辨识度。考虑到CT图像中多器官形状不规则且紧密相连问题，加入深度监督来学习不同层的特征表示，从而精准定位器官和细化器官边界。结果在ISBI （International Symposium on Biomedical Imaging）2019 SegTHOR （segmentation of thoracic organs at risk in CT images）挑战赛中，对40个胸部多器官训练样本进行分割，以Dice系数和HD （Hausdorff distance）距离作为主要评判标准，该方法在测试样本中食道、心脏、气管和主动脉的Dice系数分别达到0.855 1、0.945 7、0.923 0和0.938 3，HD距离分别为0.302 3、0.180 5、0.212 2和0.191 8。结论融合全局上下文和多尺度特征的算法在胸部多器官分割效果上更具竞争力，有助于临床医师实现高效的诊断与治疗。

注意力机制下密集空洞卷积的肺部图像分割 郭宁，柏正尧doi:10.11834/jig.200429 16-09-2021 11 8
摘要：目的卷积神经网络（convolutional neural network，CNN）在计算机辅助诊断（computer-aided diagnosis，CAD）肺部疾病方面具有广泛的应用，其主要工作在于肺部实质的分割、肺结节检测以及病变分析，而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此，为了更好地适应计算机辅助诊断系统要求，提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络，进行肺部分割。方法将注意力机制引入网络的解码部分，通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息，将密集空洞卷积模块部署在网络中间，该模块集合了Inception、残差结构以及多尺度空洞卷积的优点，在不引起梯度爆炸和梯度消失的情况下，获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题，对网络中的上/下采样模块进行改进，利用多个不同尺度的卷积核级联加宽网络，有效避免了特征丢失。结果在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验，结果表明，本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union，IoU）、准确度（accuracy，ACC）以及敏感度（sensitivity，SE）等评价指标均优于对比方法，相比于性能第2的模型，分别提高了0.443%，0.272%，0.512%以及0.374%。结论本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络，相对于其他分割网络取得了更好的分割效果。

融合注意力机制和特征金字塔网络的CT图像肺结节检测 张福玲，张少敏，支力佳，周涛doi:10.11834/jig.210160 16-09-2021 14 8
摘要：目的针对现有肺结节检测算法存在的因肺部计算机断层扫描（computed tomography，CT）图像肺结节与周边组织复杂性导致结节本身结构差异性不明显的问题，以及特征提取网络多次下采样造成图像分辨率降低进而导致检测结果差、仅使用网络顶层特征图进行预测造成图像空间信息丢失进而导致小结节漏检等问题，提出了一种基于注意力机制和特征金字塔的肺结节检测算法。方法根据语义与空间特征补偿机制以及卷积神经网络中网络深度所提取特征的信息量不同，在以ResNet为骨干网络的特征提取网络中设计通道—空间注意力机制，尽可能同时获取含有较多上下文语义以及空间位置信息的特征信息。在网络预测部分设计特征金字塔网络，将高维带有丰富语义信息的特征图与低维带有位置信息的特征图融合进行多尺度预测，增强网络对于小结节以及近血管结节等非显著性目标的检测性能。结果在LUNA16（lung nodule analysis 16）数据集上进行十折交叉验证显示，当平均假阳性个数为25.99时敏感度达到了97.13%，与基准方法相比，敏感度提高了2.53%，平均假阳性降低了28.54，实现了高敏感度低假阳性；在0.125、0.25、0.5、1、2、4、8这7个假阳率点的敏感度平均值为0.854，其中在每个扫描4次和8次假阳性时敏感度分别达到了0.940和0.951，其效果优于主流的结节检测方法。结论提出的结节检测模型，可以提高对3~10 mm小结节、近血管结节等非显著性目标的检测性能，并具有较低的假阳率。

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测 杨淑莹，邓东升，郑清春doi:10.11834/jig.200544 16-09-2021 15 6
摘要：目的针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。

融合注意力机制与可变形卷积的多尺度骨病变检测 方成，柏正尧doi:10.11834/jig.200476 16-09-2021 10 5
摘要：目的在计算机断层扫描（computed tomography，CT）影像中对骨组织部位进行自动分析和检测，对于骨科疾病的早期诊断具有重要意义，然而基于人工分析诊断的方法存在效率较低、诊断的准确性和客观一致性无法保证等问题。为此，本文研究构建一个骨组织病变检测的级联神经网络模型，以期为骨科医生的诊断提供支持。方法在影像预处理阶段使用改进的增强方法对CT影像进行对比度增强并获取影像中的人体有效部位；根据骨骼组织CT值（Hounsfield unit，HU）的分布范围进行阈值分割，得到大致的骨组织区域；以级联目标检测模型为研究基线，结合注意力机制与可变形卷积增加特征图的全局上下文的相关性，以适应形态多变的骨病灶；通过特征融合模块促进不同尺度特征信息之间的融合，并在多个尺度特征图上分别进行骨组织病变训练和预测。结果在DeepLesion数据集上进行实验，实验结果表明，本文网络对骨病变检测的召回率（recall）、准确率（precision）、F1分数、平均精度（average precision，AP）分别为0.85、0.613、0.712以及0.816；较对照组中性能最优的通用CT病变检测网络对骨病变检测的召回率提升0.15。结论本文提出的网络模型对CT骨组织病变具有较好的检测效果，能够对骨组织病变判别诊断提供辅助支持，提高诊断效率，降低漏诊风险。

磁共振图像

语义拉普拉斯金字塔多中心乳腺肿瘤分割网络 王黎，曹颖，郭顺超，唐雷，郐子翔，王荣品，王丽会doi:10.11834/jig.210138 16-09-2021 11 12
摘要：目的乳腺肿瘤分割对乳腺癌的辅助诊疗起着关键作用，但现有研究大多集中在单中心数据的分割上，泛化能力不强，无法应对临床的复杂数据。因此，本文提出一种语义拉普拉斯金字塔网络（semantic Laplacian pyramids network，SLAPNet），实现多中心数据下乳腺肿瘤的准确分割。方法 SLAPNet主要包含高斯金字塔和语义金字塔两个结构，前者负责得到多尺度的图像输入，后者负责提取多尺度的语义特征并使语义特征能在不同尺度间传播。结果网络使用Dice相似系数（Dice similarity coefficient，DSC）作为优化目标。为了验证模型性能，采用多中心数据进行测试，与AttentionUNet、PSPNet （pyramid scene parsing network）、UNet 3+、MSDNet （multiscale dual attention network）、PyConvUNet （pyramid convolutional network）等深度学习模型进行对比，并利用DSC和Jaccard系数（Jaccard coefficient，JC）等指标进行定量分析。使用内部数据集测试时，本文模型乳腺肿瘤分割的DSC为0.826；使用公开数据集测试时，DSC为0.774，比PyConvUNet提高了约1.3%，比PSPNet和UNet3+提高了约1.5%。结论本文提出的语义拉普拉斯金字塔网络，通过结合多尺度和多级别的语义特征，可以在多中心数据上准确实现乳腺癌肿瘤的自动分割。

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型 罗恺锴，王婷，叶芳芳doi:10.11834/jig.200584 16-09-2021 8 6
摘要：目的脑肿瘤核磁共振（magnetic resonance，MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现，但由于脑胶质瘤的恶性程度与外观表现有巨大差异，脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征，从而导致图像有效信息丢失，此外还存在未能充分利用上下文信息和空间信息的问题。对此，本文提出一种基于注意力机制和多视角融合U-Net算法，实现脑肿瘤MR图像的分割。方法在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层，进行多尺度特征映射的提取与融合；在解码模块的级联结构中添加注意力机制，增加有效信息的权重，避免信息冗余；通过融合多个视角训练的模型引入3维图像的空间信息。结果提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证，在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819，与其他方法进行对比，较次优方法分别提升了0.9%、1.3%和0.6%。结论本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题，并引入了3维MR图像的空间信息，使得肿瘤分割结果更加准确，具有良好的研究和应用价值。

集成注意力增强和双重相似性引导的多模态脑部图像配准 田梨梨，程欣宇，唐堃，张健，王丽会doi:10.11834/jig.200657 16-09-2021 7 5
摘要：目的医学图像配准是医学图像处理和分析的关键环节，由于多模态图像的灰度、纹理等信息具有较大差异，难以设计准确的指标来量化图像对的相似性，导致无监督多模态图像配准的精度较低。因此，本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network，EADSG-RegNet），结合全局灰度相似性和局部特征相似性共同引导参数优化，以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计，在级联编码器中引入集成注意力增强模块（integrated attention augmentation module，IAAM），通过训练的方式学习提取特征的重要程度，筛选出对配准任务更有用的特征，使解码器更准确地估计变形场。为了能够准确估计全局和局部形变，使用全局的灰度相似性归一化互信息（normalized mutual information，NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性，采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果实验结果表明，相比于传统配准方法和深度学习配准模型，本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration），在全局灰质区域，Dice分数分别提升了3.5%，1.9%和1.5%。在全局白质区域分别提升了3.4%，1.6%和1.3%。对于局部组织结构，Dice分数分别提升了5.2%，3.1%和1.9%。消融实验表明，IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论本文提出的集成注意力增强的无监督多模态医学图像配准网络，通过强化有用特征实现变形场的准确估计，进而实现图像中细小区域的准确配准，对比实验验证了本文模型的有效性和泛化能力。

LRUNet:轻量级脑肿瘤快速语义分割网络 何康辉，肖志勇doi:10.11834/jig.200436 16-09-2021 8 8
摘要：目的针对目前基于深度学习的脑肿瘤分割算法参数量大、计算复杂和快速性差的问题，提出了一种超轻量级快速语义分割网络LRUNet （lightweight rapid UNet），在保证分割精度提升的同时，极大地减少了网络的参数量与计算量，达到快速分割的效果。方法 LRUNet网络结构基于UNet，将3D-UNet的通道数减少为原来的1/4，减少原先3D-UNet过多的参数量；将UNet网络中除最后一层外的所有传统卷积变为深度可分离卷积，深度可分离卷积以牺牲极少精度，大大减少网络参数量，实现网络的轻量级；使用空间—通道压缩和激发模块（spatial and channel squeeze&excitation block，scSE），该模块能够放大特征图中对模型有利的参数的权重，缩小对模型不利参数的权重，提升网络分割的精度。结果在BraTS 2018（Brain Tumor Segmentation Challenge 2018）数据集上的在线验证结果显示，该模型在全肿瘤、核心区肿瘤和增强区肿瘤分割的平均Dice系数分别为0.893 6、0.804 6和0.787 2。LRUNet与同为轻量级网络的S3D-UNet相比Dice有所提升，但是，参数量仅为S3D-UNet的1/4，FLOPs （floating point operations per second）仅为1/2。结论与3D-UNet、S3D-UNet和3D-ESPNet等算法相比，LRUNet算法不仅保证精度得到提升，而且极大地减少网络中计算的参数量与计算成本消耗，同时网络模型的预测速度得到很大提升，使得快速语义分割在3维医学图像领域成为可能。

自适应多模态特征融合胶质瘤分级网络 王黎，曹颖，田梨梨，陈祈剑，郭顺超，张健，王丽会doi:10.11834/jig.200744 16-09-2021 13 7
摘要：目的胶质瘤的准确分级是辅助制定个性化治疗方案的主要手段，但现有研究大多数集中在基于肿瘤区域的分级预测上，需要事先勾画感兴趣区域，无法满足临床智能辅助诊断的实时性需求。因此，本文提出一种自适应多模态特征融合网络（adaptive multi-modal fusion net，AMMFNet），在不需要勾画肿瘤区域的情况下，实现原始采集图像到胶质瘤级别的端到端准确预测。方法 AMMFNet方法采用4个同构异义网络分支提取不同模态的多尺度图像特征；利用自适应多模态特征融合模块和降维模块进行特征融合；结合交叉熵分类损失和特征嵌入损失提高胶质瘤的分类精度。为了验证模型性能，本文采用MICCAI （Medical Image Computing and Computer Assisted Intervention Society）2018公开数据集进行训练和测试，与前沿深度学习模型和最新的胶质瘤分类模型进行对比，并采用精度以及受试者曲线下面积（area under curve，AUC）等指标进行定量分析。结果在无需勾画肿瘤区域的情况下，本文模型预测胶质瘤分级的AUC为0.965；在使用肿瘤区域时，其AUC高达0.997，精度为0.982，比目前最好的胶质瘤分类模型——多任务卷积神经网络同比提高1.2%。结论本文提出的自适应多模态特征融合网络，通过结合多模态、多语义级别特征，可以在未勾画肿瘤区域的前提下，准确地实现胶质瘤分级预测。

研究应用

面向运动想象脑电图识别的镜卷积神经网络 罗靖，王耀杰，刘光明，王晓帆，鲁晓锋，黑新宏doi:10.11834/jig.210072 16-09-2021 9 8
摘要：目的脑电图（electroencephalogram，EEG）是一种灵活、无创、非侵入式的大脑监测方法，广泛应用于运动想象脑机接口系统中，运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因，导致单个受试者可用于模型训练的样本数量少，严重影响了卷积神经网络在脑电图识别任务中的表现。为此，本文提出一种镜卷积神经网络（mirror convolutional neural network，MCNN）模型，使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法在训练阶段，基于源脑电通过互换左右侧脑电通道构造镜像脑电，并与源脑电一起用于源卷积网络训练，有效扩增了训练样本；在预测阶段，复制已训练源卷积网络作为镜像卷积网络，将测试集中的源脑电输入源卷积网络，构造的镜像脑电输入镜像卷积网络，集成源卷积网络与镜像卷积网络输出的类别预测概率，形成最终类别预测。结果为了验证模型的有效性和通用性，基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络，并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比，运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%，显著提高了识别精度。结论本文面向运动想象脑电图识别，提出了镜卷积神经网络模型，通过集成学习与数据扩增方法提高运动想象识别精度，有效改善了运动想象脑机接口性能。

先验权重共享码本下内窥镜图像大肠病变分类 朱霆威，李胜，何熊熊doi:10.11834/jig.200845 16-09-2021 9 7
摘要：目的大肠息肉和溃疡性结肠炎（ulcerative colitis，UC）是常见的大肠疾病，发病率高，检测需求大，且容易在临床中被漏诊和误诊。因此研究用于内窥镜大肠病变图像分类的计算机辅助诊断（computer-aided diagnosis，CAD）系统十分重要。局域约束线性编码（locality constrained linear coding，LLC）在图像分类领域展现了优异的性能，能够完成对内窥镜中病变图像的分类。但是由于肠胃内窥镜图像中存在的一些微小息肉等病理征状与肠壁十分相似，LLC在这一场景下的性能有待提高。方法由于码本的设计对细微差别检测能力影响大，本文通过改进LLC中的码本来实现更精确的大肠病变分类，其中原始码本被改进为带有先验权重影响的共享码本。主要思想是尝试尽可能多地使用代表私有部分的码本。本文方法重新排列了码本的列，将较少使用的原子排列在码本的后面，成为共享码本。并利用原子使用的频率计算权重，通过在线字典学习的方法，获得具有先验权重的共享码本。利用这一新码本对特征进行编码能实现更为高效精确的图像分类。结果为避免过拟合，将部分Kvasir数据集与部分医院合作数据集合并使用。实验在2 600幅内窥镜图像上进行正常、息肉和UC图像的三分类实验，与压缩感知空间金字塔池化（compressed sensing spatial pyramid pooling，CSSPP）方法、私有共享字典学习算法（category-specific dictionary and shared dictionary learning，CSDL）、环形空间金字塔模型方法（circular inner ring partitioning，CIRP）、显著性和自适应局部约束线性编码（saliency and adaptive locality constrained linear coding，SALLC）和AlexNet迁移学习的网络比较，本文方法的总体分类准确率为93.82%，较对比方法分别高了2.33%、2.21%、1.91%、0.8%、0.07%。结论本文所提出的先验权重共享码本，综合了词汇袋模型和共享字典的思想，使得对内窥镜图像中相似图片的分类更加精确。

融合空洞卷积与注意力的胃癌组织切片分割 陈颍锶，李晗，周雪婷，万程doi:10.11834/jig.200765 16-09-2021 9 6
摘要：目的病理组织切片检查是诊断胃癌的金标准，准确发现切片中的病变区域有助于及时确诊并开展后续治疗。然而，由于病理切片图像的复杂性、病变细胞与正常细胞形态差异过小等问题，传统的语义分割模型并不能达到理想的分割效果。基于此，本文提出了一种针对病理切片的语义分割方法ADEU-Net （attention-dilated-efficient U-Net++），提高胃癌区域分割的精度，实现端到端分割。方法 ADEU-Net使用经过迁移学习的EfficientNet作为编码器部分，增强图像特征提取能力。解码器采用了简化的U-Net++短连接方式，促进深浅层特征融合的同时减少网络参数量，并重新设计了其中的卷积模块提高梯度传递能力。中心模块使用空洞卷积对编码器输出结果进行多尺度的特征提取，增强模型对不同尺寸切片的鲁棒性。编码器与解码器的跳跃连接使用了注意力模块，以抑制背景信息的特征响应。结果在2020年“华录杯”江苏大数据开发与应用大赛（简称“SEED”大赛）数据集中与其他经典方法比较，验证了一些经典模型在该分割任务中难以拟合的问题，同时实验得出修改特征提取方式对结果有较大提升，本文方法在分割准确度上比原始U-Net提高了18.96%。在SEED数据集与2017年中国大数据人工智能创新创业大赛（brain of things，BOT）数据集中进行了消融实验，验证了本文方法中各个模块均有助于提高病理切片的分割效果。在SEED数据集中，本文方法ADEU-Net比基准模型在Dice系数、准确度、敏感度和精确度上分别提升了5.17%、2.7%、3.69%、4.08%；在BOT数据集中，本文方法的4项指标分别提升了0.47%、0.06%、4.30%、6.08%。结论提出的ADEU-Net提升了胃癌病理切片病灶点分割的精度，同时具有良好的泛化性能。

视觉显著性的眼底图像视盘检测 吕鹏飞，王莹，王思齐，于晓升，吴成东doi:10.11834/jig.200444 16-09-2021 10 4
摘要：目的青光眼是导致失明的主要疾病之一，视盘区域的形状、大小等参数是青光眼临床诊断的重要指标。然而眼底图像通常亮度低、对比度弱，且眼底结构复杂，各组织以及病灶干扰严重。为解决上述问题，实现视盘的精确检测，提出一种视觉显著性的眼底图像视盘检测方法。方法首先，依据视盘区域显著的特点，采用一种基于视觉显著性的方法对视盘区域进行定位；其次，采用全卷积神经网络（fully convolutional neural network，FCN）预训练模型提取深度特征，同时计算视盘区域的平均灰度，进而提取颜色特征；最后，将深度特征、视盘区域的颜色特征和背景先验信息融合到单层元胞自动机（single-layer cellular automata，SCA）中迭代演化，实现眼底图像视盘区域的精确检测。结果在视网膜图像公开数据集DRISHTI-GS、MESSIDOR和DRIONS-DB上对本文算法进行实验验证，平均相似度系数分别为0.965 8、0.961 6和0.971 1；杰卡德系数分别为0.934 1、0.922 4和0.937 6；召回率系数分别为0.964 8、0.958 9和0.967 4；准确度系数分别为0.996 6、0.995 3和0.996 8，在3个数据集上均可精确地检测视盘区域。实验结果表明，本文算法精确度高，鲁棒性强，运算速度快。结论本文算法能够有效克服眼底图像亮度低、对比度弱及血管、病灶等组织干扰的影响，在多个视网膜图像公开数据集上进行验证均取得了较好的检测结果，具有较强的泛化性，可以实现视盘区域的精确检测。