论文引用格式：Ding Y， Zheng W， Geng J， Qiu L Y and Qin Z G. 2023. Multi-level parallel neural networks based multimodal human brain tumor image segmentation framework. Journal of Image and Graphics， 28（07）：2182-2194（引用格式:丁熠， 郑伟， 耿技， 邱泸谊， 秦志光. 2023. 基于多层级并行神经网络的多模态脑肿瘤图像分割框架. 中国图象图形学报， 28（07）：2182-2194）［0　引 言在临床诊疗过程中，核磁共振成像（nuclear magnetic resonance imaging，MRI）是临床医生分析脑部肿瘤时的首选，如常见的T1、T1c、T2、Flair模态的MRI脑部影像。T1指T1加权成像，此模态可更好地呈现脑部解剖结构；T1c指增强T1加权成像，此模态使用造影剂对图像进行对比度增强，增加了血管组织的强度；T2指T2加权成像，此模态对含水组织具有更高的敏感度，因此可以更好地呈现病变组织；Flair指流体衰减反转恢复图像，可以抑制脑脊液，使该组织与其他组织更易区分。多模态脑肿瘤数据不论在人工临床诊疗还是在计算机辅助诊疗中，都是不可或缺的数据。脑部肿瘤诊断鉴别的任务主要是关注脑部的神经胶质瘤，神经胶质瘤在成人脑部肿瘤中最为常见，由于它的解剖结构的特殊性，可以通过MRI影像进行直观检查与分析（Shang等，2012；Martínez-Murcia等，2014）。而不同个体在临床诊疗上的差异以及医生医疗等资源的稀缺，使得通过计算机进行辅助诊疗已经成为必不可少的步骤（El-Dahshan等，2014）。多模态MRI数据给临床诊断人员带来了诸多便利，但是基于多模态MRI数据对脑部神经胶质瘤进行自动化分割的任务极具挑战性 （Goetz等，2016），主要原因有两点：1）脑部的神经胶质瘤可以出现在脑部的任何位置，而且形状、外观、大小以及类型各不相同，增加了脑肿瘤区域精确定位的难度；2）脑部的神经胶质瘤会侵及周围正常的脑组织，而不是非简单的视觉上的移位，这样会造成肿瘤区域的边界模糊，难以判别。随着深度学习的不断发展，研究者不断拓展深度学习技术在脑肿瘤分割领域的应用，在BRATS 2015挑战赛（Menze等，2015）提出了基于深度学习模型的脑肿瘤分割方法（Zikic等，2014；Havaei等，2017；Pereira等，2015），采用不同的深度学习模型，包括卷积神经网络（convolutional neural network，CNN）、卷积受限玻尔兹曼机和叠加去噪自编码等。这些早期的深度学习方法尽管结构简单，但取得了令人瞩目的效果，表明深度学习在脑肿瘤图像分割中的巨大潜力。另外，为了进一步提升脑肿瘤图像的分割精度，提出了很多改进方法，一部分改进聚焦于通过设计特殊的网络结构来提升网络特征提取能力（Dvořák和Menze，2015；Shaikh等，2017；Islam和Ren，2017；Ding等，2019a， b；Pereira等，2019），另一部分则是考虑如何充分利用脑肿瘤图像的多方面信息，包括多分辨率信息（Islam和Ren，2017）、空间多视角信息（Salehi等，2017；Zhao等，2018）、信息后处理（Zhao等，2018；Kamnitsas等，2017）和对称信息（Chen等，2020）等。基于深度神经网络模型的方法在脑肿瘤分割任务中取得了良好效果，但是其性能改进的空间依旧很大，对于脑肿瘤图像特征信息利用并不充分，而且设计一个全新而且高效的深度神经网络模型是一项成本高昂的任务。本文通过对现有的基干网络进行多层级扩展，构建了基于多层级并行神经网络的多模态脑肿瘤分割框架，以提取更多维度的网络空间特征，并考虑将网络中的不同维度特征信息进行融合，以充分利用网络中的多维度特征信息，捕捉多模态脑肿瘤图像中的多种语义细节信息，提升脑肿瘤多模态脑肿瘤图像分割的分割精度与分割效率。该方法在BRATS 2015数据集（Menze等，2015）与BRATS 2018数据集（Bakas等，2018）上测试，结果表明其分割效果良好，分割效率高。本文的主要贡献包括4个方面：1）提出一种基于多层级并行神经网络的分割框架用于多模态脑肿瘤图像分割；2）提出多层级并行特征提取模块与多层级并行分割模块，在深度神经网络的下采样与上采样阶段，对多维度网络特征信息之间的关联性展开研究，实现不同维度特征之间的自适应融合，融合了多个基干网络的不同层级的网络特征，通过合理设计降低了模型参数量，并增强了特征的表达能力，进一步提升了模型的性能；3）提出多层级金字塔长连接模块，提升了特征的局部感受野与整体感受野，增强了特征的丰富度与长连接两端同尺寸特征的传播效率，最终提升了脑肿瘤图像的分割精度；4）通过多种实验证明了本文方法的有效性与高效性，对计算机辅助诊疗有重要意义。1　相关工作1.1　卷积神经网络随着深度学习神经网络的快速发展，深度学习神经网络技术已经成为一种强大的监督学习工具，Krizhevsky等人（2012）在ImageNet挑战赛中证明了CNN的性能，从此，在图像分类和其他应用领域中得到广泛接受与采纳（Ding等，2018，2019a， b， c，2021；余凯 等，2013；孟子尧 等，2021）。更深层次的卷积神经网络结构以及各种网络结构的变形，都是由CNN基础模型发展演变而来，如VGG（Visual Geometry Group）（Simonyan和Zisserman，2015）、U-Net（Ronneberger等，2015）、ResNet（residual network）（He等，2016）等网络结构。U-Net采用编码器解码器的结构，先进行图像特征的下采样，再将特征进行上采样逐步还原，通过长连接操作将下采样阶段的特征连接到上采样过程中，增加特征的多样性，解决在下采样过程中边缘信息丢失问题，在生物医学图像分割上取得了不错的效果。ResNet采用残差单元，以短连接的方式增加恒等映射分支，解决了随着网络层数的不断增加，导致梯度不断减小甚至消失、网络训练缓慢甚至效果变差的问题。其他的一些网络如密集堆叠的U-Nets（Guo等，2018）、融合跨阶段的U-Nets（夏峰 等，2022）以及引入注意力机制和多视角融合的U-Net（罗恺锴 等，2021），则在U-Net的基础上结合ResNet等网络模型的改进，进一步提升了U-Net网络的性能。与此同时， SegNet（deep convolutional encoder-decoder architecture for image segmentation）（Badrinarayanan等，2017）、DeepLab（Chen等，2018a）等深层次网络结构在语义分割任务中表现优异，SE-Net（Hu等，2018）以及EfficienNet（rethinking model scaling for convolutional neural network）（Tan和Le，2019）等高性能的神经网络模型，不仅考虑网络模型的扩展，还考虑如何更加高效地提取数据对应的高层次特征。这些深层次的高性能模型在多种数据集上的表现优异，充分证实了深度卷积神经网络在图像处理领域中的重要性。1.2　基于卷积神经网络的脑肿瘤分割在基于深度学习的脑肿瘤图像分割方法中，基于CNN的方法取得了较好的分割效果，特别是采用3D-CNN和2D-CNN模型构建肿瘤图像分割的方法。虽然3D-CNN具有充分利用MRI数据三维信息的潜力，但也大量增加了网络规模和计算成本，Roth等人（2014）指出了在医学成像数据上使用3D-CNN时存在的问题和明显的局限性，因此，2D-CNN广泛应用于脑肿瘤的分割方法中。Pereira等人（2015）采用通过使用尺寸较小的卷积核，减少了网络参数量，并设计了较深层次的CNN对脑肿瘤进行分割处理。Havaei等人（2015）将早期训练的CNN获得的像素级概率分割结果作为后续CNN的额外输入，构建了级联的网络模型结构，取得了脑肿瘤分割精度的提升。Dvořák 等人（2015）将多类别脑肿瘤分割任务分别建模为3个子任务CNN，进行不同类别肿瘤区域的局部结构预测，最终将不同类别肿瘤区域的局部预测结果整合，完成脑肿瘤图像的分割任务；Shaikh等人（2017）提出利用100层网络结构从多模态MRI图像中分割脑肿瘤，该结构基于密集连接全卷积神经网络，取得了不错的脑肿瘤分割效果。Islam和Ren（2017）从对应于同一像素的多层提取特征，并每次在少量图像中采样适量的像素使用随机梯度下降进行批量更新，以此用于脑肿瘤图像分割。Chen等人（2018b）提出一种端到端的可训练网络，将不同肿瘤区域合并以将网络预测限制在肿瘤区域内，从而主要减轻非肿瘤区域的影响。Salehi等人（2017）提出一种用于特征重组和空间自适应校准块，适用于全卷积网络的语义分割，提升了脑肿瘤图像语义分割的效果。为了进一步提升脑肿瘤分割的精度，Kamnitsas等人（2017）将马尔可夫随机场，尤其是条件随机场（Krähenbühl和Koltun，2011）与深度学习技术相结合，用于脑肿瘤图像分割研究，可以作为CNN的后处理步骤，从而达到更好的分割性能。Zhao等人（2018）结合了条件随机场和多视角方向处理的方法，并提出了一套专有的后处理方法来进行脑肿瘤图像的分割。Chen等人（2020）设计了一种CNN方法，通过考虑脑部图像的对称性，计算轴状视角中左右脑部的余弦相似度，并通过注意力机制增强肿瘤区域在网络中的表现。Ding等人（2019a）将神经网络进行横向堆叠，并通过桥接连接相邻的网络中同等尺度的特征向量，进行脑肿瘤图像的逐网络分割。Ding等人（2020）提出一种多路径自适应融合网络，将残差网络中的跳层连接思想应用于密集连接块中，从而有效保留和融合更多的低级特征，提升脑肿瘤图像分割精度。2　多层级并行神经网络的脑肿瘤分割框架基于现有的常用深度神经网络基干模型，本文提出基于多层级并行神经网络的多模态脑肿瘤分割框架，整体架构如图1所示。基于多维度特征信息融合的分割框架的网络结构主要采用基于ResNet的特征提取结构和基于U-Net上采样阶段的结构，包含多层级并行特征提取模块、多层级并行分割模块和多层级金字塔长连接模块。图中L表示网络中卷积后的特征层，U表示网络反卷积后的特征层。10.11834/jig.211197.F001图1基于多层级并行神经网络的多模态脑肿瘤图像分割框架Fig.1Illustration of multimodal brain tumor image segmentation framework based on multi-level parallel neural network2.1　多层级并行特征提取模块本文基于ResNet-50的模型特点和结构，并针对多模态脑肿瘤图像分割任务，对ResNet模型进行了一些优化调整，详细结构如表1所示，使其更加适配语义分割任务。首先，收集同一脑肿瘤的多模态MRI图像，将每个模态的脑肿瘤图像特征图作为特征向量的一个通道，合并输入到多层级并行的特征提取结构中，由网络初始化模块得到初始化特征层。然后，一方面在网络深度上不断提取更深层特征，另一方面并行迭代多个特征提取的基干网络分支，每个基干网络分支同时进行由浅入深的特征提取，进一步将多个基干网络分支进行相同网络深度上的逐层级连接，在扩展神经网络宽度的同时，扩展神经网络的深度，使多层级并行的特征提取结构相比于单层级特征提取结构有更强更加丰富的非线性表达能力，可以学习更加复杂的映射变换，从而可以拟合更加复杂的图像特征。同时，多层级并行的特征提取结构拥有足够的网络宽度，用于提取图像的多方面属性信息，如不同颜色、形状、空间关系和纹理等特征，以此保证特征的丰富度。10.11834/jig.211197.T001表1基于ResNet-50的网络特征提取结构Table 1Network feature extraction structure based on ResNet-50网络层名称输出尺寸/像素卷积参数输入图像240 × 240-初始化120 × 120[3×3, 32, 步长2]，[5×5, 最大池化, 步长2]，[1×1, 32, 步长1]瓶颈残差连接块 1120 × 120[[1×1, 64, 步长1], [3×3, 64, 步长1], [1×1, 64, 步长1]]×3下采样层 160 × 60[1×1, 64, 步长1], [3×3, 64, 步长2]瓶颈残差连接块 260 × 60[[1×1, 64, 步长1], [3×3, 64, 步长1], [1×1, 128, 步长1]]×3下采样层 230 × 30[1×1, 128, 步长1]，[3×3, 128, 步长2]瓶颈残差连接块 330 × 30[[1×1, 64, 步长1], [3×3, 64, 步长1], [1×1, 256, 步长1]]×3下采样层 315 × 15[1×1, 256, 步长1], [3×3, 256, 步长2]瓶颈残差连接块 415 × 15[[1×1, 64, 步长1], [3×3, 64, 步长1], [1×1,256,步长1]]×3注：“-”代表忽略该项参数。在多层级并行特征提取结构中，共包含j层并行的基干网络，每个层级包含3个由浅入深的特征层，如第i层级基干网络包含了特征层Li1, Li2, Li3，不同层级的基干网络对应特征层的尺寸是完全相同的，在原始的单层基干网络L中，网络中的每一层特征的计算方法为Ll=Fl(Ll-1)l=1Fl(g(Ll-1))2≤l≤4, l∈N （1）式中，Ll表示第l层特征，Fl（）表示第l - 1层特征到第l层特征的迭代瓶颈残差连接层转换函数，g（）表示卷积下采样层函数。在多层级并行特征提取结构中，网络中的每一层特征的输入有所变化（除第1层级外），前一层级每一特征层的输出都可以作为后一层级相应特征层的输入，具体计算为Lil=Fl(Ll-1)i=1, l=1Fl(g(Lil-1))i=1, 2≤l≤3,  l∈NQi(Li-1l)2≤i≤j,  l=1,  i∈NFi(concat(g(Lil-1),Li-1l))2≤i≤j, 2≤l≤3,i∈N, l∈N （2）式中，Li1表示第i层级基干网络的第l层特征，Qi（·）表示第i - 1层级基干网络到第i层基干网络相同深度特征层的一系列卷积转换函数，concat（·）表示特征在通道维度上的拼接。通过多层级的方式，迭代地将前一个主干网络的输出特征作为输入特征的一部分输入到之后的主干网络中，可以逐层级地增强主干网络的特征表示，第i层级基干网络的第l层融合了所有第1～i -1层级基干网络的第1～l层特征以及第i层级基干网络的第1～l -1层特征，并且最后的深层特征为Ll=Fl(concat(g(L1l-1), g(L1l-1),⋯, g(Ljl-1))),  l=4 （3）多层级并行的特征提取结构融合了多个基干网络的不同深度的网络特征，从而增强了特征的表达能力，进一步提升了基干网络模型的表现。同样，可以按照多层级并行的方式，对现有其他单层深度神经网络基干模型进行多层级扩展。2.2　多层级并行上采样模块在基于U-Net结构的基础上，为了后续将网络上采样过程进行多层级叠加，减少了中间部分叠加的卷积操作，并减少了上采样过程中的输出通道数，优化后的上采样结构网络层结构参数信息如表2所示。10.11834/jig.211197.T002表2基于U-Net的网络上采样结构Table 2Network up-sampling structure based on U-Net网络层名称输出尺寸/像素卷积参数深层特征15 × 15-反卷积层 130 × 30[反卷积,3×3,256,步长2], [卷积,3×3,256,步长1]反卷积层 260 × 60[反卷积,3×3,128,步长2], [卷积,3×3,128,步长1]反卷积层 3120 × 120[反卷积,3×3,64,步长2], [卷积,3×3,64,步长1]反卷积层 4240 × 240[反卷积,3×3,32,步长2], [卷积,3×3,32,步长1]分割输出240 × 240[卷积,3×3,5,步长1], softmax注：“-”代表忽略该项参数。多层级并行的上采样结构和多层级并行的特征提取结构原理类似，为了更好地利用深度特征进行分割，对基于U-Net的上采样结构进行多层级扩展，将之前提取到的深层特征，一方面按照单一层级不断还原特征尺寸，另一方面并行迭代多个上采样分支，每个分支同时进行特征还原，进一步地，将多个分支产生的特征进行不同特征尺寸上的逐层级连接。同样，多层级并行的上采样结构相比于单层级网络结构能够进行更复杂的映射变换，对深层级特征进行多维度信息的还原，还原出更多的图像多方位特征与细节信息，最终能够综合多模态MRI脑肿瘤图像的多维度特征进行分割，影响分割精度。在多层级并行的上采样结构中，共包含k层并行的上采样分支，每个层级包含3个特征层，如第i层级上采样分支包含了特征层Ui1, Ui2, Ui3，不同层级的分割分支对应特征层的尺寸完全相同，在原始的单层上采样分支U中，每一层特征计算为Ul=h(f(L4))l=1h(f(Ul-1))2≤l≤4, l∈N （4）式中，Ul表示第l层特征，f （·）表示反卷积层转换函数，h（·）表示卷积层转换函数。在多层级并行上采样结构中，除了并行计算特征层之外，前一层级每一特征层的输出都可以作为后一层级相应特征层的输入，具体计算为Uil=h(f(L4))i=1, l=1h(f(Uil-1))i=1, 2≤l≤3, l∈Nh(Ui-1l)2≤i≤k, l=1,i∈Nhi(concat(f(Lil-1),Li-1l))2≤i≤k, 2≤l≤3,i∈N, l∈N（5）式中，Uil表示第i层级上采样分支的第l层特征。与多层级并行的特征提取结构类似，迭代地将前一个上采样分支的输出特征作为输入特征的一部分输入到之后的上采样分支中，使第i层级上采样分支的第l层特征融合了所有第1～i - 1层级上采样分支的第1～l层特征以及第i层级上采样分支的第1～l - 1层特征，能够为不同尺寸的特征在进行还原时提供更多维度的信息，并且最后的分割特征为Ul=h(concat(h(f(L1l-1)),  h(f(L1l-1)),⋯,h(f(Lkl-1)))),  l=4 （6）利用尺寸与输入多模态脑肿瘤图像相同的分割特征，可以通过softmax（）函数预测出逐像素的类别概率，最终概率最大的类别即为该脑肿瘤图像像素的最终预测类别。2.3　多层级金字塔长连接模块结合池化与卷积融合的金字塔结构，本文对基于U-Net模型的多层级并行分割模块中的长连接部分进行改进，提出了多层级金字塔长连接结构，如图2所示，图中L表示网络中卷积后的特征层，U表示网络反卷积后的特征层。10.11834/jig.211197.F002图2多层级金字塔长连接模块图Fig.2Illustration of multi-level pyramid long connection module本文取代了原有的多层级特征拼接到多层级并行分割模块中方式，将特征提取模块中的第i特征层Lki作为输入，i∈(1,2,3)，进行多尺度的并行卷积操作。式中包含尺度为3 × 3和5 × 5的卷积核，然后将该特征层Lki与特征提取模块中尺寸大于该层特征的所有特征层Lki-1,Lki-2,⋯,Lk1，经过池化层进行特征尺寸适配，包含尺寸为7 × 7和5 × 5的最大池化层，输出与特征层Lki相同尺寸的特征，再将这些相同尺寸的特征进行通道上的拼接，并通过1 × 1的卷积将这些拼接后的多尺度特征进行压缩融合，将融合结果与多层级并行分割模块中的同尺寸特征进行拼接，再经过计算得到特征层U14-i。通过多层级金字塔长连接模块，提升了特征的局部感受野与整体感受野，增强了特征的丰富度，另外，多层级金字塔长连接模块的输入端充分考虑了不同尺寸特征之间的信息融合，在一定程度上防止了图像信息的丢失和变形，可以更好地提升长连接两端同尺寸特征的传播效率，最终影响多模态脑肿瘤图像的分割精度。3　实验结果及分析3.1　数据集及评价指标BRATS 2015数据集提供的训练数据集包含220个HGG（human gamma globulin）病例数据和54个LGG（low-grade glioma）病例数据，测试集包含110个病例数据。其中，训练集和测试集中有极少数病例数据是人工合成的，合成数据的肿瘤类别数目少于真实数据。每个病例数据都有4种不同的MRI模态，分别是Flair、T1、T1c和T2，不同MRI模态对脑部不同区域的关注度不同，每个病例数据的每个模态数据的尺寸都为155 × 240 × 240。在BRATS 2015脑肿瘤分割任务中，需要根据各肿瘤区域的划分分别评估其分割预测情况，共3种脑肿瘤区域。1）完整肿瘤区域，包含坏死、水肿、非增强肿瘤、增强肿瘤等4种肿瘤结构；2）核心肿瘤区域，包含坏死、非增强肿瘤、增强肿瘤等3种肿瘤结构；3）增强肿瘤区域，仅包含增强肿瘤1种肿瘤结构。本文采用Dice系数作为的脑肿瘤图像的分割评价指标，计算方式为Dice(GT, AT)=2GT⋂ATGT+AT （7）式中，GT和AT分别表示真值和方法的分割结果。3.2　实验设置所有深度神经网络的超参数设置如下：批处理大小设置为8，损失函数采用多类别交叉熵损失，采用Adam算法作为模型的优化器，网络模型的学习率初始值为0.000 1，并在每个训练周期衰减为原来的一半，运行神经网络采用的实验服务器为NVIDIA RTX2080Ti。3.3　多层级并行特征提取模块对比实验根据本文对多层级并行特征提取模块的定义。首先，使用BRATS 2015脑肿瘤数据集，对不同层级数目的并行特征提取结构（j=1,2,3,4,5）以及原始的ResNet-50的特征提取结构进行实验，结果如表3所示。10.11834/jig.211197.T003表3不同层级数目的并行特征提取模块在BRATS 2015数据集上的Dice表现Table 3Performance of Dice on different levels of parallel feature extraction modules on the BRATS 2015 dataset层级数目完整肿瘤核心肿瘤增强肿瘤参数量/106j = 10.820.670.573.344 1j = 20.830.680.587.001 2j = 30.830.690.5910.068 3j = 40.830.690.5813.135 4j = 50.840.690.5816.202 4ResNet-500.830.680.5530.356 0综合表3中Dice各项分割指标能够发现，任意多层级并行特征提取结构（j = 2，3，4，5）的分割效果要比单层结构（j = 1）要好。随着特征提取模块层级数目的增加，参数量成倍的增加，而取得的综合Dice值具有上升趋势（除了j = 4）。特别的，当层级数目为3或5时，取得的综合分割效果最佳。另外，对比于原始ResNet-50基础骨干结构，多层级并行的特征提取结构取得了更好效果，而且网络参数量更低。这也证明了多层级并行特征提取模块中特征融合的有效性以及该网络设计结构的可行性与合理性。3.4　多层级并行上采样模块对比实验与多层级并行特征提取模块的验证过程类似，根据本文对多层级并行上采样模块的定义，使用BRATS 2015数据集对不同层级数的并行上采样结构（k=1,2,3,4,5）与原始的U-Net上采样结构分别进行实验，结构如表4所示。可以看出，任意多层级并行上采样结构（k = 2，3，4，5）的分割效果要比单层结构（k = 1）要好。另外，不同于多层级并行的特征提取结构，随着层级数目的进一步增加（k 2），增强肿瘤区域的Dice值有着略微的上升趋势（k = 3时略微下降），完整肿瘤与核心肿瘤的变化趋势不明显。当层级数目为2时，多层级并行上采样结构的分割效果靠前，且参数开销不大。另外，相比较于原始U-Net的上采样结构，在同样级别的参数量开销情况下，本文的结构效果更好，由此也证明了多层级并行上采样结构的可行性。10.11834/jig.211197.T004表4不同层级数目的并行上采样模块在BRATS 2015数据集上的Dice表现Table 4Performance of Dice on different levels of parallel up-sampling modules on the BRATS 2015 dataset层级数目完整肿瘤核心肿瘤增强肿瘤参数量/106k = 10.820.670.573.344 1k = 20.830.690.585.462 1k = 30.830.690.576.808 3k = 40.830.700.588.154 5k = 50.830.690.599.500 7U-Net0.820.690.585.278 13.5　多层级金字塔长连接模块对比实验本文使用多层级金字塔长连接模块替换基于U-Net网络中原有的长连接结构，并使用BRATS 2015数据集进行实验验证，表5展示了是否使用多层级金字塔长连接结果的实验结果对比。对比表5第1、2行数据可以看出，相比于原有的长连接结构，使用多层级金字塔长连接模块后，完整、核心和增强肿瘤区域的Dice分割精度均有所提升。10.11834/jig.211197.T005表5有无多层级金字塔长连接模块在BRATS 2015数据集上的Dice表现Table 5Performance of Dice with or without the multi-level pyramid long connection module on the BRATS 2015 dataset多层级并行网络模型多层级金字塔长连接完整肿瘤核心肿瘤增强肿瘤参数量/106j = 1，k = 1无0.820.670.573.344 1j = 1，k = 1有0.830.690.586.499 3j = 3，k = 2无0.840.700.5812.186 4j = 3，k = 2有0.840.700.6015.341 6另外，对多层级并行特征提取结构以及多层级并行上采样结构进行实验验证，通过衡量精度、模型参数量大小以及模型效率，选择3层级并行特征提取和2层级并行上采样结构作为基于多层级并行神经网络的分割框架的最终网络模型，表5同样展示了3层级特征提取和2层级上采样模型的分割效果，可以看到，对比于单层级的特征提取与上采样模型，3层级特征提取和2层级上采样模型在完整和核心肿瘤区域的分割效果提升最为明显。同样，在此结构基础上使用多层级金字塔长连接模块也提升了肿瘤的分割精度，且主要体现在增强肿瘤区域。值得注意的是，本文方法达到了最佳的分割精度，在完整、核心和增强肿瘤区域的Dice精度分别为0.84，0.70，0.60。由此证明了多层级金字塔长连接模块的性能，特别是对核心与增强肿瘤区域，因为这些区域中包含的肿瘤类别较小且形状最为复杂多变，对于这一部分的肿瘤细节信息来说，也最容易在特征提取过程中丢失。3.6　同其他方法的对比为了进一步验证基于多层级并行神经网络的分割性能，与当前主流的脑肿瘤分割方法进行精度与效率对比，结果如表6所示。在BRATS 2015数据集中，早期只有53个测试病例，后来增加到110个，而更多的测试病例数会使分割任务更具挑战性。Pereira等人（2015）和Havaei等人（2017）在53个测试病例上进行实验；Kamnitsas等人（2017）、Zhao等人（2018）、Chen等人（2020）、Ding等人（2019a，2020）和本文方法在110个测试病例进行实验评估。从实验结果可以发现，即使面临更具挑战性的任务，本文提出的方法比Havaei等人（2017）和Pereira等人（2015）的方法获得了更好的分割性能。10.11834/jig.211197.T006表6在BRATS 2015数据集上与其他方法对比Table 6Compare with other methods on the BRATS 2015 dataset病例总数/个方法Dice单病例分割时间完整肿瘤核心肿瘤增强肿瘤53Pereira等人（2015）0.780.650.75 20 sHavaei等人（2017）0.790.580.6925 s～3 min110Kamnitsas等人（2017）0.850.670.63 30 sZhao等人（2018）0.840.730.622～4 minChen等人（2020）0.820.660.58 11 sDing等人（2019a）0.840.670.59 10 sDing等人（2020）0.840.670.60 12 s本文0.840.700.60 5 s此外，与在110例病例中评估的其他几种方法相比，Kamnitsas等人（2017）和Zhao等人（2018）的方法在增强肿瘤区域的分割精度较好，但是对于单病例的分割时间较长，效率低下，造成这种差异的原因可能是Zhao等人（2018）使用了N4ITK（improved N3 bias correction）方法（Tustison等，2010）进行数据预处理，同时Zhao等人（2018）和Kamnitsas等人（2017）采用的3D CRF（3D conditional random field）方法（Krähenbühl和Koltun，2011）对分割结果进行后处理。N4ITK预处理方法可以增强原始图像质量，而3D CRF方法可以对分割结果进行修正。但是，无论是N4ITK预处理方法或3D CRF后处理方法，都会大幅增加脑肿瘤分割任务的计算负担，同时也是一项极其耗时的工作。相比之下，在本文的多层级并行神经网络中，没有使用任何后处理方法，仅用不到5 s的时间即可完成对单个病例的分割，与分割精度较高的方法相比，本文的分割精度略低，但分割效率大幅提升。在与其他3种速度较快（小于15 s）的分割方法对比中，本文方法的分割速度最快，并且对各个肿瘤区域的分割精度达到了最高。3.7　其他数据集的验证为了验证本文方法的泛化性，在BRATS 2018数据集上进行实验验证，该数据集的数据构成与BRATS 2015一致，BRATS 2018提供的训练数据集包含210个HGG病例数据和75个LGG病例数据，验证数据集包含66个病例数据。实验结果如图3所示，基干方法为单层级特征提取和单层级上采样结构。图4展示了数据集所有病例的详细分割情况，可以看出，使用多层级并行神经网络后，数据集中所有病例数据的整体分割精度都达到了较高水准，特别是在完整肿瘤区域。10.11834/jig.211197.F003图3BRATS 2018数据集上的验证结果Fig.3Verification results on the BRATS 2018 dataset10.11834/jig.211197.F004图4BRATS 2018数据集上的详细分割结果Fig.4Detailed segmentation results on the BRATS 2018 dataset此外，在BRATS 2018数据集上使用多层级并行神经网络与当前主流分割网络的性能进行对比。实验结果如表7所示。Tuan等人（2018）、Rezaei等人（2017，2018）、Zhou（2020）等人、Benson等人（2018）和本文方法在66个测试病例进行实验评估。从实验结果可以看出，在不同数据集上，本文提出的方法比其他网络具有更好的性能，证明了本文方法具有良好的泛化性。10.11834/jig.211197.T007表7在BRATS 2018数据集上与其他方法的Dice对比Table 7Comparison of Dice with other methods on the BRATS 2018 dataset方法完整肿瘤核心肿瘤增强肿瘤Tuan等人（2018）0.810.690.68Rezaei等人（2017）0.840.790.63Rezaei等人（2018）0.810.640.61Zhou等人（2020）0.840.750.72Benson等人（2018）0.820.720.66基干0.790.690.65本文0.870.760.714　结 论本文基于常用的网络骨干对网络结构进行扩展，提出基于多层级并行神经网络的多模态脑肿瘤图像分割框架。该框架不需要复杂的网络设计，可以快速对现有网络进行扩展，以充分提取并利用网络中的多维度特征信息，提升网络性能并用于多模态脑肿瘤图像分割。在该分割框架中，分别对深度神经网络中的特征提取阶段以及上采样阶段进行多层级并行扩展，并通过实验验证了多层级并行扩展在各个阶段的可行性。另外，本文设计了多层级金字塔长连接模块，弥补了原有长连接模型缺失的多尺度多感受野信息，提升了特征的丰富度。通过在多模态脑肿瘤数据集上的实验，证明了本文提出的基于多层级并行神经网络分割框架具有良好的分割精度与效率。但是，本文在使用多层级并行的网络模型提升网络的整体性能的同时，随着基干网络层数的增多，网络模型开销也会成倍增加，加大了计算量开销，对运行设备的性能提出了更高要求。在后续研究中，将探索通过特征复用策略和网络蒸馏策略进一步优化神经网络模型参数，希望通过高效的卷积层面的操作并减少网络参数量，提高特征提取效率，使模型达到更好效果。