胶质瘤是中枢神经系统中最常见的一种恶性肿瘤，其发病率高、复发率高、治愈率低的特点，使胶质瘤的有效治疗成为最具挑战的临床问题之一(Wesseling和Capper，2018)。目前临床常用的胶质瘤治疗方案是放化疗配合手术治疗，但不同级别的胶质瘤需要不同的治疗方案。对于低级别胶质瘤(low grade glioma，LGG)，通过手术切除辅助药物治疗即可能治愈，而高级别胶质瘤(high grade glioma，HGG)则需要考虑在术后继续进行放化疗以提高患者的生存率(Mittler和Reardon，1996；Mamelak和Jacoby，2007；Wen等，2016)。虽然这种个性化治疗方案可以提高治疗效果，但是治疗前肿瘤级别的鉴别常需通过活体组织病理检测获得。然而某些位置的胶质瘤并不适合活检(Jackson等，2001)。因此，若能通过其他无侵入方式在治疗前实现胶质瘤的准确分级，将为胶质瘤个性化治疗方案的制定提供一种辅助手段。

早在2012年，荷兰学者Lambin提出影像组学概念，认为利用机器视觉技术从医学图像中提取的大量影像特征，有利于肿瘤的量化分析(Lambin等，2012)。随后，研究学者们将大量影像特征与机器学习技术结合，证实了影像组学在肿瘤分级分期、临床诊断、疗效评估以及预后预测等方面的能力(Gillies等，2016；Aerts等，2014；Lambin等，2017；李翠平和董江宁，2020；刘云鹏等，2020)。在此基础上，Hsieh等人从胶质瘤T1加权磁共振图像中提取局部二值特征(local binary pattern，LBP)，并据此对胶质瘤进行分级，其精度可达0.93，证实了基于影像特征实现胶质瘤分级的可行性(Hsieh等，2017)。鉴于多模态医学图像能够提供更丰富的信息，Qin等人(2017)同时使用T2加权、T1加权和磁共振扩散加权图像(diffusion weighted imaging，DWI)，从中提取灰度共生矩阵纹理特征并进行胶质瘤分级预测，分类受试者曲线下面积(area under curve, AUC)为0.945，证实了基于多模态影像预测胶质瘤分级的优越性。Tian等人(2018)基于多模态数据，使用3D纹理特征，将胶质瘤分级精度及AUC分别提高到0.968和0.987。Vamvakas等人(2019)进一步提取了扩散张量参数图像的影像特征，使得胶质瘤的分级精度达到0.955。

尽管影像组学已经取得了诸多令人瞩目的研究成果，但传统影像特征取决于人工定义的先验知识，进而限制了预测精度。有学者提出深度学习特征可以克服人工特征的局限性(Yip和Aerts，2016)，据此，以MICCAI(Medical Image Computing and Computer Assisted Intervention Society) 2017、2018挑战赛公开数据集为基础，涌现出众多基于深度学习进行胶质瘤分级的相关研究。如，Ge等人(2018b)使用3D卷积神经网络(convolutional neural networks，CNN)提取多尺度特征并对胶质瘤进行分级，精度为0.89，证实了卷积神经网络在胶质瘤分级上的有效性。同年，他们尝试采用2D CNN模型提取多模态影像特征，结合双线性池化对多模态特征进行融合，其分级预测精度为0.91，进一步证实多模态影像特征融合优于多模态混合训练策略(Ge等，2018a)。考虑到自然图像与医学图像的共性，Yang等人(2018)使用迁移学习的思路，将GoogLeNet的预训练模型用于胶质瘤分级，精度和AUC分别为0.945和0.968，为后续基于迁移学习的胶质瘤分级研究奠定了基础。此外，Ali等人(2019)提出使用深度卷积生成对抗网络进行数据增强，并采用自适应编码器无监督地提取不同模态的特征，根据融合特征进行胶质瘤分类，其精度为0.92。在深度学习进行胶质瘤分级工作中，Mzoughi等人(2020)采用多尺度3D CNN模型，基于多模态数据对胶质瘤进行分级预测，其精度为0.964。Zhuge等人(2020)巧妙地将Mask R-CNN(region CNN)改进成为多任务模型，用分割、分类和定位3个任务同时训练其模型，最终在胶质瘤分级上精度高达0.971。该工作首次将多任务模型应用到胶质瘤分级中，或为将来进一步优化胶质瘤分级网络做出启示。

虽然上述工作已经达到了较高的精度，但均是在给定病灶区域的情况下获得的。其高精度是以大量的人工标注和病灶区勾画为前提的(Afshar等，2019)，且部分工作需要分开训练不同模型，这种非端到端的训练方式并不符合实际需求。为了克服对病灶区域勾画的依赖，利用端到端模型实现胶质瘤的准确分级，本文提出一种自适应多模态融合网络(adaptive multi-modal fusion network，AMMFNet)，在不需要勾画肿瘤区域的情况下，实现胶质瘤的准确分级。模型主要由3个模块组成，首先是多模态特征提取模块，采用多分支同构异义网络提取多模态影像特征，其次是多模态特征融合模块，使用高维卷积和多尺度降维模块自适应地学习多模态多尺度特征之间的融合策略，最后基于分类层实现胶质瘤分级的准确预测。

本文使用MICCAI 2018分割挑战赛公开数据集(Menze等，2015；Bakas等，2017；Clark等，2013)，共包含285个胶质瘤病人的多模态磁共振图像数据，即T1加权、T2加权、T1对比度增强和Flair图像，所有数据均使用3T核磁共振成像仪器进行采集。为了保证不同模态的数据具有相同的分辨率和图像大小，公开数据集首先进行重采样以及图像配准，所有模态图像的分辨率为1 mm×1 mm×1 mm，图像大小为240×240×155。配准后采用自动分割方法获取胶质瘤的肿瘤核心区域、坏死区域以及水肿区域，最后通过4个专业医生对分割结果进行校准，形成3个肿瘤区域蒙版，同时根据病理结果标记出胶质瘤的级别。其中，低胶质瘤病人75个，高胶质瘤病人210个，样本比接近1 ∶3。

AMMFNet主要分为3个模块：多模态特征提取模块、自适应多模态多尺度特征融合块以及分类模块，总体框架如图 1所示。图中每个方块代表神经网络的隐藏层，为了方便表示，卷积层后的最大池化层在总图中未画出，但实际上，每个卷积层后面均有一个池化层，将图像大小降低至原来的1/2。首先，将多模态影像数据$\boldsymbol{X}^{1}, \boldsymbol{X}^{2}, \boldsymbol{X}^{3}, \boldsymbol{X}^{4}$输入到多模态特征提取模块，该模块由4个同构异义网络组成，即网络具有相同的结构但具有不同的网络参数，基于单模态损失分别训练4个网络分支以提取不同模态图像的特征。然后，将4个同构异义网络不同层的特征输入到自适应多模态多尺度特征融合模块，经过融合块融合同一尺度的多模态特征，再经过降维、多感受野池化以及拼接操作，将多尺度特征融合。该融合模块的网络参数，是在固定特征提取模块网络参数的条件下，采用融合损失训练得到的。最后通过总分类损失对多模态特征提取模块和特征融合模块的网络参数进行微调，以达到最优的分类效果。下面分别对每个模块具体的网络结构以及损失进行详细阐述。

多模态特征提取模块由4个同构异义分类网络组成，每个分支又可分为图像特征层、语义特征层以及分类器3部分。同构异义网络的具体结构如图 2(a)所示。由于图像中肿瘤区域较小，在图像特征层使用小尺度卷积仅能得到少量的纹理信息，为了同时感知到肿瘤的形状和结构特征，需要使用大尺度卷积核。因此在图像特征层，本文提出类Inception结构的多感受野卷积(图 2(b)(左))，将大尺度卷积、小尺度卷积以及小尺度池化结合在一起，使用多分支的思想有效提取图像的基本特征。随着网络加深，特征的抽象程度变高，图像尺寸下降，小感受野卷积核已经足够用来捕捉网络需要的语义特征。因此在语义特征层，本文采用类VGG(Visual Geometry Group)网络的结构，将3×3的卷积进行级联，采用5×5的最大池化层进行下采样，形成卷积块，平滑地加深网络，直到图像降至较小尺寸。随后，引入多感受野池化层，使用多路下采样的方式替代目前常用的全局平均池化层，即使用大尺度卷积搭配小尺度平均池化、小尺度平均池化级联以及大尺度平均池化并行的策略，得到多尺度语义特征。为了避免大尺度卷积引入过多的参数，在多感受野池化中采用两个低维卷积级联替代大尺度卷积，如图 2(b)(右)所示。最后，将多尺度语义特征输入至分类器，训练分类器，使得利用每种模态数据进行胶质瘤分级时，均能得到最好的精度。

为了实现这一目的，特征提取模块中每个分支的损失均同时考虑了任务级别损失$L_{C l}$和特征级别损失$L_{E}$，即

$ L_{S}(\boldsymbol{l}, \boldsymbol{z}, \boldsymbol{y}, \boldsymbol{s})=L_{C l}(\boldsymbol{l}, \boldsymbol{y})+\lambda L_{E}(\boldsymbol{z}, s) $

(1)

式中, $\lambda$代表特征级别损失的权重系数，$\boldsymbol{z}$表示特征矢量，$\boldsymbol{y}$代表类别标签，$\boldsymbol{l}$代表类别预测概率，$s$为指示变量。其中任务级别损失采用加权交叉熵分类损失实现，其表达式为

$ L_{C l}(\boldsymbol{l}, \boldsymbol{y})=-\sum\limits_{i=1}^{N} \sum\limits_{c=1}^{C} w_{c} \boldsymbol{y}_{i, c} \log \boldsymbol{l}_{i, c} $

(2)

式中, $w_{c}$表示第$c$个类别的权重，$N$为样本数，$C$为类别总数，$\boldsymbol{y}_{i, c}$为第$i$个样本的标签向量，判断样本$i$是否属于第$c$类，其取值为0或1，$\boldsymbol{l}_{i, c}$为第$i$个样本预测为第$c$类的概率向量。

特征级别损失则采用特征嵌入损失，通过衡量特征的类间距离和类内距离来评价分类的性能，其表达式为

$ L_{E}(\boldsymbol{z}, s)= \begin{cases}1-\cos \left(\boldsymbol{z}_{1}, \boldsymbol{z}_{2}\right) & s=1 \\ \max \left(0, \cos \left(\boldsymbol{z}_{1}, \boldsymbol{z}_{2}\right)\right) & s=-1\end{cases} $

(3)

式中，$s$为指示变量，$s$为1时，表示$\boldsymbol{z}_{1}$和$\boldsymbol{z}_{2}$为同一类别中两个样本的特征向量; $s$为-1时，表示$\boldsymbol{z}_{1}$和$\boldsymbol{z}_{2}$为不同类别中两个样本的特征向量。$\cos(·)$表示余弦函数。通过式(3)可知，特征嵌入损失$L_{E}$会使得同类样本特征越来越相似，不同类别样本特征差距越来越大，进而辅助提高分类精度，从而保证该模块中语义特征提取的有效性。

多模态特征提取模块网络训练后，每个分支的卷积层可以提取各自模态影像的特征。鉴于多模态影像特征可以相互补充，本文提出了自适应多模态特征融合模块，以融合不同模态图像的多尺度特征。在分类中，语义特征起关键作用。因此，仅将多模态特征提取模块中语义特征层提取的特征输入到自适应多模态多尺度特征融合模块，具体结构如图 3所示。

首先经过4个具有相同网络结构的融合块将语义特征层中同一尺度的多模态特征进行融合。令某一尺度上第$k$个模态的特征图为$\boldsymbol{X}^{k}$，则融合后的特征图为

$ \boldsymbol{X}^{f}=f\left(\boldsymbol{\varPhi}\left(\boldsymbol{X}^{1}\right), \boldsymbol{\varPhi}\left(\boldsymbol{X}^{2}\right), \cdots, \boldsymbol{\varPhi}\left(\boldsymbol{X}^{N}\right)\right) $

(4)

式中，$N$代表模态数目，本文中$N$=4；$\boldsymbol{\varPhi}$表示变换函数，可理解为某种空间投影操作，对不同模态特征图进行变换以便更好地融合；$f$为融合规则，即如何将不同模态特征在映射空间的表示有效结合起来，以找到最优的多模态特征融合方式。本文中，空间变换函数$\boldsymbol{\varPhi}$及融合规则$f$均由融合块网络表示。融合块的详细网络结构如图 3(b)(左)所示，同一尺度的多模态特征图拼接后输入到融合模块，其输入为$\boldsymbol{X}^{i}=\left[\boldsymbol{X}^{1}, \boldsymbol{X}^{2}, \boldsymbol{X}^{3}, \boldsymbol{X}^{4}\right]$，其中[·]表示拼接操作。为了能够有效地学习不同模态特征的非线性映射以及融合规则，在融合模块中将3D卷积拆分成多个可分离卷积分支，并对每个分支提取的特征进行拼接

$ \begin{gathered} \boldsymbol{X}^{s}=\left[\left\{f _ { A } \left(B N \left(\boldsymbol { \kappa } _ { 1 d } ^ { z } * \left\{f _ { A } \left(B N \left(\boldsymbol{\kappa}_{1 d}^{y} *\right.\right.\right.\right.\right.\right.\right. \\ \left.\left.\left.\left.\left.\left.\left\{f_{A}\left(B N\left(\boldsymbol{\kappa}_{1 d}^{x} * \boldsymbol{X}^{i}\right)\right)\right\}\right)\right)\right\}\right)\right)\right\}, \\ f_{A}\left(B N\left(\boldsymbol{\kappa}_{1 d}^{z} *\left\{f_{A}\left(B N\left(\boldsymbol{\kappa}_{2 d}^{x y} * \boldsymbol{X}^{i}\right)\right)\right\}\right)\right), \\ \left.f_{A}\left(B N\left(\boldsymbol{\kappa}_{3 d} * \boldsymbol{X}^{i}\right)\right)\right] \end{gathered} $

(5)

最终采用2D卷积对拼接特征进行融合，其融合模块的输出特征为

$ \boldsymbol{X}^{o}=f_{A}\left(B N\left(\boldsymbol{\kappa}_{2 d}^{x y} * \boldsymbol{X}^{s}\right)\right) $

(6)

式中，$\boldsymbol{\kappa}_{1 d}^{x}, \boldsymbol{\kappa}_{1 d}^{y}, \boldsymbol{\kappa}_{1 d}^{z}$分别代表沿特征图的$x, y, z$这3个方向进行1维卷积，$\boldsymbol{\kappa}_{2 d}^{x y}$代表沿特征图的$x, y$方向进行2维卷积，$k_{3 d}$表示3维卷积，$B N$代表批标准化，$f_{A}$代表激活函数。可以看出通过可分离卷积，不仅可以增加网络学习的非线性能力，还能够将卷积操作的感受野集中在图像不同维度上的局部区域，进而可以根据不同维度上的图像特征自适应地学习融合策略。此外，可分离卷积可以大大减小网络参数量。

多模态融合块仅能融合同一尺度下不同模态的特征，为了更好地进行胶质瘤分级，需继续将不同尺度上的特征再次融合。由于不同语义级别的特征维度不一致，直接使用平均池化对大尺度特征图进行降维操作可能导致重要信息丢失，这是由于池化属于全局策略，对特异度较高的特征并不敏感(Sun等，2017)。即使能够将不同尺度特征处理成相同图像大小，但由于语义级别的不同，在同一空间位置上，其感受野已经大不相同(Jacobsen等，2016)，若采用类似多模态特征融合模块的思想对多尺度特征进行处理，则较容易破坏不同语义级别特征的特异性，导致融合后特征逐渐趋于单尺度。为解决这一问题，本文设计了多尺度降维模块，通过大尺度卷积、小尺度卷积搭配小尺度池化，以及大尺度池化3个分支相结合的方式，有效保留不同尺度特征的语义级别，具体结构如图 3(b)(右)所示。卷积核和池化核的大小随着尺度的变化而变化，即图 3(b)(右)中核的大小$K$与输入特征图的大小有关，若某尺度上特征图大小为$M$，则$K=M-6$。经过多尺度降维模块后，其输出特征图大小均为6×6像素。再利用多感受野池化层提取更高级的语义特征，将特征图降维到1×1，最后采用拼接操作将不同尺度的多模态特征融合，并输入至分类器，利用融合损失训练自适应多模态多尺度特征融合模块，以获得最佳的融合网络参数。融合损失$L_{F}$的表达式为

$ L_{F}(\boldsymbol{l}, \boldsymbol{z}, \boldsymbol{y}, s)=L_{C l}(\boldsymbol{l}, \boldsymbol{y})+\alpha L_{E}(\boldsymbol{z}, s) $

(7)

式中，$α$为特征嵌入损失的权重。学习到多模态特征提取模块以及自适应多模态多尺度特征融合模块的网络参数后，为了进一步提高分类效果，本文提出采用全局损失$L_{T}$优化整个AMMFNet网络参数，以达到最优分类效果。

$ L_{T}(\boldsymbol{l}, \boldsymbol{z}, \boldsymbol{y}, s)=\sum\limits_{i=1}^{4} L_{S}(\boldsymbol{l}, \boldsymbol{z}, \boldsymbol{y}, s)+\beta L_{F}(\boldsymbol{l}, \boldsymbol{z}, \boldsymbol{y}, s) $

(8)

式中，$β$表示特征融合损失的权重。本文定义的特征嵌入损失中，所使用的特征向量$\boldsymbol{z}$均指输入分类器的1维特征矢量，即每个多池化感受野模块输出的拼接特征向量。

本文实验使用Pytorch框架，在NVIDIA Tesla P40 GPU上进行训练和测试。所有对比实验均采用相同的训练集和测试集，即训练集和测试集数据比例为4 ∶1，且训练集和测试集中低、高胶质瘤比例为1 ∶3。在开始训练之前，先对数据集进行预处理。首先，筛选掉不含肿瘤的切片，然后将图像的前景区域大小进一步裁剪到224×224像素，接着，每个模态图像作为一个通道，将4种模态图像进行拼接形成4通道图像，最后，不使用病灶区掩膜，将完整的、剪裁过的4通道图像输入到网络进行训练。为了克服过拟合，训练过程中采用内部数据增强策略，如对图像进行随机中心裁剪、平移、旋转和灰度增强等，增强后的数据大小为192×192像素。

模型中卷积层采用Kaiming初始化方法进行初始化, 全连接层采用正态分布初始化。训练统一使用Adam优化器, 其超参数$\beta_{1}=0.9, \beta_{2}=0.999$, 学习率$l r=0.0001$, $BatchSize =32$, $Epoch\ Total = 500$。损失中的超参数设置为$: \lambda=0.25, \alpha=1$, $\beta=1$。具体的训练策略如下:

算法：模型训练策略

输入：初始化模型;

    4通道多模态图像;

    超参数：$\lambda=0.25, \alpha=1, \beta=1, \eta=0.0001$

    $BatchSize$=32, $EpochTotal$=500,

    $StepsOfEachEpoch$=350，

训练：

    For $i$=1∶$Epoch$

        打乱数据集，

        For $j=1:\lfloor Steps / 3\rfloor$

            数据增强，

            读取一个批次的数据，

            训练多模态特征提取模块，

            $w_{S}=w_{S}-\eta \frac{\partial L_{S}}{\partial w_{S}}$

        $\text { For } j=\lfloor { Steps } / 3\rfloor+1:\lfloor { Steps } / 3 \times 2\rfloor$

            数据增强，

            读取一个批次的数据，

            训练自适应多模态多尺度融合模块，

            $w_{F}=w_{F}-\eta \frac{\partial L_{F}}{\partial w_{F}}$

        $\text { For } j=\lfloor { Steps } / 3 \times 2\rfloor+1: { Steps }$

            数据增强，

            读取一个批次的数据，

            训练整体网络，优化所有模块参数，

            $w =w-\eta \frac{\partial L_{T}}{\partial w}$

            $w =\left\{w_{S}, w_{F}\right\}$

输出: 分类结果，单模态特征，多模态特征。

为了较全面地评价和分析模型性能，本文选择包括AUC在内的7组定量指标对AMMFNet得到的分级结果进行分析。AUC需要根据受试者曲线(receiver operating characteristic curve, ROC)进行计算，是分类模型常用的度量指标。其主要度量的是模型在不同阈值下是否能有效区分正例和负例，较大的AUC表示模型受阈值的影响较小，从而反映模型在高精度的情况下，也较为稳定。另外6组指标分别为：精度($ACC$)、特异度($SPE$)、灵敏度($SEN$)、阴性预测率($NPV$)、阳性预测率($PPV$)以及平均F1分数，其计算方法为

$ S E N=\frac{T P}{T P+F N} $

(9)

$ S P E=\frac{T N}{F P+T N} $

(10)

$ N P V=\frac{T N}{T N+F N} $

(11)

$ P P V=\frac{T P}{T P+F P} $

(12)

$ A C C=\frac{T P+T N}{T P+F P+F N+T N} $

(13)

$ F_{1}=\frac{2 \times S E N \times P P V}{S E N+P P V}+\frac{2 \times S P E \times N P V}{S P E+N P V} $

(14)

式中，$TP$表示正例预测正确的数目，$TN$表示负例预测正确的数目。同理，$FP$表示正例预测错误的数目，$FN$表示负例预测错误的数目。$ACC$主要衡量的是模型能在总样本中正确预测出多少样本；$SEN$及$SPE$关心的是模型能否将某类样本本身的类别预测正确，所以也称为查全率(recall)；$NPV$和$PPV$重点在于衡量模型预测的类别中，有多少是确实属于这一类的，因此也称为查准率(precision)；平均F1分数同时将不同类别的查全和查准纳入计算，可以更准确地衡量模型在正负例样本上的均衡性和稳定性。

由于目前直接使用未标记有感兴趣区域(region of interest, ROI)数据进行胶质瘤分级预测的模型罕见报道，为了验证本文所提模型AMMFNet的性能，分别与主流深度学习模型VGG19(Simonyan和Zisserman，2015)、残差网络(residual network, ResNet)(He等，2016)、抑制激励残差网络(squeeze-and-excitation residual network, SEResNet)(Cheng等，2017)、InceptionV4(Szegedy等，2016)以及神经结构搜索网络(neural architecture search, NASNet)(Zoph等，2018)进行对比。图 4显示了不同模型在同一个测试集下预测高低胶质瘤的ROC曲线。其中图 4(b)为图 4(a)局部区域的放大图，以便更好地对比不同模型的性能。可以看出，所有模型对低高胶质瘤进行预测均能得到较准确的结果(AUC > 0.9)，而本文模型AMMFNet取得了最高的预测准确度，其AUC可达0.965，相比于VGG19，ResNet，SE_ResNet, InceptuionV4和NASNet，AUC分别提高了3.1%，0.6%，3.3%，1.3%和2.0%。

为了进一步验证所提模型的优越性，图 5给出了不同模型预测高胶质瘤时在3个不同模态数据上的响应图，其中左边为全脑的响应图，右边为放大的肿瘤区域响应图。其获取方式为：以25×25像素大小的窗口在原图上进行滑动，每滑动一次，将窗口覆盖的图像插值到网络输入大小，然后输入到训练好的网络计算预测概率，滑块完成后即可得到相应类别的响应图。

图 5(a)(b)(c)分别显示了肿瘤切片的T1，T1C和Flair模态图像(左)以及对应的ROI区域放大图(右)，并画出了肿瘤区域的标记框，其中白色框内代表肿瘤核心区域, 黑色框内白色框外表示坏死区域, 红色框内黑色框外为水肿区域。图 5(d)—(i)分别为利用本文模型AMMFNet，SEResNet，InceptionV4，NASNet，VGG19以及ResNet得到的HGG预测响应图。可见，由于引入了多尺度特征的向下传递，AMMFNet预测响应图的细节较丰富，且在肿瘤区和坏死区响应程度最大，而在图像灰度值与肿瘤区域较近的区域受到的影响较小。SEResNet由于加入了通道注意力(squeeze and excitation, SE)模块，模型能很好地聚焦在肿瘤核心周围，但对坏死区和水肿区不敏感(Cheng等，2017；Targ等，2016)。由此可以推测，其分类效果不如AMMFNet的原因可能是由于坏死区和水肿区的特征对分级是有益的。除了上述两种模型外，其余模型皆出现聚焦位置过大(VGG19)或过小(NASNet，ResNet)，甚至聚焦位置发生错位的现象(InceptionV4)，不能准确地给出类别响应图。根据响应图可以推测，AMMFNet具有较好的预测精度，是因为其类别响应图可以准确地对准肿瘤核心区域以及肿瘤边缘区域。

除ROC曲线外，表 1中给出了不同模型对高低胶质瘤分级的定量评价指标。可以看到，除了灵敏度和阴性预测率外，本文模型AMMFNet在其他所有评价指标上均得到了最好的结果。其中，AMMFNet的平均F1指标比最差的模型InceptionV4同比提升了5.9%，比次优模型ResNet同比提升了3.6%。结合响应图进行分析，不难得出，AMMFNet由于能更好地关注到图像细节，在正负例样本上的表现较为稳定。虽然InceptionV4在灵敏度和阴性预测率上比AMMFNet要高，但其特异度与灵敏度的差异较大，在LGG和HGG上的预测准确度较不均衡，且从其类别响应图可以看出，分类的高响应区域并未集中在肿瘤区域，无法证实其分类的可信程度。

目前，大多数使用MICCAI挑战赛数据集进行胶质瘤分级的方法均使用病灶区图像作为模型的输入。为了和MICCAI相关研究进行对比，本文将肿瘤区域图像替代整幅图像，作为AMMFNet模型输入，进行训练学习，并与最新方法对比，其实验结果如表 2所示。

可以看到，在使用病灶区图像作为模型输入时，本文模型AMMFNet在高低胶质瘤的分级预测精度上最高，比目前最好的分类模型的预测精度同比增长1.2%，证实了本文方法的优越性。

鉴于ResNet和SE模块在分类中的优势，本节对AMMFNet的部分子模块利用ResBlock和SE模块进行替代，用以分析AMMFNet进一步优化的潜力。主要优化方案是将多模态特征提取模块的语义特征层进行替换，将具有VGG结构的卷积层替换为ResBlock结构，并在多模态融合模块之前引入SE模块，对多尺度多模态特征进行加权。其可优化模型对应的胶质瘤分类ROC曲线如图 6所示，可以看出引入SE模块，可以增加胶质瘤预测的AUC，具体的定量分析结果详见表 3。

从表 3中不难看出，用ResBlock替代卷积块中的类VGG卷积时(AMMFNet+Res)，其模型的预测性能下降，其原因可能是网络较浅，ResBlock无法发挥其优势。而将SE模块引入，对多模态特征进行加权后(AMMFNet+SE)，模型的预测性能有了较大提升，相比于AMMFNet，其精度、灵敏度、特异度、阳性预测率、阴性预测率以及平均F1均得到了提高。但当同时使用ResBlock和SE模块时(AMMFNet+Res+SE)，仅在阴性预测率和灵敏度上有所提升，而在其他指标上均有所下降。

本文提出了一种自适应多模态多尺度特征融合分类网络AMMFNet，在同时考虑多模态信息和多尺度信息的情况下，无需勾画病灶区即可实现胶质瘤分级的准确预测，其AUC可达0.965，高于现有的主流深度学习分类模型。而在使用病灶区域预测时，其AUC高达0.997，优于胶质瘤分级的最新模型。

多模态数据之间的信息可以互相补充，比起单模态来说，具有更丰富的特征搜索空间，通过本文设计的多模态特征提取模块，可以有效挖掘对分类有益的语义特征。利用自适应多模态多尺度特征融合模块，使用可学习的卷积近似融合规则，可以一定程度上增加融合规则的适应性。但实际上，实验过程中还存在一些有待讨论的问题。如，AMMFNet虽然可以在保证多模态特征差异的情况下完成对胶质瘤的分级，但训练中由于多个模态训练速度不一致，很难进一步提高分级精度。另外，在4个模态中，从T1和Flair模态图像上较难有效地辨认出肿瘤区，将其纳入多模态模型反而会拉低模型的预测精度。这说明，在采用多模态自适应融合策略的同时，还应该对每个模态数据加入更强的约束，以保证各个模态特征提取模块的训练速度基本一致，从而降低多模态模型受单个模态的影响。

从模型的可优化分析结果看出，引入不同的子模块需要考虑网络所需解决的具体问题。除了引入SE模块外，在自适应融合规则的学习模块中引入较新的图像注意力机制，也是未来可优化的方案之一。除融合模块的优化外，本文设计的网络模型深度仅有11层，还可以对网络进行加深。越深的网络往往语义化程度越高，表达能力也就更好。但是，随着网络深度的增加，网络参数逐渐增多，如何借鉴前沿网络的设计思路，在加深网络的同时减少网络参数，从而提高模型的分级表现，同样也是未来值得探索的方向。