在脑科学领域，人们一直致力于理解人类大脑的功能(Yarkoni等，2011；杨志和左西年，2015)。借助计算机认识人类大脑是流行的手段之一，原理是通过大脑的活动信息解码大脑。近年来，越来越多的研究者使用血氧水平依赖性功能核磁共振成像(functional magnetic resonance imaging，fMRI)技术探索脑功能(Anzellotti和Coutanche，2018；Hebart和Baker，2018)。fMRI的原理是脑活动区域局部血液中氧合血红蛋白与去氧血红蛋白比例的变化引起局部组织中T2的变化，从而可以在T2加权图像上反映脑组织的局部活动功能。该技术的非侵入性和无辐射的优点是其备受青睐的重要原因。

分析处于不同任务状态时的大脑fMRI影像数据，并探索基于大脑影像数据区分大脑所处的不同任务状态有助于研究人员更好地获知大脑中思想、感觉与行为的奥秘，也有利于进一步推动fMRI成像在精神疾病临床诊断和治疗中的应用(Barch等，2013)。基于利用fMRI技术获取的数据，已有研究使用脑影像测度进行大脑处于不同任务状态时的任务分类。简而言之，研究者可以通过任务态fMRI数据提取脑影像测度，利用脑影像测度训练分类模型，使用训练好的模型即可基于新的任务态下收集到的fMRI数据识别出大脑处于什么样的任务。关于任务态fMRI数据，通常可以利用两种脑影像测度。第1种测度是体素或不同脑区(脑区也称感兴趣区)的fMRI时间信号；第2种测度是反映不同脑区交互关系的脑功能连接。

在已有的基于任务态fMRI数据进行大脑任务分类的相关研究中，更多的研究集中于使用fMRI时间信号进行分类。Mensch等人(2017)利用多个站点的fMRI时间信号使用迁移学习对不同的认知状态进行分类。尽管各站点的数据涵盖的认知状态并不完全相同，但是通过迁移学习可以很好地将fMRI时间信号的特征提取出来，其在部分站点的分类结果达到了91%左右。Gao等人(2019)运用迁移学习，将基于自然图像训练的卷积神经网络(convolutional neural network, CNN)迁移到基于fMRI数据的认知状态分类，对7种认知状态的分类准确率达到75.2%。Thomas等人(2019)利用迁移学习，基于fMRI数据在7种认知状态的分类准确率最高为81.91%。Zhang等人(2021)针对fMRI时间信号提出运用图卷积网络(graph convolutional networks, GCN)进行大脑21种任务的分类。该方法将脑区作为图的节点，将fMRI时间信号作为图的节点特征来区分6个认知状态下的21种任务，准确率达到90%。Wang等人(2020)针对fMRI时间信号提出一种3维空间的卷积神经网络(3D-CNN)模型，对7种大脑认知状态进行分类，分类准确率达到了93.7%。Qi等人(2021)针对fMRI时间信号提出具有注意力机制的3D-CNN网络，在分类7种大脑认知状态时，分类准确率最高为88.69%。这些研究表明，利用fMRI时间信号探索大脑认知状态有很大潜力。

已有的使用脑功能连接测度进行大脑任务分类的工作并不多。Gonzalez-Castillo等人(2015)利用不同时间窗口下的任务态fMRI数据估计的脑功能连接测度对大脑的记忆、数值计算和视觉注意3种任务状态进行分类，结果表明设定大于22.5 s的时间窗口进行任务状态的分类是可行的，但该方法关于视觉注意任务的分类在不同时间窗口的分类准确率都小于70%，总体分类准确率小于90%。

虽然以上针对大脑在不同任务的分类研究都取得了不错的分类效果，但是这些研究都没有有效利用任务态fMRI数据中的时序信息。本文提出一种基于门控循环单元(gated recurrent unit，GRU)(Cho等，2014)的模型捕获任务态fMRI数据中更细粒的时序特征，并直接用该特征区分不同的运动任务。GRU是循环神经网络的一个变体，尽管循环神经网络在时序数据的处理和应用上已表现出巨大潜力，但是使用循环神经网络分析大脑运动功能的工作很少，本文是首次利用GRU模型基于全脑脑区时间信号进行人脑运动任务的工作。本文方法有效提取并利用了任务态fMRI数据的时序信息，极大提高了不同运动任务分类的准确率。

本文使用HCP(human connectome projects)数据集中100个健康被试者在5种运动任务下的任务态fMRI数据(https://db.humanconnectome.org/data/projects/HCP_1200)。该数据集是在3T Siemens Skyra上使用梯度回波EPI(echo planar imaging)序列采集的，采集参数为$TR$ = 720 ms，$TE$ = 33.1 ms，翻转角度为52°，视野(field of view，FOV)= 208 mm × 180 mm，72层，2.0 mm各向同性体素。

在数据采集时，每个被试者按要求进行5种运动任务，依次为左手、右手、左脚、右脚和舌头的移动，共进行两轮。每种运动任务都持续12 s，前后运动任务之间设有时间间隔。本文的目的是利用任务态fMRI数据实现不同运动任务的识别(即分类)。fMRI数据预处理由美国HCP团队完成，步骤主要包括头骨去除、运动校正、切片时间校正、空间标准化、空间平滑和时间信号去趋势等(Barch等，2013；Glasser等，2013)。

本文从预处理后的任务态fMRI数据中估计了多种脑影像测度(包括全脑脑区的时间信号和脑功能连接)，这些测度将用于运动任务的分类。

从上可知，100个被试者在5种运动任务进行两轮后的任务态fMRI数据共1 000条(100个被试者× 5种运动任务× 2轮= 1 000条)。被试者的任务态fMRI数据都通过Glasser脑模板(Glasser等，2016)分割对应到360个不同的脑区，每个脑区的时间信号(time course，TC)用该脑区内所有体素时间信号的平均信号来代表。依照此方式进行分析，每条任务态fMRI数据包含360个脑区的时间信号，且每条数据仅对应一种运动任务。值得注意的是，因为$TR$=0.72 s，为了使每条任务态fMRI数据完整地囊括该任务的信息(每种运动任务都持续了12 s)，令每条任务态fMRI数据里的每个脑区信号为17个时间点(0.72 s×17=12.24 s)。

为了方便，用$\boldsymbol{D}_1=\left\{\left(\boldsymbol{X}^i, y^i\right)\right\}_{i=1}^{1000}$表示从任务态fMRI数据中提取的全脑脑区时间信号数据，其中$\left(\boldsymbol{X}^i, y^i\right)$为第$i$条全脑脑区时间信号和其运动任务对应的标签。由于全脑分割为360个脑区，每个脑区对应时间点为17的时间信号，所以$\boldsymbol{X}^i \in \mathbf{R}^{360 \times 17}$。标签$y^{i}$=1, 2, …, 5对应5种运动任务。在本文提出的基于门控循环单元的运动任务分类方法中，使用不同运动任务对应的${{\boldsymbol{X}}^{i}}$作为特征进行分类。

为了与基于GRU的方法进行比较，共进行6项对比实验。其中，4项实验使用了全脑脑区的时间信号测度，在这4项实验中，1项实验将${{\boldsymbol{X}}^{i}}$包含的不同脑区的时间信号串联成一行，即转变为一个向量$\boldsymbol{x}^i \in \mathbf{R}^{6120 \times 1}$，对${{\boldsymbol{X}}^{i}}$测度进行特征选择并采用特征选择后的特征进行分类。本文将该实验利用的数据记为$\boldsymbol{D}_2=\left\{\left(\boldsymbol{x}^i, y^i\right)\right\}^{1000}$。另外3项实验采用的测度也为${{\boldsymbol{X}}^{i}}$，即使用${{\boldsymbol{X}}^{i}}$的各个行向量作为输入特征。在本文的6项对比实验中，另外两项对比实验使用基于全脑脑区时间信号进一步计算得到的脑功能连接测度作为输入。脑功能连接反映了大脑中不同脑区的整合和交互关系，常常基于不同脑区的时间信号进行相关性计算而得。本文用${\mathit{\boldsymbol{D}}_3} = \{ (\mathit{\boldsymbol{F}}{\mathit{\boldsymbol{C}}^i}, {y^i})\} _{i = 1}^{1000}$表示脑功能连接数据，其中脑功能连接$\boldsymbol{F} \boldsymbol{C}^i$的计算式为

$ \boldsymbol{F} \boldsymbol{C}^i=g_{\text {coor }}\left(\boldsymbol{X}^i\right) $

(1)

式中，${{g}_{\text{coor }}}$表示基于${{\boldsymbol{X}}^{i}}$计算任意两个脑区对应的时间信号之间的皮尔逊相关系数。由此得到的$\boldsymbol{F} \boldsymbol{C}^i$为一个大小为360 × 360的矩阵，$\boldsymbol{F} \boldsymbol{C}^i$的任意一个元素反映了两个脑区之间的功能连接强度。本文的一项对比实验采用$\boldsymbol{F} \boldsymbol{C}^i$的各个行向量作为特征进行分类实验。由于$\boldsymbol{F} \boldsymbol{C}^i$为一个对称矩阵，另一项对比实验将$\boldsymbol{F} \boldsymbol{C}^i$上三角部分元素(不包括对角线元素)串联成一行，即转变为一个向量$\boldsymbol{u}^i \in \mathbf{R}^{64620 \times 1}$，对$\boldsymbol{u}^i$测度进行特征选择并采用特征选择后的特征进行分类实验。本文将该实验利用的数据记为${\mathit{\boldsymbol{D}}_4} = \left\{ {\left({{\mathit{\boldsymbol{u}}^i}, {y^i}} \right)} \right\}_{i = 1}^{1000}{\rm{ }}$。

循环神经网络(recurrent neural network, RNN)在处理序列数据上非常有效(庄连生等，2019)。为了解决模型训练过程中的梯度消失难题，长短期记忆网络(long short-term memory, LSTM)和GRU模型相继提出并广泛运用于文本分析(Sutskever等，2014；刘婉婉等，2018；谭咏梅等，2018)。GRU和LSTM都是使用门控单元结构控制信息流动。其中，GRU比LSTM模型更为简洁，参数更少，但是却仍然能有效地处理复杂任务。从编码的角度对GRU模型处理序列数据的过程进行分析，简而言之，GRU模型融合序列数据在某个时刻和在此之前的信息得到该时刻的编码信息，如此迭代，在最后时刻得到可以用来表示整段序列的最终编码。

由于全脑脑区的时间信号包含脑区随时间波动的信息，因此该测度具有很强的时序性，即某一脑区任意时刻的信号幅值理论上与该时刻之前的时刻的信号幅值是有关系的。为了捕获到这种关系(即时序特征)，本文基于GRU模型提出了可以提取全脑脑区时间信号中的时序特征并进行分类运动任务的TC-GRU模型。该模型分两步，首先利用GRU提取全脑脑区时间信号中的时序特征；随后基于该时序特征使用线性分类器进行分类。在某一时刻，将全脑脑区在该时刻对应的时间信号幅值和过往时刻GRU模型捕获的时序特征输入GRU模型，通过GRU模型再融合并编码当前时刻信号幅值和过往时刻的全脑脑区时间信号的时序特征，持续此过程直到最后时刻，通过GRU就提取了全部时刻全脑脑区时间信号的时序信息，如图 1所示。

以${\mathit{\boldsymbol{D}}_1}$中第$i$条数据的${{\boldsymbol{X}}^{i}}$为例，GRU提取全脑脑区时间信号的时序特征的过程可以描述为

$ \begin{gathered} \boldsymbol{s}_j^i={R N} N_{\mathrm{GRU}}\left(\boldsymbol{s}_{j-1}^i, \boldsymbol{X}_j^i\right)= \\ \left(1-\boldsymbol{z}^i\right) \odot \boldsymbol{s}_{j-1}^i+\boldsymbol{z}^i \odot \tilde{\boldsymbol{s}}_j^i \end{gathered} $

(2)

$ {\boldsymbol{z}}^i=\sigma\left(\boldsymbol{X}_j^i \boldsymbol{W}^{x z}+\boldsymbol{s}_{j-1}^i \boldsymbol{W}^{s z}\right) $

(3)

$ \boldsymbol{r}^i=\sigma\left(\boldsymbol{X}_j^i \boldsymbol{W}^{x r}+{\boldsymbol{s}}_{j-1}^i \boldsymbol{W}^{s r}\right) $

(4)

$ \tilde{\boldsymbol{s}}_j^i=\tanh \left(\boldsymbol{X}_j^i \boldsymbol{W}^{x s}+\left(\boldsymbol{r}^i \odot \boldsymbol{s}_{j-1}^i\right) \boldsymbol{W}^{s g}\right) $

(5)

式中，$\boldsymbol{s}_{j-1}^i, \tilde{\boldsymbol{s}}_j^i \in \mathbf{R}^{d_s}, \boldsymbol{X}_j^i \in \mathbf{R}^{360 \times 1}, \boldsymbol{W}^{x z}, \boldsymbol{W}^{x s} \in \mathbf{R}^{360 \times d_s}$，$\boldsymbol{W}^{s z}, \boldsymbol{W}^{s r}, \boldsymbol{W}^{s g} \in \mathbf{R}^{d_s d_s}$。$\boldsymbol{W}^{xz}$和$\boldsymbol{W}^{sz}$为更新门的参数，$\boldsymbol{W}^{xr}$和$\boldsymbol{W}^{sr}$为重置门的参数，$\boldsymbol{W}^{xs}$和$\boldsymbol{W}^{sg}$为记忆门的参数，其维度${d_s}$由人为预先设定。$RNN_\text{GRU}$表示GRU模型，${\boldsymbol{X}}^{i}_{j}$表示${{\boldsymbol{X}}^{i}}$的$j$列，即第$j$时刻($j$=1, 2, …, $T$)输入到GRU的全脑脑区时间信号幅值，$\boldsymbol{X}_j^i \in \mathbf{R}^{360 \times 1}$。${\boldsymbol{s}}^{i}_{j}$为GRU提取的从1~$j$时刻整个时间段上全脑脑区时间信号的时序特征，$\tilde{\boldsymbol{s}}_j^i$为GRU提取的第$j$时刻全脑脑区时间信号的时序特征，${\mathit{\boldsymbol{z}}^i}$为控制信息流动的更新门，${\mathit{\boldsymbol{r}}^i}$为控制信息流动的重置门。为了确定${\boldsymbol{s}}^{i}_{j}$，GRU模型需要综合考虑$\tilde{\boldsymbol{s}}_j^i$和$\tilde{\boldsymbol{s}}_{j-1}^i$(式(2))。由于在实际应用中，GRU模型将$\tilde{\boldsymbol{s}}_1^i$, …, $\tilde{\boldsymbol{s}}_{j-1}^i$全部储存并被当前$j$时刻利用是不合实际的，所以设置${\mathit{\boldsymbol{z}}^i}$(式(3))控制利用多少$\tilde{\boldsymbol{s}}_j^i$和$\tilde{\boldsymbol{s}}_{j-1}^i$中的信息去计算得到$\tilde{\boldsymbol{s}}_j^i$，因此$\tilde{\boldsymbol{s}}_j^i$将作为所有$\tilde{\boldsymbol{s}}_1^i$, …, $\tilde{\boldsymbol{s}}_{j-1}^i$的一个表示。另外，GRU模型在提取$\tilde{\boldsymbol{s}}_{j}^i$时，相对于${\boldsymbol{X}}^{i}_{j}$，${\boldsymbol{s}}_{j-1}^i$中只有部分是可利用的。由此，模型依据${\boldsymbol{X}}^{i}_{j}$，用${\mathit{\boldsymbol{r}}^i}$决定${\boldsymbol{s}}_{j-1}^i$中多少信息会重置(式(4))。于是，$\tilde{\boldsymbol{s}}_j^i$综合了${\boldsymbol{X}}^{i}_{j}$和${\boldsymbol{s}}_{j-1}^i$中有用的部分(式(5))。

在$j=1$时，输入到GRU模型的初始全脑脑区时间信号的时序特征为随机化的特征。于是按照式(2)—式(5)描述的过程，本文通过GRU模型得到了$j=1$时刻的时序特征${\boldsymbol{s}}_\text{1}$，并将该特征传递到下一个时刻的GRU中。此过程一直迭代到最后$T$时刻(如图 1)。最终，在最后$T$=17时刻得到的${\boldsymbol{s}}_{T}$提炼了全脑脑区在整段时间上的时序特征。由此，直接基于该特征进行运动任务分类，即

$ \boldsymbol{y}_{\text {pred }}=f_{\text {clf }}\left(\boldsymbol{s}_T\right), \boldsymbol{y}_{\text {pred }} \in \mathbf{R}^{5 \times 1} $

(6)

式中，${f_{{\rm{clf }}}}$是由单层感知器构成的线性分类器，输出的$\boldsymbol{y}_{\text {pred }}$为用独热(one-hot)编码表示的预测结果。

为了检验本文方法是否能更有效地挖掘fMRI数据中的信息以用于运动任务的分类，设计了不同的实验进行对比。分别基于全脑脑区的时间信号测度和脑功能连接测度利用LSTM、GCN和MLP模型对不同运动任务进行分类。其中，对比GRU、GCN和MLP模型是为了证实TC-GRU模型可以捕获更好的时序信息。对比GRU和LSTM模型是为了比较由不同模型提取的fMRI时序特征。

设计的对比实验包括基于全脑脑区时间信号使用LSTM、基于全脑脑区时间信号使用GCN和分别基于全脑脑区的时间信号和脑功能连接使用MLP区分不同运动任务。此外，探测了进行先验特征选择和不进行特征选择对结果的影响。

在使用全脑脑区信号${\mathit{\boldsymbol{D}}_1}$的对比实验中，基于LSTM设计了TC-LSTM模型提取全脑脑区时间信号的时序特征，以此区分不同的运动任务。LSTM同样可以提取并利用全脑脑区时间信号的时序特征，但是模型参数比GRU多。设计该实验主要为了对比在较小样本量情况下，GRU和LSTM提取时序特征的适用性。同时进一步比较利用时序信息的模型和忽略时序信息的模型在区分运动任务上的差异。

以${\mathit{\boldsymbol{D}}_1}$中第$i$条数据的${{\boldsymbol{X}}^{i}}$为例，TC-LSTM提取全脑脑区时间信号的时序特征的过程与TC-GRU一致。在第$j$时刻($j=1, 2, …, T$)TC-LSTM的输入为全脑脑区时间信号在第$j$时刻的幅值${\boldsymbol{X}}^{i}_{j}$和TC-LSTM提取的从1~$j$-1时刻整个时间段上全脑脑区时间信号的时序特征，记为$\boldsymbol{c}_{j-1}^i$。若$j$=1，则该时序特征为随机初始化值。如此，在最后$T$=17时刻得到了全脑脑区在整段时间上的时序特征。然后直接基于该特征进行运动任务分类，如图 2所示。

在使用全脑脑区信号${\mathit{\boldsymbol{D}}_1}$的对比实验中，基于GCN设计了TC-GCN模型提取全脑脑区关系的特征，以此区分不同的运动任务。

在TC-GCN模型中，首先基于训练集数据构建反映脑区关系的图${\boldsymbol{G}}$，计算过程为将训练集中每个样本${{\boldsymbol{X}}^{i}}$对应的功能连接矩阵$\boldsymbol{F} \boldsymbol{C}^i$相加后平均，再根据平均的功能连接使用最邻近算法(k-nearest neighbors，KNN)对每个脑区保留与其连接最强(只考虑正值)的$N$个脑区的连接得到${\boldsymbol{G}}'$，最后将其对称化，即$\boldsymbol{G}=\left(\boldsymbol{G}^{\prime \mathrm{T}}+\boldsymbol{G}^{\prime}\right) / 2$。接着，基于得到的脑区关系图${\boldsymbol{G}}$(无向图)。以${\mathit{\boldsymbol{D}}_1}$中第$i$条数据的${{\boldsymbol{X}}^{i}}$为例，每个脑区的特征对应为${{\boldsymbol{X}}^{i}}$的行向量，每个脑区与其他脑区的连接由图${\boldsymbol{G}}$表示。对于某个脑区，TC-GCN根据图${\boldsymbol{G}}$融合与该脑区有连接的所有脑区的特征，然后更新该融合后的特征。对于更新后的各个脑区的特征，GCN再对其进行一次融合和更新。最后对更新后的每个脑区特征求均值，将所有脑区特征的均值拼接成一行向量，并利用线性层分类，如图 3所示。

针对全脑脑区时间信号测度，设计了两组端到端的模型进行运动任务分类实验。由于脑功能连接是由全脑脑区时间信号计算而来，在计算过程中可能会丢失全脑脑区时间信号中的一些细节信息，因此设计此对比实验，期望全脑脑区时间信号可以提供比脑功能连接更多的信息。

在针对全脑脑区信号${\mathit{\boldsymbol{D}}_1}$的对比实验中，基于多层感知器(multi-layer perceptron, MLP)设计了TC-MLP模型。当输入${\mathit{\boldsymbol{D}}_1}$中第$i$条数据的${{\boldsymbol{X}}^{i}}$时，TC-MLP模型的第1层神经网络提取${{\boldsymbol{X}}^{i}}$中每个脑区的信号特征(一个脑区的信号为${{\boldsymbol{X}}^{i}}$中对应行的行向量)，即并行输入${{\boldsymbol{X}}^{i}}$所有的行向量至TC-MLP的第1层神经网络中；然后平均每个提取出的脑区信号特征，这样得到一列360维的向量；紧接着用TC-MLP第2层至最后一层(不包括最后一层)的神经网络对这列向量继续进行特征提取，得到${{\boldsymbol{X}}^{i}}$最终的特征；最后基于最终的特征用TC-MLP的最后一层进行分类，如图 4所示。

在针对全脑脑区时间信号${\mathit{\boldsymbol{D}}_2}$的对比实验中，基于MLP构造了TC-ANOVA-MLP模型。首先运用方差分析(analysis of variance，ANOVA)在训练集中选出最容易区分5种运动任务的$K$个信号幅值，即ANOVA给出的所有$p$值中最小的前$K$个$p$值对应的信号幅值；然后基于进行了特征选择的数据利用TC-ANOVA-MLP模型进行5种运动任务分类，如图 5所示。ANOVA进行特征选择的过程为：对于每个特征，ANOVA分析其在不同类数据间(即不同任务数据间)的差异(即$p$值)，若该特征在不同类数据间差异较大(即$p$值较小)则保留，否则舍弃。注意，ANOVA仅运用于训练集上，保证了特征提取的无偏性。

由于脑功能连接矩阵是2维数据，而感知器模型要求的输入是1维向量，因此大多数研究都是将功能连接的上三角部分串联成一行作为输入特征。然而，这样会使输入的样本特征维度非常高，可能会带来维度灾难、过拟合等问题。

在基于脑功能连接的两个对比实验中，针对此问题设计新的解决方案。在针对脑功能连接数据${\mathit{\boldsymbol{D}}_3}$的对比实验中，参考深度学习在图论领域的处理方法(Wang等，2016)，基于MLP设计了FC-MLP模型。当输入${\mathit{\boldsymbol{D}}_3}$中第$i$条数据的$\boldsymbol{F} \boldsymbol{C}^i$时，先用FC-MLP的第1层神经网络提取$\boldsymbol{F} \boldsymbol{C}^i$每个脑区的连接特征(一个脑区与全部脑区的连接为$\boldsymbol{F} \boldsymbol{C}^i$对应行的行向量)，即并行输入$\boldsymbol{F} \boldsymbol{C}^i$所有的行向量至FC-MLP的第1层神经网络中。然后，平均每个提取出来的脑区连接特征，得到一列360维的向量；接着用FC-MLP第2层至最后一层(不包括最后一层)对这列向量继续进行特征提取，得到$\boldsymbol{F} \boldsymbol{C}^i$最终的特征。最后，基于最终的特征用FC-MLP的最后一层进行分类，如图 6所示。

在针对脑功能连接数据${\mathit{\boldsymbol{D}}_4}$的对比实验中，基于MLP构造了FC-ANOVA-MLP模型。首先采用ANOVA在训练集中选择出最能区分5种运动任务的$K$个连接作为输入特征，然后基于这些输入特征利用FC-ANOVA-MLP进行5种运动任务分类，如图 7所示。注意，ANOVA同样仅运用于训练集上。

采用一致的方式构建本文的7个模型，即为了保证实验结果稳定可靠，都采用100次的交叉验证方式进行实验，且使用的数据在7个模型中是一致的。在交叉验证实验中，为了减少模型的过拟合，同时尽量保证用于构建(包括挑选)模型的数据和用于验证的数据是独立同分布的，将数据按8 ∶1 ∶1划分为训练集、验证集和测试集。训练集用于训练模型；验证集用于实现模型的选择，即在验证集上取得最高分类准确率的模型作为最终的模型；测试集用来模型评估，即测试构建好的模型的分类准确率。实验时各数据集合中(训练集、验证集和测试集)不同运动任务对应的数据条数是平衡的，以保证不同运动任务的结果具有可比性。

在对实验结果评估时，针对每个模型，评估每次交叉验证测试的总体分类准确率，即分类正确的数据条数除以总的数据条数。用箱线图展示100次交叉验证测试的总体分类准确率，其平均值反映模型的总体准确率，均方差反映模型的稳定性。

在实验中，有些运动任务产生于身体的相似部位，例如左手和右手。为了观察不同运动任务的分类表现，用箱线图展示了每个模型在各种运动任务上的分类准确率。此外，用混淆矩阵反映某运动任务分类成各种运动任务的结果。混淆矩阵的每一行包括了测试集中某类运动任务的所有数据正确分类成该行对应的运动任务的准确率(位于对角线位置)和错误分类成其他运动任务的误分率(位于非对角线位置)。值得注意的是，箱线图和混淆矩阵都包括了100次交叉验证的结果。

以上7个模型的参数设置如下：

1) TC-GRU模型，层数为1，且为单向，隐含层神经元个数为32。TC-GRU用来提取全脑脑区时间信号时序特征的单层感知器神经元个数为5。

2) TC-LSTM模型，与TC-GRU类似。层数为1，且为单向，隐含层神经元个数为32。TC-LSTM用来提取全脑脑区时间信号时序特征的单层感知器神经元个数为5。

3) TC-GRU模型，设定两层GCN，神经元个数分别为32和64。最后的线性层神经元个数为5，即只有输出层。设定用于得到稀疏脑区关系图的KNN中的N=4。

4) TC-MLP模型，设定3层神经网络，神经元个数分别设为32, 64, 5。

5) TC-ANOVA-MLP模型，设定3层神经网络，神经元个数分别为64，64，5。为了保持与TC-GRU模型以及TC-MLP模型第2层网络输入的维度一致，选出$K$=360个差异最显著的幅值作为输入数据。

6) FC-MLP模型，与TC-MLP类似，设定3层神经网络，神经元个数分别为64，64，5。

7) FC-ANOVA-MLP模型，与TC-ANOVA-MLP类似。设定3层神经网络，神经元个数分别为64，64，5。同样，ANOVA选出差异最显著的$K$=360个连接。

在训练模型时，线性整流函数(rectified linear unit, ReLU)激活函数会使得模型更容易收敛，同时dropout技术可以有效减缓模型的过拟合问题。因此，在以上实验中，模型的激活函数均设定为ReLU，正则化选用dropout技术(概率参数设为0.5)和L2参数正则化(权重设为0.000 01)。统一将批量尺寸(batch size)设定为64，训练迭代次数(epoch)设为100次，学习率设为0.001。实验中选用了交叉熵损失和Adam优化器作为训练时的损失函数和优化器。

表 1和图 8为7个模型在100次交叉验证测试中的总体分类准确率。表 1中均值和标准差对应100次交叉验证测试得到的准确率的平均值和标准差。TC-GRU模型的总体分类准确率为94.51%±2.4%，即100次的准确率的平均值为94.51%，准确率的标准差为2.4%。从表 1可以看出，TC-GRU模型总体分类准确率的平均值高于对比实验中的6个模型，均方差都小于对比实验的6个模型。其次，TC-LSTM模型总体分类准确率的平均值高于对比实验中的其他5个模型。另外，基于全脑脑区时间信号测度构建的模型得到的总体分类准确率(100次交叉验证)的平均值都高于87%，而基于脑功能连接测度构建的模型得到的分类准确率的(100次交叉验证)平均值都低于73%。基于全脑脑区时间信号测度训练的模型在整体表现上优于基于脑功能连接测度训练的模型，TC-GRU模型具有最高的准确率和最强的稳定性。

图 9和表 2展示了100次交叉验证实验中7个模型在每个运动任务上的分类准确率。TC-GRU对右脚、左脚、右手、左手、舌头的运动任务分类的准确率分别为92.35%±6.61%、92.35%±4.97%、95.75%±4.02%、93.8%±6.05%、98.3%±2.85%。除了左脚运动任务的分类准确率略逊于TC-ANOVA-MLP(93.0%±6.82%)，在其他部位运动任务的分类准确率均为最高。另外，基于全脑脑区时间信号测度训练的模型在5种运动任务上的分类准确率都高于84%，而基于脑功能连接测度训练的模型在5种运动任务上取得的分类准确率都低于79%。基于全脑脑区时间信号训练的模型在各种运动任务分类上的表现均优于基于脑功能连接测度训练的模型。TC-GRU在绝大多数运动任务上的表现是最好的。

图 10展示了7种模型的混淆矩阵结果，混淆矩阵中每个元素展示了平均值和标准差(括号内为标准差)。可以看出，各模型在运动任务分类过程中受到了运动任务发生在身体相似或同侧部位时的干扰。TC-GRU模型将右脚运动任务分成左脚和右手运动任务的误分率分别为4.35%和2.25%；将左脚运动任务分成右脚和左手运动任务的误分率分别为5.7%和1.2%；将右手运动任务分成左手和右脚运动任务的误分率分别为2.05%和1.1%；将左手运动任务分成右手和左脚运动任务的误分率分别为1.7%和2.05%。除了在分类左脚运动任务时受到的干扰略大于TC-ANOVA-MLP模型，其将左脚分成右脚和左手运动任务的误分率为4.55%和1.25%，TC-GRU在分类其他部位运动任务时受到的干扰都是最小的。即当运动任务发生在身体相似或同侧部位时，TC-GRU模型在进行分类时受到的干扰较小。

基于全脑脑区时间信号，本文提出的TC-GRU模型可以很好地分类5种运动任务。为了表明TC-GRU模型能够有效提取并利用fMRI数据中的时序信息，设计了丰富的对比实验。从实验结果可以看出，在使用全脑脑区时间信号作为特征时，TC-GRU、TC-LSTM、TC-GCN、TC-MLP和TC-ANOVA-MLP模型都可以比较准确地区分手部、脚部和舌头的运动任务，总体准确率都大于92%，其中TC-GRU取得了最高的分类准确率，为94.51%。当运动任务产生在身体的相似或同侧时，会给模型的分类造成一定干扰。对于右脚、左手和右手的运动任务而言，TC-GRU模型在分类时受到的干扰最小。TC-GRU相比其他6个模型在这些运动任务上得到的分类准确率都是最高的。在区分舌头运动任务时，TC-GRU模型也取得了最佳的分类准确率。

TC-GRU模型按时间顺序依次对每个时刻的全脑脑区时间信号进行处理，将不同时刻的时序特征进行融合，得到全脑脑区时间信号的表示，提取出全脑脑区时间信号更为细粒的时序特征，在识别脚部、手部和舌头运动任务时变得更为精准。TC-LSTM也使用了全脑脑区信号的时序特征，表现仅次于TC-GRU模型。而基于全脑脑区时间信号的TC-GCN、TC-MLP和TC-ANOVA-MLP模型都仅考虑某段时间上的整体信息，即将整段信号认为是在同一时刻发生的，处理数据时是对一个完整时间段的全脑脑区时间信号一次性处理，忽略了时序信息，因此结果不够好。总之，在使用样本量较少的情况下，使用时序特征的TC-GRU模型对人脑运动任务分类时表现最优。研究表明，利用GRU模型提取fMRI数据中的时序特征在脑疾病研究中也具有优越性(Yan等，2022)。

在实验结果中，基于全脑脑区时间信号训练的模型在整体表现上优于基于脑功能连接测度训练的模型。可能的原因是功能连接的计算丢失了全脑脑区时间信号中的一些细微信息。

为增加模型的可比性，本文选取的模型都由感知器构成。TC-GRU模型按时间维度展开是一个MLP模型，其中，单层的感知器用来提取某个时刻全脑脑区时间信号的时序特征并输出到下一个感知器。TC-LSTM按时间维度展开也为MLP模型。TC-GCN也用单层感知器更新每个脑区特征。通过实验，对比了利用和未利用fMRI数据中时序信息间的差异，以及利用全脑脑区时间信号和脑功能连接测度的差异。

本文中的数据都是基于360个脑区内的代表性时间信号得到的，为了提高使用数据的可比性，没有与基于3维fMRI图像的3D-CNN网络进行比较。3D-CNN网络具有更高的时间复杂度，对样本量的要求也更高。

本文首次利用GRU模型基于全脑脑区时间信号区分不同的人脑运动任务。为了表明GRU确实可以很好地提取和利用fMRI数据中的时序信息，全面公平地比较了7种模型在人脑运动任务分类方面的表现。探索了利用和未利用fMRI数据中的时序信息对模型进行运动任务分类的影响，比较了利用全脑脑区时间信号和脑功能连接测度对模型进行运动任务分类的影响，明确展示出了使用时序信息对运动任务分类的正面作用。

本文提出的基于TC-GRU模型的人脑运动任务分类充分利用了全脑脑区时间信号中更为细粒的时序信息，可以很好地区分不同的运动任务。相对于对比实验的方法，TC-GRU模型取得了更高的分类准确率。在脑科学领域，利用fMRI获取数据探索人类大脑的运动任务功能是研究的热点。对由fMRI估计的全脑脑区时间信号测度而言，GRU模型能够提取出全脑脑区时间信号的时序特征，更有利于任务态数据的分类。

本文方法有些方面仍需要在未来进行完善。首先，由于实验使用的数据集中样本较少，TC-GRU模型是否能够在大样本下仍然具有优异的表现值得进一步检验。其次，虽然本文方法简洁、参数较少，但是深度学习对计算资源需求很大，如何有效利用硬件资源也是一个亟需解决的问题。最后，采用更加先进的超参搜索算法促进分类结果的提升也是未来的改进方向之一。