0引言旷场实验(open field test，OFT)(Hall，1934)又称敞箱实验，是评价实验动物在新异环境中自主行为、探究行为与紧张度的一种方法，在医学、药理学以及行为学研究中广泛应用。旷场实验将实验组和参考组的小鼠分别放在具有相同环境的独立实验箱中观察，记录并分析两组小鼠的运动时间、运动距离、停留区域及停留时间等信息，从而评价小鼠受到药物及外界刺激后兴奋、焦虑和恐惧等状态的变化。目前，旷场实验仍是用于评价动物自发活动及焦虑症状的经典行为学实验(Walsh和Cummins，1976)。医学研究人员在分析旷场实验时对小鼠行为特征常依据观察和人工经验进行提取和统计，导致可分析特征的维度较低，且对两组小鼠特征差异分析及判断较为依赖主观经验。因此，旷场实验人工分析及数据统计面临精确性与可靠性的双重挑战。本世纪以来，图像分割、目标检测和跟踪、数据统计与分析等方法有效推动了视频分析领域的快速发展。OFT视频分析技术在人工智能与模式识别领域受到关注(Stanford，2007；Nováková等，1997)，深度学习技术在目标分类、特征识别以及图像和视频处理领域取得了众多突破性进展。结合深度学习理论，本文探索小鼠OFT视频运动特征的量化方法以及分类问题，采用拼接矩阵方式形成一种对OFT视频中小鼠运动特征的矩阵化表示，进而结合卷积神经网络(convolutional neural network，CNN)的Tensorflow框架，提出一种能够有效区分测试组和参考组小鼠视频的深度学习视频分类方法。该方法有助于量化分析OFT视频中小鼠的行为差异，为OFT分析提供自动化分类模型及计算方法。本文创新可总结为：1)提出将OFT视频中小鼠的可量化特征进行矩阵化表示，并与难以量化的运动路径图像进行拼接，形成对OFT视频运动特征的特征拼接矩阵，形成可用于特征学习的OFT视频量化数据。2)基于OFT视频的特征拼接矩阵，提出基于卷积神经网络的小鼠分类方法，并在真实OFT数据集上验证了分类的准确性。在此基础上，进一步分析不同卷积神经网络结构的影响，发现仅采用层数较少的简单网络便可实现对特征拼接矩阵高精度分类。3)本文实验均基于真实OFT数据，在受过训练的被测试者很难分辨两组小鼠视频差异的情况下，本文算法仍可准确区分两组小鼠视频之间的差异。这为基于OFT视频的小鼠行为差异量化分析提供了新方法，并为OFT视频分类提供了高精度的自动化方案。1相关工作1.1基于机器学习的视频分类技术自20世纪90年代Cortes和Vapnik(1995)采用软边距非线性支持向量机(support vector machine，SVM)实现高精度的手写字符识别以来，基于SVM的目标分类方法突破了传统特征建模类方法的局限，在多种图像分类和目标识别任务中取得了优异的性能(Durand等，2015；Schuldt等，2004；Lin和Hauptmann，2002)，谷军霞等人(2009)对人类行为分析相关早期工作进行了总结。支持向量机(SVM)是一种监督式学习的方法，主要针对小样本的数据分类(陆波等，2005)，且在多分类场景中效果不理想。近10年，以卷积神经网络为代表的深度学习技术在众多领域得到了广泛应用(Deng和Yu，2014；Nair等，2015；Nam和Han，2016)。在视频分类领域中，Karpathy等人(2014)提出了基于CNN的多分辨率视频分类方法。Ng等人(2015)将循环神经网络和长短期记忆网络连接到底层的CNN输出端，使视频分类的精度上又有了进一步提升。Xu等人(2016)提出了递归卷积神经网络(recurrent convolutional neural network，RCNN)，利用帧图像中的局部特征、密集特征以及连续帧之间的时间特征对视频进行分类，对不同种类的视频分类具有显著效果。Wang等人(2016)提出了一个CNN-RNN组合框架，以解决多标签图像分类问题。Zhou等人(2000)将视频的特征提取和内容分析相结合，提出了一种无监督的视频分类系统，并在视频语义分类中取得了较好效果。冯文刚等人(2011)采用无监督学习方式显示了对无线胶囊内窥镜视频的准确分类。Carreira和Zisserman(2017)提出了一种采用3D卷积神经网络构建的双流融合视频分类方法，并在其发布的Kinetics数据集上取得了准确的人类行为视频分类结果。Jiang等人(2018)在研究了诸如人类的复杂行为之后，提出了一种新的视频分类框架，联合利用特征关系和类关系提高分类性能，提出的正则化语义视频建模对视频分类在当前的视频分类中具有明显优势。Brattoli等人(2020)设计端到端的3D卷积神经网络学习待分类样本内部的视觉特征，可由静态图像预训练分类模型，并在指定视频数据上进行微调(fine-tune)，已获得更好的分类性能。1.2基于机器学习的旷场实验数据处理技术Choleris等人(2001)采用旷场实验研究药物使用与小鼠焦虑行为的关系，使用实验小鼠各种行为(即速度、路程、不同区域的停留时间以及站立次数等)的持续时间量化测试药物的药理性能。基于视频的自动化程序处理技术，Decker和Hamprecht(2014)提出精确对小鼠身体不同部分进行检测的方法，有助于对小鼠行为进行识别和分类。Monteiro等人(2014)提出了一种基于深度映射的小鼠图像分割方法，并给出了4种用于小鼠动作识别和分类的典型特征。此外，Hong等人(2015)尝试对两只小鼠进行更复杂的社会交互行为的识别，采用基于视频的模式识别方法可有效区分13种不同的小鼠行为。在机器学习理论发展的同时，Burgos-Artizzu等人(2012)使用自适应提升(adaptive boosting，AdaBoost)方法(Freund和Schapire，1997)作为集成分类器对实验小鼠进行了社会行为分析，对比了轨迹特征、时空特征以及两者的特征拼接矩阵在AdaBoost下的识别率，结果显示特征拼接矩阵的识别率明显优于单独使用其他两种特征。Giancardo等人(2013)构建了一种实验小鼠的行为识别系统，用时间随机森林法(Svetnik等，2003)对小鼠的交互行为进行分类。Katsageorgiou等人(2016)提出一个数据驱动模型的无监督学习方法对小鼠的相互影响进行分析。上述小鼠行为学分析仍采用单一特征或少量特征组合方式对一只或多只小鼠进行检测和分类，检测精度以及特征可分性仍存在可优化空间。本文介绍一种面向旷场实验视频分类的特征拼接矩阵学习算法，采用CNN作为基本分类器，通过对22维小鼠量化特征所拼接的特征矩阵学习，实现高精度的旷场实验小鼠视频准确分类。2基于视频分析的小鼠视频分类本文OFT实验中的小鼠分为参考组和测试组，在视频拍摄前对测试组小鼠注射某种抗抑郁药物，对参考组小鼠仅注射安慰剂(不含药物的试剂)。本文目标是采用深度学习方法对测试组和参考组小鼠视频进行自动分类，同时量化评价OFT视频中小鼠各个运动特征的可分类特性。针对小鼠的OFT视频数据，本文提出一种基于特征拼接矩阵学习的CNN分类方法，算法流程如图 1所示。图 1中的视频分类流程大致为，从视频集中提取多种小鼠运动特征，并将不同特征进行量化计算，再对量化后的特征进行组合及向量化。在此基础上，将向量化的特征进行矩阵化表达和特征拼接生成特征矩阵$\boldsymbol{B}$。在此基础上，本文提出一种可学习特征矩阵的卷积神经网络，实现对小鼠视频的准确分类。本文方法不需要将视频中的每一帧图像都作为卷积神经网络的输入，从而显著减少神经网络训练的参数量和计算量，因而具有较好的计算性能。 图1 基于特征拼接矩阵的小鼠视频分类流程 An overview of the proposed OFT video classification based on the spliced feature matricesFig 12.1OFT视频小鼠行为的特征提取方法为了量化小鼠的行为特征，本文提取小鼠的爬行总体距离$s$、爬行速度$v$、停留时间$A_{i}$、转折率$f_{(i, k)}$与休息时间$t_{r}$。假设相邻视频帧间的时间为$\Delta t$, 小鼠在一段时间内的距离可由积分$s=\int_{0}^{t} v \mathrm{d} t$进行计算, 其中$v$为小鼠在$\Delta t$内的瞬时速度, $\bar{v}$表示小鼠运动的平均速度。由此, 小鼠OFT视频的可量化特征信息集合为$\left\{\bar{v}, s, A_{i}, t_{r}, f_{(i, k)}\right\}$, 这些可量化的特征可由一个22维的数值化特征向量进行表示。本文采用特征矩阵$\boldsymbol{A}$描述小鼠在旷场不同区域的停留时间，具体为 1 $\boldsymbol{A}=\left[\begin{array}{ccc}A_{1} & A_{2} & A_{3} \\A_{4} & A_{5} & A_{6} \\A_{7} & A_{8} & A_{9}\end{array}\right]$ 式中，$\boldsymbol{A}$表示小鼠在旷场中停留总时间的区域划分，$\left\{A_{i} \mid i=1, 2, \cdots, 9\right\}$为小鼠在旷场不同区域的停留时间。为了求取$A_{i}$，本文利用小鼠重心所属$A_{i}$的范围来统计小鼠在此区域内的停留时间。计算过程为将小鼠在某时刻在$A_{i}$区域内的停留时间记为$t^{\prime}$，当小鼠重心再次属于$A_{i}$时更新$A_{i}=t^{\prime}+\Delta t$。为了计算小鼠爬行的转折率$f\left(\boldsymbol{I}_{i}\right)$, 对一段$\mathrm{OFT}$视频帧集合$\left\{\boldsymbol{I}_{1}, \boldsymbol{I}_{2}, \cdots, \boldsymbol{I}_{n}\right\}$, 本文取前后相邻间隔为$k$的两帧图像, 记为$\boldsymbol{I}_{i-k}$和$\boldsymbol{I}_{i+k}$。对3帧图像$\boldsymbol{I}_{i-k} 、\boldsymbol{I}_{i}$和$\boldsymbol{I}_{i+k}$计算其中小鼠的重心, 计算过程如图 2所示。 图2 求小鼠重心过程 The calculation of the gravity centerFig 2 ((a)original image; (b)difference between the two templates; (c)results of corrosion operation; (d)calculation result of the mouse gravity center) 采用图像的1阶矩计算小鼠重心，计算为 2 $x_{c}=\frac{M_{10}}{M_{00}}, y_{c}=\frac{M_{01}}{M_{00}}$ 3 $\left\{\begin{array}{l}M_{00}=\sum\limits_{i} \sum\limits_{j} V(i, j) \\M_{10}=\sum\limits_{i} \sum\limits_{j} i \cdot V(i, j) \\M_{01}=\sum\limits_{i} \sum\limits_{j} j \cdot V(i, j)\end{array}\right.$ 式中, $M_{00}$表示图像的0阶矩, 可以用来求取图像的轮廓和连通区域的面积。$M_{10}$和$M_{01}$分别表示图像在$x$和$y$方向的1阶矩, $V(i, j)$为二值图像中$(i, j)$位置像素点值。小鼠重心的计算结果如图 2(d)所示。通过式(2) (3) 可得$\boldsymbol{I}_{i-k} 、\boldsymbol{I}_{i}$和$\boldsymbol{I}_{i+k} 3$帧图像中小鼠的重心分别为$\boldsymbol{p}_{i-k}\left(x_{c}^{i-k}, y_{c}^{i-k}\right) 、\boldsymbol{p}_{i}\left(x_{c}^{i}, y_{c}^{i}\right)$和$\boldsymbol{p}_{i+k}\left(x_{c}^{i+k}, y_{c}^{i+k}\right) 3$点, 其中$\left(x_{c}^{i-k}, y_{c}^{i-k}\right) 、\left(x_{c}^{i}, y_{c}^{i}\right)$和$\left(x_{c}^{i+k}, y_{c}^{i+k}\right)$为相邻$k$帧的小鼠重心坐标。则在$i$时刻的小鼠爬行转角$f_{(i, k)}$的计算为 4 $f_{(i, k)}=\arccos \left(\frac{\boldsymbol{p}_{i-k} \boldsymbol{p}_{i} \cdot \boldsymbol{p}_{i} \boldsymbol{p}_{i+k}}{\left|\boldsymbol{p}_{i-k} \boldsymbol{p}_{i}\right|\left|\boldsymbol{p}_{i} \boldsymbol{p}_{i+k}\right|}\right)$ 对于小鼠的休息时间$t_{r}$，本文统计相邻$k$帧中图像中重心平均移动距离$ll_{\min }$的总时间，$l_{\text {min }}$为最小不计运动距离的长度阈值。 5 $l=\frac{1}{k} \sum\limits_{j=0}^{k}\left\|\boldsymbol{p}_{i+j}-\boldsymbol{p}_{i}\right\|$ 2.2行为特征矩阵的拼接生成依据2.1节所述，本文提取小OFT视频特征集合$\left\{\bar{v}, s, A_{i}, t_{r}, f_{(i, k)}\right\}$，包括平均速度$\bar{v}$、爬行总体距离$s$、休息时间$t_{r}$、$A_{1}-A_{9}$的区域停留时间和$f_{1}-f_{11}$的转角频次信息等22维的可量化数值化。通过分析大量小鼠OFT视频的量化特征数据，发现不同的特征维度间存在相关性。例如，分区域停留时间$A_{1}-A_{9}$之间存在明显空间关联性，爬行总体距离与休息时间存在反相关特点，爬行速度与角度频次也存在相关性。因此，采用484×484维特征相关矩阵作为每段视频的特征表达。为了进一步提高OFT视频分类质量，本文将可量化特征矩阵与小鼠路径图像进行拼接，作为分类学习网络的输入以提高分类性能。与现有基于深度学习的视频分类方法不同，本文采用可量化特征与非量化特征结合的方式解决OFT视频的分类问题。在特征量化阶段，为了更好地识别小鼠直线前进和掉头行为，将0°~180°可能的转弯范围划分为11个转角区间统计小鼠爬行中转弯的频率和幅度。除了最大和最小区间角度范围为0°~25°和160°~180°以外，其余区间均为15°范围。由此，采用22维特征向量$\boldsymbol{F}$量化表示小鼠OFT视频特征，即 6 $\boldsymbol{F}=\left[\bar{v}, A_{1}, \cdots, A_{9}, t_{r}, f_{1}, \cdots, f_{11}\right]$ 在此基础上，所有小鼠视频可采用经典SVM进行特征分类。为利用深度学习处理方法同时处理小鼠可量化特征以及非量化的小鼠爬行路径图像$\boldsymbol{I}_{\mathrm{Trk}}$，对可量化特征$\boldsymbol{F}$及小鼠路径图像采用矩阵拼接，构建小鼠行为特征矩阵$\boldsymbol{B}$，具体为 7 $\boldsymbol{B}=\boldsymbol{G}\left(\boldsymbol{F}_{w} \boldsymbol{F}_{w}^{\mathrm{T}}\right) \boldsymbol{G}\left(\boldsymbol{F}_{w} \boldsymbol{F}_{w}^{\mathrm{T}}\right)^{\mathrm{T}} \circ \boldsymbol{H}\left(\boldsymbol{I}_{\mathrm{Trk}}\right)$ 式中，$\boldsymbol{F}_{w}=\omega \boldsymbol{F}$代表对特征维度的加权后向量，其中权重系数为$\omega$，由不同维度对OFT视频分类的重要性排序决定。$\boldsymbol{G}(\cdot)$代表将矩阵按行展开成向量，$\boldsymbol{H}\left(\boldsymbol{I}_{\mathrm{Trk}}\right)$为小鼠的运动路径信息，$\boldsymbol{H}(\cdot)$为对路径图像$\boldsymbol{I}_{\mathrm{Trk}}$的尺度变换，“°”代表两个矩阵的拼接。计算$\boldsymbol{F}_{w} \boldsymbol{F}_{w}^{\mathrm{T}}$可得加权特征向量各维度的一阶自相关矩阵，大小为22 × 22维。在此基础上，构建特征间更为复杂的二阶相关性矩阵。至此，将OFT小鼠行为特征及其二阶相关性用一个维度为484 × 484的矩阵进行表示。随后，采用矩阵拼接方式，将非量化的小鼠爬行路径图像与可量化的运动特征信息进行拼接，形成484 × 968维度的小鼠运动特征拼接矩阵。对于测试组和参考组小鼠的大量视频，本文对每段视频进行特征矩阵样本生成，由此将两组小鼠的视频分类问题转变为对上述特征矩阵集合$\boldsymbol{Q}=\left\{\boldsymbol{B}_{1}, \boldsymbol{B}_{2}, \cdots, \boldsymbol{B}_{m}\right\}$的二分类问题。综上所述，对量化特征采用其二阶相关性的矩阵化表达，结合非量化特征构建对OFT视频的特征拼接矩阵，并采用卷积神经网络对此类数值矩阵进行训练，以获取对测试组和参考组OFT视频的准确分类。2.3分类方法为了对小鼠行为特征矩阵进行分类，采用卷积神经网络CNN作为自动分类器，结构如表 1所示。整个卷积过程中，所有卷积层均采用3 × 3的卷积核进行构建。为评估CNN网络层数以及参数量对分类结果的影响，分别采用了8种不同的网络结构(见表 1)，其中A—D 4种网络结构仅对可量化特征矩阵进行计算，E—H网络结构对可量化特征矩阵与小鼠路径图像的拼接矩阵进行计算。 表1 本文采用的卷积神经网络结构 网络 层数 输入 结构 A 4 484×484 卷积层 卷积层 — — — — — — 卷积层 全连接层 softmax层 B 6 484×484 卷积层 卷积层 下采样层*2 卷积层 — — — — 卷积层 全连接层 softmax层 C 8 484×484 卷积层 卷积层 下采样层*2 卷积层 卷积层 下采样层*2 — — 卷积层 全连接层 softmax层 D 10 484×484 卷积层 卷积层 下采样层*2 卷积层 卷积层 下采样层*2 卷积层 卷积层 卷积层 全连接层 softmax层 E 7 484×968 卷积层 下采样层*2 — — 下采样层*2 上采样层*2 — 上采样层*2 卷积层 全连接层 softmax层 F 8 484×968 卷积层 下采样层*2 卷积层 — 下采样层*2 上采样层*2 — 上采样层*2 卷积层 全连接层 softmax层 G 9 484×968 卷积层 下采样层*2 卷积层 — 下采样层*2 上采样层*2 卷积层 上采样层*2 卷积层 全连接层 softmax层 H 10 484×968 卷积层 下采样层*2 卷积层 卷积层 下采样层*2 上采样层*2 卷积层 上采样层*2 卷积层 全连接层 softmax层 The structures of convolutional neural networks in this paperTable 1 “—”表示该层为空。卷积层为：conv(kernel=3×3，stride =〈1，1〉，filter = 1)；下采样层*2为：conv(kernel = 3×3，stride =〈2，2〉，filter = $n$×2)。上采样层*2：deconv(kernel =3×3，stride =〈2，2〉，filter = $n$/2)；全连接层：dense(input，unit = 1 024，activation = ReLU)。由于特征拼接矩阵同时包含量化特征矩阵和小鼠路径图像，故E—H网络结构相较A—D网络结构使用了更多的上采样和下采样操作，而A—D网络则以卷积结构为主。在小鼠运动的有限特征空间中，为了对小规模样本的期望进行近似估计，本文使用随机梯度下降法对样本集的损失函数进行最小化求解。训练阶段的分类损失$L$为 8 $L=C E\left(\boldsymbol{Q}, \boldsymbol{Q}^{\prime}\right)$ 式中，数据集$\boldsymbol{Q}$由$m$个特征矩阵$\boldsymbol{B}_i$构成，$\boldsymbol{Q}^{\prime}$代表对应$\boldsymbol{B}_i$分类结果真值的标签集，$C E(\cdot)$代表交叉熵损失。除了输出层以外，本文A—H网络的各层结构如表 1所示，各网络最后一层均使用softmax作为分类输出，即小鼠OFT视频的分类概率。为了防止网络过拟合，训练过程中令dropout=0.7，即在每次训练过程中，中间层只有70%的神经元进行工作。为了保证预测的准确率，在测试过程中所有的神经元均参与分类运算。3实验及结果分析3.1旷场实验数据及配置为了观察实验小鼠注射了抗抑郁药物后对新环境紧张的行为差异，旷场实验装置分为旷场反应箱和数据采集两部分，旷场反应测试箱是4个四壁黑色不透明的有机板箱(45×45×45 cm)，箱底是白色有机板，中心为15×15 cm的正方形区域。在行为箱上放置一架分辨率为1 280 × 720像素的彩色摄像机记录小鼠的运动情况，如图 3(a)所示。 图3 旷场实验场景 The OFT experiments setupFig 3 ((a)OFT experiments setups; (b)clawing path images) 实验开始前，将小鼠放在行为测试室适应30 min。实验时将小鼠背朝实验操作者轻柔地放入测试箱的正中央，让小鼠自由活动30 min，其数据不参与随后的计算和统计。由于小鼠在24 h内有其活动的周期，每次实验选择在相同时间段完成。实验同时拍摄32只小鼠的活动数据，其中17只测试组小鼠，15只参考组小鼠。测试组小鼠注射了某种抗抑郁试验药物，参考组均为正常未注射任何药物的小鼠。数据采集完成后，采用2.1节所述的OFT视频数据处理方法对可量化及非可量化特征进行提取，如图 3和表 2所示。图 3中分别展示了小鼠A和小鼠B的拍摄模式及爬行路径图，表 2为两只小鼠行为特征的定量计算结果。本文计算平台为Ubuntu17.04操作系统，采用Python语言在Intel(R) Core(TM) i7-6700 CPU@3.40 GHz、内存8 GB、GPU为Nvidia 2080Ti的双计算显卡上进行TensorFlow网络运算。 表2 小鼠爬行可量化特征计算结果 可量化特征 图 3小鼠A 图 3小鼠B 平均速度/(cm/s) 52.376 7 35.555 8 总距离/cm 5161.42 6992.34 休息时间/s 52.124 316.23 左上时间/s 112.88 131.306 右上时间/s 144.42 214.97 左下时间/s 118.856 208.994 右下时间/s 53.784 368.354 左边时间/s 112.88 131.306 右边时间/s 303.282 761.276 上边时间/s 329.51 621.67 下边时间/s 209.492 735.048 中间时间/s 43.824 51.958 Calculated results of quantifiable characteristics of mouse crawlingTable 2对旷场实验中拍摄的小鼠视频，首先进行特征提取与描述。为了使图像大小保持一致，统一将小鼠路径图像缩放到484 × 484像素，并归一化到-1.0~1.0之间以便深度学习网络训练和收敛。本文整体数据集中有正样本3 080个，负样本1 034个，每个量化特征矩阵为484 × 484维，拼接后的特征矩阵为484 × 968维。在每次训练中分别等量抽取正负样本的75%用于训练网络模型，其余作为测试集数据。对提取的小鼠特征矩阵$\boldsymbol{B}$中的特征做框箱图，如图 4所示，图中蓝色框箱为参考组视频特征，红色框箱为测试组小鼠视频特征。对比每维特征可以看出小鼠在各个特征维上均具有一定的分类特性。为了进行实验对比，分别使用了人工分类、经典的SVM分类、卷积神经网络分类3种分类方法。 图4 两组小鼠各个运动特征维度的量化对比 Quantitative comparisons of each dimension of mice behavioral featuresFig 43.2小鼠OFT视频的人工及SVM分类实验在人工分类实验中，首先要求16位测试者观看标记好的20个小鼠视频并分析两组小鼠运动行为的差异。测试时，选择另外20个小鼠视频，并去除小鼠视频标记，要求测试者将20个视频分为两类，然后统计分类的准确率以及正确分类数占总数的比例。在SVM分类实验中，所有实验应用单类向量分类器(one-class support vector classifier，V-SVC)模型(Schölkopf等，2001)，通过比较选择使用线性核函数，并利用交叉验证寻得最优参数，对上述OFT视频的22维可量化特征进行二分类，得到最终的分类精度为75.19%。为了进一步分析SVM分类中不同特征维度对分类结果的影响，本文逐一将各个特征从22维特征中去除，分别用所剩的21维进行SVM分类，其分类准确率如表 3所示。表中$A_{1}-A_{9}$表示小鼠在9个不同区域的停留时间，排名依据去除某一特征后对准确率影响的大小，排名靠前代表影响显著。 表3 逐一去除某个特征维度后的SVM分类精度 去除的特征维度 剩余特征分类准确率/% 排名 平均速度 68.18 16 休息时间 64.36 11 $A_{1}$停留时间 66.66 14 $A_{2}$停留时间 61.90 9 $A_{3}$停留时间 57.14 6 $A_{4}$停留时间 47.60 4 $A_{5}$停留时间 59.42 7 $A_{6}$停留时间 42.85 3 $A_{7}$停留时间 53.33 5 $A_{8}$停留时间 61.90 9 $A_{9}$停留时间 59.42 7 0°~25° 71.42 17 25°~40° 73.33 19 40°~55° 71.42 17 55°~70° 66.66 14 70°~85° 75.19 21 85°~100° 75.19 21 100°~115° 73.33 19 115°~130° 38.09 2 130°~145° 33.33 1 145°~160° 64.36 11 160°~180° 64.36 11 SVM classification precision after removing a specific feature dimensionTable 3通过分析可以发现，实验中小鼠在各个区域的停留时间、速度和休息时间对分类的影响较为显著，这些维度在表中的Rank排名居前10位，而运动过程中的小角度转向频次对小鼠行为分类的影响较小，值得注意的是，去除115°~130°或130°~145°转向频次之后进行分类，结果的精度显著降低至38.09%以下，说明这个区间的大角度运动转向频次对分类起着关键作用。进而，采用特征拼接矩阵进行SVM分类，使用3 000个特征拼接矩阵作为训练样本，1 114个样本作为测试样本，分类结果精度为80.07%。与之前的22维特征相比结果，采用特征拼接矩阵作为输入的分类精度提高了近5%，两种不同输入的SVM分类精度参数如表 4所示。 表4 采用22维可量化特征与特征拼接矩阵作为输入的SVM分类比较 输入 支持向量数 标准支持向量数 边界上支持向量数 精度/% 22维特征 63.00 35.00 28.00 75.19 484维拼接特征 1 509.00 750.00 759.00 80.07 SVM classification comparison between input with 22 dimensional quantitative features and spliced feature matrixTable 4 加粗字体为最优结果。3.3小鼠OFT视频的卷积神经网络分类在OFT视频集中随机选取3/4作为卷积神经网络的训练数据集，剩余1/4的小鼠视频作为测试数据集。图 5是4种不同网络结构A—D分别采用两种不同输入时分类精度随迭代次数的变化趋势。图 5(a)是量化特征矩阵作为输入的分类准确率随样本数的变化曲线，图 5(b)是量化特征矩阵作为输入的分类准确率随样本数的变化曲线。表 5展示了采用小鼠路径图像及484维量化特征矩阵作为输入时不同网络结构的分类精度。由图 5可以看出，分类准确率随着样本数的增加而逐渐趋于稳定，此时网络更深且更复杂的C和D网络未获得更优的分类结果，而当网络深度以及复杂度到达A网络深度时，分类精度达到测试中的最高值。对于分类准确率最高的A和B网络，采用OFT量化特征可以有效提高分类精度4.63%。分析表 5可知，与采用小鼠路径图像作为输入相比，采用量化特征作为输入可以显著提高OFT视频的分类准确率，这也证明了本文采用量化特征矩阵作为OFT视频分类输入的合理性。 图5 小鼠视频的分类准确率随样本数变化曲线 The curves of classification precision with the number of OFT video samplesFig 5 ((a)precision of classification using only the input of crawling path images of mice; (b)precision of classification using the input of the proposed spliced feature matrices) 表5 A—D网络结构的分类精度 网络模型 小鼠路径图像 484×484维特征矩阵 A网络 91.66 96.29 B网络 91.66 96.29 C网络 82.75 92.59 D网络 82.75 92.59 The precision of classification using A—D network structures  /%Table 5 加粗字体为每行最优结果。图 6进一步对比了人工分类方法、SVM分类方法与本文神经网络分类方法的准确率及其随样本数量变化的差异。可以看出，随着样本量的增加，除了人工分类方法外，其余方法的分类效率均在显著提升。而人工分类精度总体在0.5左右波动，表明测试人员仅根据人工观察很难对小鼠视频进行分类和判断，而随着样本量的增加，提高样本量并未有效提升人工分类准确率，从侧面反映出OFT视频分类对人工经验的要求较高，经过短期训练的测试者仍不足以高质量地完成OFT视频的准确分类任务。然而，随着样本量的增加，SVM方法与本文分类方法的准确率均有所提升，本文采用的神经网络分类方法显著优于SVM分类方法，表明采用本文深度神经网络对OFT视频分类的有效性。 图6 不同分类方法分类准确率比较及随样本数变化趋势 Comparison of classification precision with different classification methods as increasing the number of samplesFig 6图 7绘制了采用特征拼接矩阵作为输入的4种网络结构的收敛曲线和分类精度曲线。图 7(a)为损失值随迭代次数的变化曲线；图 7(b)为分类精度随迭代次数的变化曲线。由图 7可见，G网络结构能够获得较高的分类性能，其收敛程度与分类精度均优于E和H网络，略优于F网络。其中H网络收敛过程中的较大抖动，反映出采用更深参数量更大的网络结构容易在小样本条件下形成过拟合状态，从而导致网络整体收敛于局部最优的情况。4种不同网络结构E—H的分类精度与损失值的数值比较由表 6给出。 图7 E—H网络对OFT视频分类的损失值与准确率曲线 The loss values and precision curves of the OFT video classification based on E—H networksFig 7 ((a)curves of the loss values of E—H network with the number of iterations; (b)curves of the classification precision of E—H network with the number of iterations) 表6 E—H网络对OFT视频的分类准确率与损失值比较 网络名称 损失值 分类准确率/% E网络 0.207 4 97.08 F网络 0.192 3 98.83 G网络 0.187 3 99.25 H网络 0.230 7 93.39 Comparison of precision and training loss of OFT video classification based on E—H networkTable 6 加粗字体为各列最优结果。此外，为了比较训练集与测试集样本比例变化对收敛及分类准确率的影响，采用G网络进行不同比例的测试，结果如图 8所示。其中不同颜色曲线表示测试集占总样本的比例，上半部分曲线代表准确率曲线，下半部分代表损失值收敛曲线。由图 8可见，随着测试集占比的增大，分类准确率逐步降低。测试集占比小于0.3时，分类准确率降低并不明显。测试集占比为0.5~0.9时，分类准确率明显下降。测试集占比达到0.9时，分类准确率已降至0.7以下(为了与下半部分曲线显示区分，本文对0.7以下的准确率数值进行了截断处理)。依据上述实验结果，通常情况下单次测试数据集与训练数据集比例为0.25时分类结果的准确率较优。 图8 G型结构下不同测试数据集占比对分类准确率及损失值的影响对比 Comparison of the influence of different proportions of test datasets on classification precision and training loss based on G networkFig 8现有视频分类算法大多将RGB视频帧与运动光流作为输入，侧重在标准视频分类数据集如Hollywood2、Columbia Consumer Video、Kinetics、Something-something、UCF101和HMDB等上进行基于内容的分类。考虑到本文OFT视频分类任务的特殊性，与Jiang等人(2018)提出动态递归的神经网络(recurrent dynamic neural network，rDNN)、类间关系的视频分类方法和零样本学习(zero-shot learning，ZSL)网络(Brattoli等，2020)进行实验对比。采用两种网络的预训练模型的分类结果准确率如表 7所示。可以看出，两种主流深度学习视频分类方法未实现准确分类。导致这种结果的原因或可归结为两点：1)两类方法主要考虑视频内容上的差异或运动目标短时的运动特征，而OFT视频分类侧重对小鼠运动特征的长时统计差异，故本文方法的特征提取在计算长时的统计差异方面具有优势。2)rDNN网络等侧重对单人或多人的行为进行分类与识别，其多分类问题的类间差异较为明显，而OFT视频的类间差异显著小于上述公开数据集的类间差异。 表7 不同视频分类网络对OFT视频的分类准确率与运行时间对比 网络 分类准确率/% 运行时间/s SVM 80.07 19.1 rDNN 62.5 9.7 ZSL 74.64 461.4 G网络(本文) 99.25 87.9 Comparison of precision on OFT video classification with different networksTable 7 加粗字体为各列最优结果。在计算复杂性方面，以G型网络为例，本文方法的网络参数量为1.2 M，计算量为4.7 Mflops，预测每段视频时间约1.6 s左右。为了统一对比标准，在计算效率评估阶段，本文选取了200段时长为1.5 min的OFT视频，计算各种方法每段视频处理时间的平均值，结果见表 7。可以看出，本文方法量化特征与非量化特征提取部分耗时较长，故总体的运行效率不及rDNN网络和SVM方法。4结论针对OFT视频对小鼠运动行为进行差异比对问题，本文提出一种基于特征拼接矩阵的卷积神经网络分类方法。首先，通过对小鼠视频中爬行路径、速度、转弯和停留等运动行为特征的计算量化，构建小鼠运动特征的可量化特征矩阵。其次，结合非量化的小鼠爬行路径图像，提出采用特征拼接矩阵方式对可量化特征与非量化特征进行统一描述。在此基础上，采用不同的卷积神经网络对特征拼接矩阵进行学习和分类。实验基于真实OFT实验视频数据集，实验组小鼠和参考组小鼠分别注射某种抗抑郁药物和安慰剂。通过对OFT视频片段的学习，本文所提基于深度学习的小鼠视频分类方法取得了比人工分类及传统SVM方法更优的分类结果。本文工作证明采用层数不多的简单深度神经网络结构即可以获得准确的OFT视频分类结果。在实验数据集上，本文方法OFT视频分类的精度为99.25%，有效降低了OFT数据分析人员的工作量，提高了对大规模OFT视频分类的准确率。此外由实验结果发现，小鼠的停留区域与时间、大角度转向频次等特征对分辨小鼠的重要性高于其他维度信息。受OFT实验场景以及数据量的限制，仅在较为单一的OFT实验数据集上测试了提出的方法，未测试在不同类型OFT实验视频数据集上的性能，故本文方法的泛化性仍有待验证。未来工作将进一步研究小鼠可分辨特征与实际行为的关系，并探索更具泛化性的基于深度学习的OFT视频分类方法。