现实场景中绝大多数对于人类姿态的描述都是2维的，例如图像或视频。从单目图像或视频中估计其对应的3D人体姿态对于高级计算机视觉任务，如人机交互，视频监控，虚拟现实和人体行为分析等，有着重要且广泛的应用。然而，从单目图像或视频中估计3D人体姿态极具挑战性，其本身是一个病态问题。从几何角度上讲，从单视角下估计人体的3D姿态存在着固有的任意性(Lee和Chen，1985)，即在单视角下，根据2D姿态能够得到的3D姿态并不是唯一的。此外，人体姿态的丰富性以及在3D姿态估计过程中存在的类内可变性、非刚体形变等问题，使3D姿态估计问题变得极其复杂。在姿态估计过程中含有大量的变化参数，比如光照、摄像机位置等，同时也存在场景遮挡以及人体自我遮挡等因素。

早期的3D人体姿态估计方法(Mori和Malik，2006；Bo等，2008)主要从图像中提取人物的不变性特征，如肤色、纹理、轮廓等，并将其映射成3D人体姿态。之后的工作通常将3D估计解耦为两步进行处理(Martinez等，2017)：1)利用2D姿态估计网络获取图像中人体的2D姿态特征；2)将获取的2D特征表达向3D空间映射，获得对应3D空间下的人体姿态。将姿态估计分解为这两步，目的是通过现有的2D姿态估计网络，消除图像中光照、背景等因素对后续3D估计的影响。在深度学习的影响下，基于图像的2D姿态估计发展迅速，许多工作实现了利用卷积神经网络CNN(convolutional neural network)来回归图像中2D关节位置的置信热图，得到2D人体姿态，比如Newell等人(2016)提出的融合图像多尺度特征的SH(stacked hourglass networks)，Wei等人(2016)提出的CPM(convolutional pose machines)以及Sun等人(2019)提出的high-resolution subnetwork等，在很多数据集上都达到了非常好的效果。这在一定程度上促进了3D姿态估计的发展，同时也提高了3D姿态估计的性能。

由于3D估计问题本身的复杂性，同时缺乏可靠的尤其是真实场景中3D人体姿态数据集，从给定的2D姿态重构3D姿态目前仍然是一个充满挑战的问题。Martinez等人(2017)提出一种简单的深度网络用来学习从2D到3D姿态的映射关系，实验采用Human3.6M(Ionescu等，2014)数据集中两种情况下的2D坐标作为输入：一种为数据集给定的标注数据，另一种为通过2D姿态估计网络SH(Newell等，2016)获得的2D估计数据。其实验结果表明，提升2D关节点定位的效果能够显著降低3D估计的误差，但利用2D估计数据得到的3D姿态与使用2D标注数据获得的结果相比仍然误差较大。由此，Martinez等人(2017)认为2D姿态估计的误差是导致3D姿态估计产生误差的主要原因。2D估计的误差主要是由于2D图像中一些视角或杂乱场景可能存在着大量噪声和遮挡，这导致2D关节点估计难免存在不准确甚至缺失。因此，对于给定的2D情况下的3D估计，其关键在于如何在2D误差干扰下也能从2D姿态映射到最优、最合理的3D姿态。

在给定2D姿态数据的前提下，本文通过以下两个角度提高单目视频的3D人体姿态估计精度：一方面，通过先验知识从给定的2D姿态得到较为合理(未必精确)的单帧3D姿态映射；另一方面，在保证姿态的空间不变性的前提下，利用视频帧间的时间相关性约束估计优化的3D姿态。本文提出一种基于稀疏表示SR(sparse representation)与多通道长短时记忆MLSTM(multi-channel long short term memory)模型联合的3D估计方法SR-MLSTM，将空间模型与时间模型相结合，同时考虑3D姿态的空间结构性与时间一致性。

本文采用一种融合稀疏表示的3D可变形状模型来表示人体形状，消除求解结果的任意性，在2D关节点探测结果存在噪声，或者探测结果失效的情况下，也能为单帧的人体姿态提供一个较为合理的初始值。为了解决每帧的独立误差造成的估计序列在时间上不连贯的问题，提出一种带有残差结构的MLSTM降噪编/解码器模型。与传统方法不同，本文将时间不连贯的3D初始值视为带有噪声，采用X，Y，Z多通道输入的方式，分别对不同方向的关节点位置细化，保证3D初始值的空间结构性，同时每个通道上利用传统长短时记忆LSTM(long short term memory)单元学习视频中相邻帧之间人体姿态的时间依赖关系，通过残差连接方式将学习的时间信息与初始值相加，对噪声初始值约束，使3D姿态保持时间一致性，有效缓解了序列抖动问题，并通过约束两帧之间的3D姿态修正了被遮挡的关节点估计结果。通过在Human3.6M数据集上的实验表明了本文SR-MLSTM方法的有效性，与现有方法的对比，本文方法能够达到提高估计准确率的目的。

Lee和Chen(1985)最早提出从给定的2D人体关节点回归其对应的3D人体关节点问题。他们认为，给定肢体的长度，人体3D估计可以归结为一个二叉决策树问题，其中每个树的分支相当于一个关节对应其父关节的状态。Jiang(2010)对2D关节点位置利用泰勒算法估计了一组3D姿态，并利用这些姿态去匹配一个大型的运动捕捉数据库，寻找其最近邻。Lin等人(2017)以及Tome等人(2017)通过2D姿态估计网络提取2D人体姿态特征，直接从图像中恢复3D姿态。Yasin等人(2016)以及Chen和Ramanan(2017)则着重于学习2D到3D的姿态映射函数。对于稀疏表示的应用(Ramakrishna等，2012；Fan等，2014)证明了稀疏表示能够对许多具有多样化的人体姿势进行建模，相比于传统的主动形状模型(active shape model)(Cootes等，1995)，稀疏表示所学习到的基础形状更简洁。Zhou等人(2015, 2017)受主动形状模型的启示，通过采用一种融合稀疏表示原理的3D可变形状模型来表示人体形状，采用稀疏表示将单帧3D估计问题转化为2D关节点与3D模型的匹配问题，稀疏字典可以看做从训练样本学习的3D基本姿态，该方法能够有效解决由于遮挡导致的2D姿态中关节点缺失问题。Hong等人(2018)在此工作的基础上，采用基于L_1/2正则化的凸松弛方法进一步提高了3D估计的精度。

以上基于图像的单帧估计方式会由于每帧的独立误差导致估计序列在时间上不一致，使估计的3D序列存在很大的抖动。早期对视频3D姿态估计的研究包括帧对帧的姿态跟踪和马尔可夫动态模型(Sigal等，2012)，这种方法依赖于初始的3D姿态，并且无法对跟踪失败的姿态进行估计。Zhou等人(2019)提出了一种基于2D姿态估计网络和稀疏表示的视频3D姿态估计框架。该方法在稀疏模型中融合几何先验信息约束相邻帧之间的人物姿态，并利用EM(expectation-maximization)算法优化求解具有时间一致性的3D关节点坐标。另外一些工作专注于利用深度模型学习序列的时间信息获得时间一致性的姿态。如Mehta等人(2017)实现了一种实时的3D姿态估计系统，该系统对一部分图像的2D和3D姿态进行时间池化来预测后续时间一致的3D姿态。Lin等人(2017)使用LSTM对3D姿态序列进行了多阶段的连续优化，利用之前帧预测的2D和3D姿态来预测后续的3D姿态序列。Hossain和Little(2018)提出了一个sequence-to-sequence网络，该网络可以在给定一个2D关节点序列的情况下预测时间一致的3D关节点序列。

受2D姿态估计的误差影响，3D估计效果往往不是很理想(Martinez等，2017)。虽然增加训练样本可以一定程度上提高3D估计网络对遮挡等因素的鲁棒性，但现有的3D人体姿态数据集的数据非常有限，而且大多是特定实验环境下获得的数据，缺乏包含丰富姿态的真实场景3D人体姿态标注数据。Tome等人(2017)将3D姿态概率模型融入多阶段的CNN网络中，用以改进不准确的2D姿态估计，修正不合理的3D估计结果。Zhou等人(2015, 2017, 2019)，Hong等人(2018)从Human3.6M(Ionescu等，2014)的3D标注学习出不同动作的稀疏字典或共享字典，用来表示人体3D基本姿态，该方法能够较好地抵抗2D数据不准确或者缺失的问题。

本文在前期工作(Hong等，2018)基础上，提出的SR-MLSTM方法是将基于稀疏表示空间模型与基于MLSTM的时间模型相结合，有两个优势：1)利用预学习的3D姿态字典消除2D姿态到3D姿态求解结果的任意性，得到一个较为合理的2D到3D的映射，在2D关节点探测有误差或缺失时该模型仍然可靠；2)提出的带有残差结构的MLSTM降噪编/解码器模型，能够通过同时保持连续帧的3D姿态在空间结构上和时间上的一致性，缓解每帧的独立误差造成的估计序列在时间上不连贯的问题，进一步提高了3D姿态估计的精度。

本文提出的稀疏表示和多通道长短时记忆模型联合估计方法(SR-MLSTM)，分为两个阶段，如图 1所示。对于给定的2D关节点序列，在第1阶段，首先利用SR模型对单帧进行独立的3D估计。利用融合稀疏表示方法的3D可变形状模型消除3D姿态估计固有的任意性，获得可靠的3D关节点的空间位置关系。通过第1阶段能够为单帧图像提供一个较为合理的3D关节点坐标初始值，将2D姿态映射到最可能的3D姿态；第2阶段是为了在姿态估计中有效结合时间信息，同时不破坏关节点已有的空间位置关系，将获得的3D初始值视为带有噪声的数据，以X，Y，Z 3个方向利用所构建的MLSTM分别进行关节点回归，保证了各关节点空间位置关系不变。利用线性层对噪声数据进行编码，编码后的数据经过带有残差连接的LSTM单元融合时间信息对其进行优化，最后通过解码器获得3D优化结果。同时为使空间下相邻帧之间的各关节点空间位置不会变化太大，本文在对MLSTM模型的训练过程中对人物姿态施加了平滑约束。

视频中的3D人体姿态可由$p$个关键点的3D坐标表示。为了减少3D估计的歧义性，对于视频中的第$t$帧，$\forall t\in \left[ 1, T \right]$，假设待估计的3D人体姿态可由一组预先定义的基础姿态线性表示(Zhou等，2015)。视频中的第$t$帧3D人体姿态可表示为

$ {\mathit{\boldsymbol{S}}_t} = \sum\limits_{i = 1}^k {{\mathit{\boldsymbol{c}}_{it}}{\mathit{\boldsymbol{B}}_i}} $

(1)

式中，${\mathit{\boldsymbol{S}}_t} \in {\mathit{\boldsymbol{R}}^{3 \times p}}$为第$t$帧的3D人体姿态，基础姿态${\mathit{\boldsymbol{B}}_i} \in {\mathit{\boldsymbol{R}}^{3 \times p}}$可从大量3D姿势数据中学习得到，$p$为人体关节点个数，$k$为基础姿态的原子个数，$\forall i \in \left[ {1, k} \right]$。${{\mathit{\boldsymbol{c}}_{it}}}$为基础姿态${\mathit{\boldsymbol{B}}_i}$的系数。根据稀疏表示原理，为了用尽可能少的原子来线性表示待估计的3D姿态，采用Hong等人(2018)提出的L_1/2正则化对${\mathit{\boldsymbol{C}}_t}$施加约束，保证求得更优的稀疏解。对于给定的2D关节点${\mathit{\boldsymbol{W}}_t} \in {\mathit{\boldsymbol{R}}^{2 \times p}}$，利用拉格朗日乘子法以能量泛函的形式将稀疏系数求解过程表示为求解最小化能量泛函，即

$ \begin{array}{l} \mathop {\min }\limits_{{{\mathit{\boldsymbol{\overline R}} }_t}, {\mathit{\boldsymbol{C}}_t}} \frac{1}{2}\left\| {{\mathit{\boldsymbol{W}}_t} - {{\mathit{\boldsymbol{\overline R}} }_t}\sum\limits_{i = 1}^k {{\mathit{\boldsymbol{c}}_{it}}{\mathit{\boldsymbol{B}}_i}} } \right\|_F^2 + \\ \lambda \left\| {{\mathit{\boldsymbol{C}}_t}} \right\|_{1/2}^{1/2}\;\;\;{\rm{s}}{\rm{.t}}.\;\;{\mathit{\boldsymbol{\overline R}} _t}\;{\mathit{\boldsymbol{\overline R}} _t}^{\rm{T}} = {\mathit{\boldsymbol{I}}_2} \end{array} $

(2)

式中，${\mathit{\boldsymbol{\overline R}} _t}$为带有正交性质的旋转矩阵，${\mathit{\boldsymbol{C}}_t} = \left[ {{\mathit{\boldsymbol{c}}_{1t}}, \cdots, {\mathit{\boldsymbol{c}}_{kt}}} \right]$为第$t$帧的稀疏系数向量。式(2)表示将待估计的3D姿势向2D空间投影，最小化其与2D关节点位置的距离能够求解对应的3D姿态参数。式(2)中第1项为重构误差，第2项为对${\mathit{\boldsymbol{C}}_t}$施加L_1/2正则化约束。式(2)是一个带有正交约束的非凸优化问题，对此采用了Hong等人(2018)提出的谱范数近端梯度算法及交替方向乘子法ADMM(alternating direction method of multipliers)算法进行求解，得到单帧人体姿态的3D初始值。此方法能够将非凸问题转化为凸优化问题，并且能够保证解的正交性和稀疏性。

在目前的神经网络中，LSTM模型已经在语音识别(Graves等，2013)和视频描述(Donahue等，2017)等任务中发挥了重要作用。结合LSTM能够有效处理序列数据的特点，提出了一种融合时间信息的MLSTM降噪编/解码器模型，利用多层的LSTM单元捕获单目视频序列的时间变化，解决单帧图像估计造成的3D姿态序列在时间上的不连贯问题。与其他工作不同，本文将通过SR空间模型获得的单帧3D姿态数据视为带有噪声的3D数据，利用MLSTM降噪编/解码器模型学习的丰富帧间时间运动信息对带有噪声的3D数据进行优化。图 2给出MLSTM降噪编/解码器的模型结构。

如图 2所示，模型输入为通过稀疏表示方法初始化后的3D初始序列$\mathit{\boldsymbol{\widetilde S}}$，输出为对应的优化3D序列${\mathit{\boldsymbol{\hat S}}}$。为了加速模型收敛，同时保证3D姿态的空间结构性，将输入数据转化为X，Y，Z 3个坐标轴方向的分量，对于每个方向的分量设置了3层LSTM单元，用于学习对应分量上人物姿态的时间变化特征。参考Martinez等人(2017)的方法设置了两层带有BN(batch normalization)(Ioffe和Szegedy，2015)和dropout(Srivastava等，2014)的线性层：一层用于编码输入数据，提取输入数据的高维特征，另一层用于解码数据，预测人体$p$个关键点的3D位置。第1层线性层采用ReLU激活函数(Nair和Hinton，2010)。特别的是，LSTM单元的输出并不是对应分量上的优化结果，而是通过LSTM的隐藏层对输入序列隐式编码后的时间依赖关系。因此，在每一个3层的LSTM单元上增加了一个残差连接用于融合输入数据与时间依赖关系。最终通过最后一层线性层解码，回归相应方向分量上$p$个关键点的3D姿态坐标序列。优化结果为3个方向分量上子结果的拼接。以此实现对3D初始值的细化。

残差连接是He等人(2016)提出的一种便于训练深度神经网络的技术，可以提高模型泛化性能，减少训练时间。同时，本文模型利用LSTM学习到的是视频帧间的时间变化信息，利用残差结构可以将时间变化特征作用到初始的3D参数中，进而优化初始结果。

对于一些关节点，比如手肘和脚踝等，在大范围运动的情况下会被遮挡，导致这类关节点无法准确的估计。本文在训练过程中对人物姿态施加了时间平滑约束，使相邻帧之间的人物姿态不会变化太大。因此，模型的损失函数由两项组成：对于训练集N个序列，每个序列T帧的3D关节点位置的优化值与其对应的3D标注数据的均方误差；以及相邻帧之间的3D关节点优化值的一阶平滑约束。

首先对于N个序列，每个序列有T帧的3D关节点优化值与其对应的3D标注数据的均方误差定义为

$ L\left({\mathit{\boldsymbol{\hat S}}, {\mathit{\boldsymbol{S}}^{gt}}} \right) = \frac{1}{{NT}}\sum\limits_{n = 1}^N {\sum\limits_{t = 1}^T {\left\| {\mathit{\boldsymbol{S}}_{n, t}^{gt} - \mathit{\boldsymbol{\psi }}\left({{{\mathit{\boldsymbol{\hat S}}}_{n, t}}} \right)} \right\|_2^2} } $

(3)

式中，${\mathit{\boldsymbol{\hat S}}}$为经过网络优化后的3D关节点序列，${{\mathit{\boldsymbol{S}}^{gt}}}$为对应帧的3D标注数据。$\mathit{\boldsymbol{\psi }}\left(* \right)$为Procrustes相似变换函数。

其次对于N个序列，每个序列有T帧的3D关节点优化值相邻帧之间的平滑约束，定义为

$ \left\| {{\nabla _t}\mathit{\boldsymbol{\hat S}}} \right\|_2^2 = \frac{1}{{N\left({T - 1} \right)}}\sum\limits_{n = 1}^N {\sum\limits_{t = 1}^T {\left\| {{{\mathit{\boldsymbol{\hat S}}}_{n, t}} - {{\mathit{\boldsymbol{\hat S}}}_{n, \left({t - 1} \right)}}} \right\|_2^2} } $

(4)

式中，${\nabla _t}$为时间导数算子。最终的损失函数定义为

$ L = \mathop {\min }\limits_{\mathit{\boldsymbol{\hat S}}} \eta L\left({\mathit{\boldsymbol{\hat S, }}{\mathit{\boldsymbol{S}}^{gt}}} \right) + \mu \left\| {{\nabla _t}\mathit{\boldsymbol{\hat S}}} \right\|_2^2 $

(5)

式中，$\eta $，$\mu $为超参数，用于调节损失函数中每一项的重要程度。

模型的训练主要分为对SR空间模型中基础姿态字典的学习和对MLSTM时间模型的训练。

实验选用Human3.6M数据库(Ionescu等，2014)对模型进行训练和测试，是用于3D人体感知的大型数据集，含有数百万通过动作捕获系统所捕获的3D人体姿态数据以及通过校准相机获取到的对应2D图像，该数据库提供了同步视频以及2D与3D姿态数据库用于实验评估。数据库包括11个实验对象执行15项动作，比如吃饭，打电话和走路等。每段视频由4个不同角度下的高清摄像机捕获，并且数据集提供了2D与对应3D姿势的标注数据以及对应的人物中心的矩形边界框和摄像机内参。实验采用S1、S5、S6、S7、S8这5个序列用于训练稀疏模型的基础姿态，选取S11中第2个视角下的15段动作视频用作测试，剩余S9与S11部分数据用于训练MLSTM降噪编/解码器。

稀疏表示模型中，稀疏字典的学习尤为重要，字典的好坏将直接影响3D估计的效果以及稀疏表示解的稀疏性。本文采用矩阵分解与稀疏编码的在线学习方法(Mairal等，2010)学习基础姿态字典。运用非负稀疏编码，本文针对Human3.6M数据集中15个动作将分别学习出一个大小为${\mathit{\boldsymbol{B}}^{k \times 3 \times p}}$的基础姿态字典，$k$为基础姿势$\mathit{\boldsymbol{B}}$的原子个数，$k = 64$，$3 \times p$为$p$个人体关键点的3D坐标。

MLSTM降噪编/解码器训练数据自于利用稀疏表示得到的单帧初始化的3D数据。为了数据便于训练，对输入数据进行了时间尺度上的零均值标准化处理。训练过程中，为了增加样本数量，采用了一个长度为T，步长为1的滑窗来选取序列长度，因此，训练数据是有重叠的。

实验对MLSTM降噪编/解码器进行了200次迭代训练，每个迭代对全部单帧初始化数据样本(共34 650个batch)进行一次完整的遍历。批处理大小为16，即16个序列，每个序列长度T为5。采用Adam优化器(Kingma和Ba，2014)训练网络，初始学习速率为0.000 1，每50次迭代学习率衰减0.1。第1层线性层维度设为1 024，第2层线性层维度设为$3 \times p$，权值由Kaiming初始化方法(He等，2015)初始化。LSTM单元权值由Xavier初始化器(Glorot和Bengio，2010)初始化。总体模型参数624.5 M。本实验对所有动作序列训练了一个模型。代码在Tensorow中实现。通过对训练集进行交叉验证，将损失函数中的$\eta $，$\mu $分别设置为1和3。在NVIDIA GeForce RTX 2080Ti GPU上，测试阶段对一个长度为5的序列的优化时间花费1.33 ms。

为了对本文SR-MLSTM方法性能做出评价，采用Human3.6M数据集中S11的15个动作视频用作测试做了比较性实验以及模型分析实验。评价指标采用：估计的3D姿势结果与其对应的3D标注数据进行相似变换对齐后，求所有关键点的平均距离。

实验定量分析分为两种情况：1)将数据集中所给的2D标注数据(2D_gt，$p$=17个关节点)作为SR-MLSTM输入；2)利用2D姿态估计网络(CPM)从视频图像获取2D人体关节点置信热图，计算置信热图中概率最大值确定对应的2D关节点坐标(2D_cpm，$p$=17个关节点)作为SR-MLSTM的输入。

在给定的2D标注关节点的情况下，与Zhou等人(2015, 2019)的方法进行了对比实验，实验结果如表 1所示。表 1中，第1行Initial为采用传统正则化(Zhou等，2015)进行单帧估计的方法，第2行Optimized为单帧估计的基础上考虑融合几何先验约束后的估计方法(Zhou等，2019)，第3行Initial+L_1/2为本文采用L_1/2正则化进行单帧估计的结果，第4行为本文提出的稀疏与深度结合的空时模型(SR-MLSTM)估计的结果。由第1行与第3行的对比结果可知，在所测试的15段动作序列上，采用的L_1/2正则化方法能够比传统正则化方法获得更优的解。在此基础上，本文考虑帧间的时间相关性，利用所提出的MLSTM降噪编/解码器对单帧结果进行优化，相比于单帧估计，通过MLSTM降噪编/解码器优化后的平均重构误差下降了12.6%；相比于现有的基于视频的稀疏模型方法(Zhou等，2019)，本文方法对视频的的平均重构误差下降了6.4%。

本文对CPM模型进行了微调。利用Human3.6M数据集给定的边界框获取图像中人物的位置，然后将图像重新变换尺寸为368×368像素，送入CPM预测对应的2D关节点位置。通过计算置信热图中的概率最大值确定对应的2D关节点坐标。如表 2所示，本文采用的L_1/2正则化方法依然能够比传统方法(Zhou等，2015)获得更优的解。相比于单帧估计，通过MLSTM降噪编/解码器优化后的平均重构误差下降了13%；相比于现有的深度模型方法(Tome等，2017)，本文方法对视频的平均重构误差下降了12.8%, 相比于现有的基于视频的稀疏模型方法(Zhou等，2019)，本文方法对视频的平均重构误差下降了9.1%。

定量实验结果表明，相比于基于图像的单帧估计，利用高效地时间优化模型与3D姿势先验结合，能够更有效的提高3D估计的准确率。本文所提出的模型可以学习视频帧间的时间依赖关系，这种时间的一致性信息能够有效解决单帧的3D姿态估计导致的时间不连贯问题，提高估计准确率。

图 3展示了对S9中Direction动作在不考虑时间信息的情况下，采用L_1/2正则化与传统正则化求解稀疏模型，进行单帧初始化的估计对比效果。与传统L₁正则化相比，可以明显看到通过L_1/2正则化方法求解的单帧3D姿态更接近标注数据。

图 4为对S11序列上的Walking, WalkTogether两个序列采用本文提出的SR-MLSTM估计方法的估计效果图。相比于Zhou等人(2019)的方法，本文的SP-MLSTM方法一方面利用更优的稀疏求解算法提高单帧估计的精度，另一方面利用所提出的MLSTM降噪编/解码器能够结合相邻帧之间的时间依赖关系对单帧结果进一步优化，最终得到优于Zhou等人(2019)方法的优化结果，图 4中可以看出尤其是对腿部动作的修正更为明显。

图 5为在2D关节点未知的情况下，对S11序列上的WalkTogeter序列采用SR-MLSTM方法的估计效果图。在由于人体遮挡等不确定性因素导致2D估计关节点不准确的情况下, 本文方法可以在很大程度上纠正这些错误，也能够得到一个更接近标注数据的结果。同时与Zhou等人(2019)的方法相比，本文方法得到的结果也明显更接近标签数据。

为了验证所提时间模型MLSTM的各组成部分的有效性，本文进行了消融实验。在2D标注关节点作为输入数据的情况下，重构误差对比如表 3所示。实验结果表明，对模型最大贡献的组成元素是在LSTM输出端增加的残差结构，去除残差结构的情况下，模型的误差会增加74%。采用单通道输入方式的情况下，模型误差会增加12%，去除施加帧间的平滑约束模型的重构误差会增加3%，尽管施加平滑约束的没有对估计准确率有很大提升，但是在本文的定性实验中，这种帧间的约束能够保证估计的人物动作是平滑的。对于LSTM在3层的情况下，模型取得最好的效果。

对于模型的训练和测试试验中都是针对长度为5的输入和输出序列。本文测试了模型在不同的序列长度(2-10)下的性能，结果如图 6所示。图 3可以看出，对于不同长度的序列，本文网络性能保持稳定。当序列长度为5时，模型得到最好的结果。

本文通过稀疏表示与深度模型联合的估计方式，将具有表达性的空间几何姿势先验与时间模型相结合。与以往方法(Tome等，2017)不同，本文没有直接将2D姿态作为深度网络的输入，而是先通过稀疏模型得到一个2D姿态到3D姿态映射的初始值，再通过深度网络解决了单帧估计造成的序列不连贯的问题，从而提高3D估计的精度。在Hu-man3.6M数据集的定性和定量实验结果均表明利用稀疏空间模型和多通道深度时间模型相融合进行估计3D人体姿态的有效性。特别是在Human3.6M数据集的所有15个动作类别上本文提出的MLSTM降噪编/解码器都展示了使用时序信息进行优化的能力。值得一提的是，本文所提的MLSTM模型是一个独立的模块，可用于对含有噪声的3D姿态降噪，有很好的实际应用价值。目前实验还局限于人体姿态库数据，如何利用迁移学习和弱监督技术将本文所提SR-MLSTM应用于缺乏标注信息的实际场景数据中，是后续的研究重点。