近年来，多视图^[1]学习引起了学术界的广泛关注。多视图数据^[2-3]，如网页数据可以由文本、图像等多个异构视图来表示，由于视图数据之间存在一致性和互补性，可提供比单视图数据更加丰富、多样的信息。多视图学习^[4]关注如何将多视图异构数据进行有效融合来提高学习器的性能。

目前，多视图学习的主要研究方法包括：前期融合型方法、视图不一致性法以及多视图子空间学习等。前期融合型方法主要是多核学习^[5-6]，主要将每个视图上产生的核函数以线性或非线性的方式组合以融合多视图特征信息；视图不一致性法主要是协同训练^[7]。它是利用多个视图生成多个分类器，通过分类器之间的协同作用来实现对数据的分类^[8]；而子空间学习是通过求取多视图数据公共的隐空间来建立多视图数据之间的关系。本文关注的是多视图子空间学习方法^[9-10]。

典型相关分析(CCA)是一个经典的多视图子空间学习方法。CCA对每个视图进行线性变化，使得变化后的视图间相关性最大。目前，CCA成功地应用于诸如人脸识别^[11]，图像处理^[12]以及图像检索^[10]等领域。进一步地，学者们提出非线性典型相关分析方法。例如，新型局部保持典型相关分析(ALPCCA)^[13]、局部密度增强典型相关分析(LDECCA)^[14]等。然而，这些方法都是无监督的，为了增强CCA的判别力，研究者通过引入样本的标签信息提出了鉴别典型相关分析(DCCA)^[15]、局部鉴别典型相关分析(LDCCA)^[16]、基于局部稀疏表示和线性鉴别分析的典型相关分析^[17]等。

在现实生活中，获取样本的标签信息比较困难，需要大量的人力与物力，为此，有学者提出了半监督典型相关分析方法。他们常采取两步学习的策略，即先采用标签预测的方法获取无标记样本的标记信息，再利用学得的标签进行CCA模型构建。例如，基于标签传播的半监督典型相关分析(LPbSCCA)^[18]，先利用稀疏表示技术推断无标签样本的软标签信息，再将学得的软标签构建CCA模型。基于代价敏感的半监督典型相关分析^[19]，则使用l_{2}范数获取无标签样本的软标签，然后将误分类的代价嵌入典型相关分析框架中。在上述方法中，标签预测与模型构建过程相互独立，预测的标签可能不利于后续的模型构建，会导致局部最优的投影方向。

为此，本文提出了一种联合标签预测与判别投影学习的半监督典型相关分析算法(JLPDPSCCA)。具体地，将预测标签过程融入CCA框架中，根据学得的标签信息更新投影方向；进一步，利用更新后的投影方向重新估计无标签样本的标签信息。上述过程相互依赖、交替更新，使得估计的标签矩阵更接近真实的标签矩阵，进而提高投影方向的判别性能。

给定一个多视图数据集$\left. {\left\{ {\left( {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{y}}_1}} \right), \left( {{\mathit{\boldsymbol{x}}_2}, {\mathit{\boldsymbol{y}}_2}} \right), \cdots } \right., \left( {{\mathit{\boldsymbol{x}}_n}, {\mathit{\boldsymbol{y}}_n}} \right)} \right\}$，其中，一个视图的样本为$\mathit{\boldsymbol{X}} = \left. {\left\{ {{\mathit{\boldsymbol{x}}_1}} \right., {\mathit{\boldsymbol{x}}_2}, \cdots, {\mathit{\boldsymbol{x}}_n}} \right\} \in {{\bf{R}}^{p \times n}}$，另一个视图的样本为$\mathit{\boldsymbol{Y}} = \left. {\left\{ {{\mathit{\boldsymbol{y}}_1}} \right.{\mathit{\boldsymbol{y}}_2}, \cdots, {\mathit{\boldsymbol{y}}_n}} \right\} \in {{\bf{R}}^{q \times n}}$。假定所有样本数据都已经中心化，典型相关分析希望找到两个投影方向${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$使得投影后变量之间的相关性最大。具体地，CCA的目标函数可以表示为

$ \mathop {\max }\limits_{{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y}} \frac{{\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{C}}_{xy}}{\mathit{\boldsymbol{W}}_y}}}{{\sqrt {\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{C}}_{xx}}{\mathit{\boldsymbol{W}}_x}} \sqrt {\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{C}}_{yy}}{\mathit{\boldsymbol{W}}_y}} }} $

(1)

式中，视图$\mathit{\boldsymbol{X}}$的协方差矩阵表示为${\mathit{\boldsymbol{C}}_{xx}} = \mathit{\boldsymbol{X}}{\mathit{\boldsymbol{X}}^{\rm{T}}}$，视图$\mathit{\boldsymbol{Y}}$的协方差矩阵表示为${\mathit{\boldsymbol{C}}_{yy}} = \mathit{\boldsymbol{Y}}{\mathit{\boldsymbol{Y}}^{\rm{T}}}$，视图间的协方差矩阵表示为${\mathit{\boldsymbol{C}}_{xy}} = \mathit{\boldsymbol{X}}{\mathit{\boldsymbol{Y}}^{\rm{T}}}$。

假设多视图数据集是半监督的，训练集中只有少量监督样本，大量训练样本的标签信息未知。即在多视图数据集中，$\mathit{\boldsymbol{X}} = \left\{ {{\mathit{\boldsymbol{X}}_{{n_l}}}, {\mathit{\boldsymbol{X}}_{{n_u}}}} \right\}$，$\mathit{\boldsymbol{Y}} = \left\{ {{\mathit{\boldsymbol{Y}}_{{n_l}}}, {\mathit{\boldsymbol{Y}}_{{n_u}}}} \right\}$，${{\mathit{\boldsymbol{X}}_{{n_l}}}}$，${{\mathit{\boldsymbol{Y}}_{{n_l}}}}$分别表示为$n_{l}$个监督样本，$X_{n_{u}}$，$Y_{n_{u}}$分别表示为$n_{u}$个无监督样本，且${n_l} \ll {n_u}$。定义$\mathit{\boldsymbol{F}} = \left[{{\mathit{\boldsymbol{F}}_1}, {\mathit{\boldsymbol{F}}_2}, \cdots, {\mathit{\boldsymbol{F}}_n}} \right]$为样本的预测标签矩阵，其中${\mathit{\boldsymbol{F}}_i} \in {{\bf{R}}^\mathit{c}}$，${\mathit{\boldsymbol{F}}_{\mathit{ij}}}{\rm{ = 1}}$表示第$i$样本属于第$j$类；否则${\mathit{\boldsymbol{F}}_{\mathit{ij}}}{\rm{ = 0}}$。

为了解决多视图学习中的半监督学习问题，提出一种将标签预测与模型构建融合的联合学习框架，该联合学习框架的基本思想是将标签预测嵌入判别典型相关分析模型中，采用交替迭代的方法联合学习投影方向和预测标签矩阵。该联合学习框架的一般形式可表示为

$ J\left( {{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y},\mathit{\boldsymbol{F}}} \right) = \mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y},\mathit{\boldsymbol{F}}} - H\left( {{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y},\mathit{\boldsymbol{F}}} \right) + R\left( \mathit{\boldsymbol{F}} \right) $

(2)

式中，$H\left( {{\mathit{\boldsymbol{W}}_x}, {\mathit{\boldsymbol{W}}_y}, \mathit{\boldsymbol{F}}} \right)$为判别相关分析项。假设预测标签矩阵$\mathit{\boldsymbol{F}}$已知。$H(·)$函数通过利用标签预测学得的标签矩阵$\mathit{\boldsymbol{F}}$来提高投影方向${{\mathit{\boldsymbol{W}}_x}}$和${{\mathit{\boldsymbol{W}}_y}}$的判别能力；进一步，学得的判别投影方向${{\mathit{\boldsymbol{W}}_x}}$和${{\mathit{\boldsymbol{W}}_y}}$，又可用以重新更新标签矩阵$\mathit{\boldsymbol{F}}$。上述过程，交替学习，直至收敛，可学得最优的投影方向${{\mathit{\boldsymbol{W}}_x}}$和${{\mathit{\boldsymbol{W}}_y}}$。为了提高标签预测的性能，式(2)引入了标签预测正则化项$R(\mathit{\boldsymbol{F}})$。

对于式(2)中的$H$函数，采用多种方法定义，为了简单方便，采用DCCA^[15]模型定义目标函数

$ H\left( {{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y},\mathit{\boldsymbol{F}}} \right) = \mathop {\max }\limits_{{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y}} \frac{{\mathit{\boldsymbol{W}}_x^{\rm{T}}{{\mathit{\boldsymbol{\tilde C}}}_{xy}}{\mathit{\boldsymbol{W}}_y}}}{{\sqrt {\left( {\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{C}}_{xx}}{\mathit{\boldsymbol{W}}_x}} \right)\left( {\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{C}}_{yy}}{\mathit{\boldsymbol{W}}_y}} \right)} }} $

(3)

式中，协方差矩阵${\mathit{\boldsymbol{\tilde C}}_{xy}} = \mathit{\boldsymbol{XF}}{\mathit{\boldsymbol{F}}^{\rm{T}}}{\mathit{\boldsymbol{Y}}^{\rm{T}}}, \;{\mathit{\boldsymbol{C}}_{xx}} = \mathit{\boldsymbol{X}}{\mathit{\boldsymbol{X}}^{\rm{T}}}, \;{\mathit{\boldsymbol{C}}_{yy}} = \mathit{\boldsymbol{Y}}{\mathit{\boldsymbol{Y}}^{\rm{T}}}$。根据DCCA的结论^[15]，式(3)可最小化类间相关性，最大化类内相关性，使得投影方向更加判别。

为了指导标签预测过程，引入监督样本的标签矩阵$\mathit{\boldsymbol{L}} = \left\{ {{\mathit{\boldsymbol{l}}_1}, {\mathit{\boldsymbol{l}}_2}, \cdots, {\mathit{\boldsymbol{l}}_{{n_l}}}} \right\}$，此时，样本的预测标签应该尽可能地接近真实标签。因此，标签估计正则化项可表示为

$ \begin{array}{*{20}{c}} {R\left( \mathit{\boldsymbol{F}} \right) = \mathop {\min }\limits_F \mu \left\| {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{L}}} \right\|_{\rm{F}}^2 + }\\ {\alpha \;{\rm{tr}}{{\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}^{\rm{T}}}\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;{\mathit{\boldsymbol{F}}_{ij}} \ge 0} \end{array} $

(4)

式中，$μ$和$α$为平衡参数。这里，预测标签$\mathit{\boldsymbol{F}}$中的元素为0、1离散值。因此，求解$\mathit{\boldsymbol{F}}$是一个NP-hard问题。为了方便计算，采用与文献[20-21]相似技术，将$\mathit{\boldsymbol{F}}$放松为连续变量。为保证预测标签矩阵$\mathit{\boldsymbol{F}}$中任一元素非负，采用Yang等人^[22-23]提出的方法，对预测标签矩阵$\mathit{\boldsymbol{F}}$元素施加非负约束，非负约束有利于提升算法的性能。同时，${\mathit{\boldsymbol{F}}_i}$(表示样本${\mathit{\boldsymbol{x}}_i}$的类别)只有一个元素不为0，其余各元素皆为0。根据文献[22-23]技术，约束预测标签矩阵$\mathit{\boldsymbol{F}}$是列正交的。

根据上述判别相关分析以及标签估计项，式(2)所定义的一般形式可表示为

$ \begin{array}{*{20}{c}} {J\left( {{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y},\mathit{\boldsymbol{F}}} \right) = \mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y},\mathit{\boldsymbol{F}}} - \mathit{\boldsymbol{W}}_x^{\rm{T}}{{\mathit{\boldsymbol{\tilde C}}}_{xy}}{\mathit{\boldsymbol{W}}_y} + }\\ {\mu \left\| {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{L}}} \right\|_{\rm{F}}^2 + \alpha \;{\rm{tr}}{{\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}^{\rm{T}}}\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{C}}_{xx}}{\mathit{\boldsymbol{W}}_x} = \mathit{\boldsymbol{I}},\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{C}}_{yy}}{\mathit{\boldsymbol{W}}_y} = \mathit{\boldsymbol{I}},{\mathit{\boldsymbol{F}}_{ij}} \ge 0} \end{array} $

(5)

式中，$\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{\tilde C}}_{xy}}{\mathit{\boldsymbol{W}}_y}$表示视图之间相关性，最大化不同视图同类样本相关性以获取鉴别信息，同时约束视图$\mathit{\boldsymbol{X}}$和视图$\mathit{\boldsymbol{Y}}$类内变化最小化，使得同类样本在低维特征空间保持尽可能地近，进一步提升学得的投影方向的鉴别性能。$\left\| {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{L}}} \right\|_{\rm{F}}^2$表示约束预测标签矩阵$\mathit{\boldsymbol{F}}$尽可能接近真实标签矩阵$\mathit{\boldsymbol{L}}$。${\mathop{\rm tr}\nolimits} {\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)^{\rm{T}}} \times \left( {{\mathit{\boldsymbol{F}}^T}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)$是限制预测标签矩阵$\mathit{\boldsymbol{F}}$元素是非负的，且列正交。

采用交替迭代的方法优化求解式(5)所定义的目标函数。具体步骤为:

1) 固定$\mathit{\boldsymbol{F}}$，优化求解投影方向${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$，式(5)所定义的目标函数可转换为

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_x},{\mathit{\boldsymbol{W}}_y}} - \mathit{\boldsymbol{W}}_x^{\rm{T}}{{\mathit{\boldsymbol{\tilde C}}}_{xy}}{\mathit{\boldsymbol{W}}_y}}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{C}}_{xx}}{\mathit{\boldsymbol{W}}_x} = \mathit{\boldsymbol{I}},\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{C}}_{yy}}{\mathit{\boldsymbol{W}}_y} = \mathit{\boldsymbol{I}}} \end{array} $

(6)

采用拉格朗日乘子法，式(6)的优化问题可表述为式(7)所定义的广义特征值问题^[10]，即

$ \left[ {\begin{array}{*{20}{c}} \mathit{\boldsymbol{0}}&{{\mathit{\boldsymbol{C}}_{xy}}}\\ {{\mathit{\boldsymbol{C}}_{yx}}}&\mathit{\boldsymbol{0}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{W}}_x}}\\ {{\mathit{\boldsymbol{W}}_y}} \end{array}} \right] = \beta \left[ {\begin{array}{*{20}{c}} {{{\mathit{\boldsymbol{\tilde C}}}_{xy}}}&\mathit{\boldsymbol{0}}\\ \mathit{\boldsymbol{0}}&{{\mathit{\boldsymbol{C}}_{yx}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{W}}_x}}\\ {{\mathit{\boldsymbol{W}}_y}} \end{array}} \right] $

(7)

进一步，对式(7)利用广义特征值分解，可得到判别投影方向${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$。

2) 固定${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$，优化求解预测标签矩阵$\mathit{\boldsymbol{F}}$，式(5)可转换为

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{W}}_x^{\rm{T}}\mathit{\boldsymbol{XF}}{\mathit{\boldsymbol{F}}^{\rm{T}}}{\mathit{\boldsymbol{Y}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_y} + \mu {\rm{tr}}\left\{ {{{\left( {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{L}}} \right)}^{\rm{T}}}\mathit{\boldsymbol{D}}\left( {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{L}}} \right)} \right\} + }\\ {\alpha \;{\rm{tr}}{{\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}^{\rm{T}}}\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\;{\mathit{\boldsymbol{F}}_{ij}} \ge 0} \end{array} $

(8)

式中，$\mathit{\boldsymbol{D}} = \left[{\begin{array}{*{20}{l}} \mathit{\boldsymbol{I}}&{\bf{0}}\\ {\bf{0}}&{\bf{0}} \end{array}} \right] \in {{\bf{R}}^{n \times n}}$，$\mathit{\boldsymbol{I}}$表示一个单位矩阵并且$\mathit{\boldsymbol{I}} \in {{\bf{R}}^{n \times n}}$。

为求解式(8)，首先采用梯度下降法计算$\mathit{\boldsymbol{F}}$的梯度

$ \begin{array}{*{20}{c}} {\frac{{\partial J}}{{\partial {\mathit{\boldsymbol{F}}_{ij}}}} = - \left( {{\mathit{\boldsymbol{X}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_x}\mathit{\boldsymbol{W}}_y^{\rm{T}}\mathit{\boldsymbol{YF}} + {\mathit{\boldsymbol{Y}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_y}\mathit{\boldsymbol{W}}_x^{\rm{T}}\mathit{\boldsymbol{XF}} - } \right.}\\ {{{\left. {2\mu \mathit{\boldsymbol{D}}\left( {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{Y}}} \right) - 2\alpha \mathit{\boldsymbol{F}}\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)} \right)}_{ij}}} \end{array} $

(9)

为了学习得到非负的预测标签矩阵$\mathit{\boldsymbol{F}}$，与非负矩阵分解^[24]相似，定义更新规则为

$ {F_{ij}} \leftarrow {F_{ij}} \times \frac{{{{\left( {\mathit{\boldsymbol{KF}} + \mathit{\boldsymbol{DL}} + 2\alpha \mathit{\boldsymbol{F}}} \right)}_{ij}}}}{{{{\left( {\mathit{\boldsymbol{DF}} + 2\alpha \mathit{\boldsymbol{F}}{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}}} \right)}_{ij}}}} $

(10)

式中，$\mathit{\boldsymbol{K}} = {\mathit{\boldsymbol{X}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_x}\mathit{\boldsymbol{W}}_y^{\rm{T}}\mathit{\boldsymbol{Y}} + {\mathit{\boldsymbol{Y}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_y}\mathit{\boldsymbol{W}}_x^{\rm{T}}\mathit{\boldsymbol{X}}$。

进一步，为了使预测标签矩阵$\mathit{\boldsymbol{F}}$的元素为0或1，通过式(11)将预测标签矩阵$\mathit{\boldsymbol{F}}$离散化，即

$ {F_{ij}} = \left\{ {\begin{array}{*{20}{c}} \begin{array}{l} 1\\ 0 \end{array}&\begin{array}{l} {F_{ij}}\;是\;{\mathit{\boldsymbol{F}}_i}\;的最大值\\ 其他 \end{array} \end{array}} \right. $

(11)

综上所述，本文算法的训练流程如下：

输入：训练样本对{$\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}$}，监督样本的真实标签矩阵$\mathit{\boldsymbol{L}}$，收敛阈值$T_{0}$；

输出：投影矩阵${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$，预测标签矩阵$\mathit{\boldsymbol{F}}$。

1) 随机初始化预测标签矩阵$\mathit{\boldsymbol{F}}$，投影矩阵${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$，目标函数值$J_{0}$。

2) 固定$\mathit{\boldsymbol{F}}$，通过式(7)更新${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$。

3) 固定${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$，通过式(10)更新$\mathit{\boldsymbol{F}}$。

4) 归一化预测标签矩阵$\mathit{\boldsymbol{F}} = \mathit{\boldsymbol{F}}{\left( {\mathit{\boldsymbol{F}}{\mathit{\boldsymbol{F}}^{\rm{T}}}} \right)^{ - \frac{1}{2}}}$。

5) 根据式(5)，计算目标函数值$J$，如果$\left| {J - {J_0}} \right| \le {T_0}$，目标函数收敛，转步骤6)；否则，$J_{0}=J$，转步骤2)。

6) 根据式(11)，计算样本的预测标签矩阵$\mathit{\boldsymbol{F}}$。

7) 通过式(7)计算${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$。

本节对投影后的两个视图的特征进行组合。利用求解得到的投影矩阵${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$进行特征组合，有串行组合$\left( {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{W}}_x^{\rm{T}}\mathit{\boldsymbol{X}}}\\ {\mathit{\boldsymbol{W}}_y^{\rm{T}}\mathit{\boldsymbol{Y}}} \end{array}} \right)$和并行组合$\mathit{\boldsymbol{W}}_x^{\rm{T}}\mathit{\boldsymbol{X}} + \mathit{\boldsymbol{W}}_y^{\rm{T}}\mathit{\boldsymbol{Y}}$两种方式。采用串行方式，将两个视图特征串行排列组合成整体特征$\mathit{\boldsymbol{Z}} = \left[{{\mathit{\boldsymbol{z}}_1}, {\mathit{\boldsymbol{z}}_2}, \cdots, {\mathit{\boldsymbol{z}}_n}} \right] = \left( {\begin{array}{*{20}{c}} {{x_1}, \cdots, {x_n}}\\ {{y_1}, \cdots, {y_n}} \end{array}} \right) \in {{\bf{R}}^{(p + q) \times n}}$，对于组合的特征利用最近分类器对特征进行分类。

本节描述模型测试流程如下：

1) 根据学得的特征投影矩阵${\mathit{\boldsymbol{W}}_x}$和${\mathit{\boldsymbol{W}}_y}$，提取待测试样本${\mathit{\boldsymbol{X}}_{{\rm{ test }}}}$和${\mathit{\boldsymbol{Y}}_{{\rm{ test }}}}$的特征，即$\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{X}}_{{\rm{test}}}}$和$\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{Y}}_{{\rm{ test }}}}$。按照同样方法提取训练样本特征$\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{X}}_{{\rm{train}}}}$和$\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{Y}}_{{\rm{ train }}}}$。

2) 特征组合。将具体的测试样本${\mathit{\boldsymbol{X}}_{{\rm{test}}}}$和${\mathit{\boldsymbol{Y}}_{{\rm{test}}}}$的特征$\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{X}}_{{\rm{test}}}}$和 $\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{Y}}_{{\rm{test}}}}$ ，利用串行方式，组合成整体特征${\mathit{\boldsymbol{Z}}_{{\rm{ test }}}} = \left( {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{X}}_{{\rm{ test }}}}}\\ {\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{Y}}_{{\rm{ test }}}}} \end{array}} \right)$。按照上述特征组合方法将训练样本组合成整体特征${\mathit{\boldsymbol{Z}}_{{\rm{train}}}} = \left( {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{W}}_x^{\rm{T}}{\mathit{\boldsymbol{X}}_{{\rm{train}}}}}\\ {\mathit{\boldsymbol{W}}_y^{\rm{T}}{\mathit{\boldsymbol{Y}}_{{\rm{train}}}}} \end{array}} \right)$。

3) 采用以欧氏距离作为度量的最近邻分类器进行分类，具体地从${\mathit{\boldsymbol{Z}}_{{\rm{ test }}}}$取一个测试特征与全部${\mathit{\boldsymbol{Z}}_{{\rm{ train }}}}$计算欧氏距离得到其类别，最终得到${\mathit{\boldsymbol{Z}}_{{\rm{ test }}}}$的分类结果。

在现实复杂场景下，同一个对象往往从多个角度去表示，即几个(多于两个)不同形式的数据表示同一个对象的不同特性。为了解决这个问题，将JLPDPSCCA扩展至多视图模型JLPDPSMCCA，它能够同时处理多个视图数据。

假定$n$个对象的全部$k$个视图特征为$\left. {\left\{ {{\mathit{\boldsymbol{X}}^{(j)}} \in } \right.{{\bf{R}}^{{d_j} \times n}}} \right\}_{j = 1}^k$，其中${\mathit{\boldsymbol{X}}^{(j)}} = \left[{\mathit{\boldsymbol{x}}_1^{(j)}, \mathit{\boldsymbol{x}}_2^{(j)}, \cdots, \mathit{\boldsymbol{x}}_n^{(j)}} \right]$，$\mathit{\boldsymbol{x}}_i^{(j)} \in {{\bf{R}}^{{d_j}}}(i = 1, 2, \cdots, n)$，$d_{j}$表示第$j$个视图的特征维数。$\left\{ {\mathit{\boldsymbol{x}}_i^{(j)}} \right\}_{i = 1}^m$、$\left\{ {\mathit{\boldsymbol{x}}_i^{(j)}} \right\}_{i = m + 1}^n$分别是第$j$个视图的监督样本和无监督样本。JLPDPSMCCA的目标函数表示为

$ \begin{array}{*{20}{c}} {J\left( {{\mathit{\boldsymbol{W}}^{\left( 1 \right)}},{\mathit{\boldsymbol{W}}^{\left( 2 \right)}}, \cdots ,{\mathit{\boldsymbol{W}}^{\left( k \right)}},\mathit{\boldsymbol{F}}} \right) = }\\ {\mathop {\min }\limits_{{\mathit{\boldsymbol{W}}^{\left( 1 \right)}},{\mathit{\boldsymbol{W}}^{\left( 2 \right)}}, \cdots ,{\mathit{\boldsymbol{W}}^{\left( k \right)}},\mathit{\boldsymbol{F}}} - \sum\limits_{j = 1}^k {\sum\limits_{i = 1,i \ne j}^k {{\mathit{\boldsymbol{W}}^{\left( j \right){\rm{T}}}}{{\mathit{\boldsymbol{\tilde C}}}^{\left( {ji} \right)}}{\mathit{\boldsymbol{W}}^{\left( i \right)}}} } + }\\ {\mu \left\| {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{L}}} \right\|_{\rm{F}}^2 + \alpha \;{\rm{tr}}{{\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}^{\rm{T}}}\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\sum\limits_{j = 1}^k {{\mathit{\boldsymbol{W}}^{\left( j \right){\rm{T}}}}{\mathit{\boldsymbol{C}}^{\left( {jj} \right)}}{\mathit{\boldsymbol{W}}^{\left( j \right)}}} = \mathit{\boldsymbol{I}},\;\;\;\;\;{F_{ij}} \ge 0} \end{array} $

(12)

式中，${\mathit{\boldsymbol{\tilde C}}^{(ji)}} = {\mathit{\boldsymbol{X}}^{(j)}}\mathit{\boldsymbol{F}}{\mathit{\boldsymbol{F}}^{\rm{T}}}{\mathit{\boldsymbol{X}}^{(i){\rm{T}}}}$表示视图间协方差矩阵，${\mathit{\boldsymbol{C}}^{(jj)}} = {\mathit{\boldsymbol{X}}^{(j)}}{\mathit{\boldsymbol{X}}^{(j){\rm{T}}}}$表示视图内协方差矩阵。通过上述优化制定，JLPDPSCCA可以看做是JLPDPSMCCA的一种特例。当仅有两个视图时，JLPDPSMCCA就变成了JLPDPSCCA。

对于式(12)的优化求解，依旧采用交替迭代的策略。

首先固定$\mathit{\boldsymbol{F}}$，使用拉格朗日乘子法，得到如下的优化问题

$ \begin{array}{*{20}{c}} {L\left( {{\mathit{\boldsymbol{W}}^{\left( 1 \right)}},{\mathit{\boldsymbol{W}}^{\left( 2 \right)}}, \cdots ,{\mathit{\boldsymbol{W}}^{\left( k \right)}},\lambda } \right) = }\\ { - \sum\limits_{j = 1}^k {\sum\limits_{i = 1,i \ne j}^k {{\mathit{\boldsymbol{W}}^{\left( j \right){\rm{T}}}}{{\mathit{\boldsymbol{\tilde C}}}^{\left( {ji} \right)}}{\mathit{\boldsymbol{W}}^{\left( i \right)}}} } + }\\ {\lambda \left( {\sum\limits_{j = 1}^k {{\mathit{\boldsymbol{W}}^{\left( j \right){\rm{T}}}}{\mathit{\boldsymbol{C}}^{\left( {jj} \right)}}{\mathit{\boldsymbol{W}}^{\left( j \right)}} - \mathit{\boldsymbol{I}}} } \right)} \end{array} $

(13)

令$\frac{{\partial L}}{{\partial {\mathit{\boldsymbol{W}}^{(j)}}}} = 0$，得到式(14)这个广义特征值问题

$ \sum\limits_{i \ne j} {{{\mathit{\boldsymbol{\tilde C}}}^{\left( {ji} \right)}}{\mathit{\boldsymbol{W}}^{\left( i \right){\rm{T}}}}} = \lambda {\mathit{\boldsymbol{C}}^{\left( {jj} \right)}}{\mathit{\boldsymbol{W}}^{\left( j \right){\rm{T}}}} $

(14)

进一步，对式(14)利用广义特征值分解，可得到第$j$个视图的投影矩阵为${\mathit{\boldsymbol{W}}^{(j)}} \in {{\bf{R}}^{{d_j} \times d}}$。

对于优化求解预测标签矩阵$\mathit{\boldsymbol{F}}$，计算预测标签矩阵$\mathit{\boldsymbol{F}}$的梯度

$ \begin{array}{*{20}{c}} {\frac{{\partial J}}{{\partial {\mathit{\boldsymbol{F}}_{ij}}}} = - \left( {\sum\limits_{j = 1}^k {\sum\limits_{i = 1,j \ne i}^k {{\mathit{\boldsymbol{X}}^{\left( j \right){\rm{T}}}}{\mathit{\boldsymbol{W}}^{\left( j \right)}}{\mathit{\boldsymbol{W}}^{\left( i \right){\rm{T}}}}{\mathit{\boldsymbol{X}}^{\left( i \right)}}\mathit{\boldsymbol{F}}} } - } \right.}\\ {{{\left. {2\mu \mathit{\boldsymbol{D}}\left( {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{Y}}} \right) - 2\alpha \mathit{\boldsymbol{F}}\left( {{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{I}}} \right)} \right)}_{ij}}} \end{array} $

(15)

进一步地，采用与非负矩阵分解^[24]相似策略，定义如下的更新规则

$ {\mathit{\boldsymbol{F}}_{ij}} \leftarrow {\mathit{\boldsymbol{F}}_{ij}} \times \frac{{{{\left( {\mathit{\boldsymbol{KF}} + \mathit{\boldsymbol{DL}} + 2\alpha \mathit{\boldsymbol{F}}} \right)}_{ij}}}}{{{{\left( {\mathit{\boldsymbol{DF}} + 2\alpha \mathit{\boldsymbol{F}}{\mathit{\boldsymbol{F}}^{\rm{T}}}\mathit{\boldsymbol{F}}} \right)}_{ij}}}} $

(16)

式中，$\mathit{\boldsymbol{K}} = \sum\limits_{j = 1}^k {\sum\limits_{i = 1, j \ne i}^k {{\mathit{\boldsymbol{X}}^{(j){\rm{T}}}}} } {\mathit{\boldsymbol{W}}^{(j)}}{\mathit{\boldsymbol{W}}^{(i){\rm{T}}}}{\mathit{\boldsymbol{X}}^{(i)}}$。

为了验证本文方法的有效性，选择AR，Extended Yale B，Multi-PIE和ORL这4个人脸数据集。

1) AR人脸数据集。该子集包括100个人，每人14幅图像，共1 400幅正脸图像。每个人的表情、遮挡情况和光照情况都不同。所有人脸图像按比例统一裁剪为66×48像素。

2) Extended Yale B人脸数据集。包括38个人2 414幅正面人脸图像。这些图像的光照条件不同，从不同的角度拍摄，每个人约64幅人脸图像。所有人脸图像按比例统一裁剪为32×32像素。

3) Multi-PIE人脸数据集。包括在43种照明条件下，13种不同的姿势与5种不同的表情的68个人的41 368幅图像。每个人有24幅图像，每个姿势有1 632幅图像。所有人脸图像按比例统一裁剪为64×64像素。

4) ORL人脸数据集。包括400幅正面人脸图像。其中每人是10幅图像，这些图像是在不同光照条件下拍摄的，而且每个人的面部表情和面部细节有着不同程度的变化。所有人脸图像按比例统一裁剪为32×32像素。

为了验证本文方法的有效性，实验采用欧氏距离作为度量的最近邻分类器进行分类，近邻数$k$取3，实验重复10次，以平均值作为最终的实验结果。采用如下7种算法，进行实验结果对比。对比方法简要描述如下：

1) 无监督方法。包括典型相关分析^[9-10]、新型局部保持典型相关分析^[13]、局部增强密度典型相关分析^[14]。

2) 监督方法。包括鉴别典型相关分析^[15]、局部鉴别典型相关分析^[16]。

3) 半监督方法。包括半监督典型相关分析(SCCA)^[25]、基于标签传播的半监督典型相关分析^[18]。

对于Extended Yale B和Multi-PIE人脸数据集，每个人随机挑选10幅图像作为训练集，剩余的图像作为测试集；对于AR和ORL人脸数据集，每个人随机挑选7幅图像作为训练集，剩余的图像作为测试集。实验中，为了构建多视图数据特征集，本文将原始特征作为$X$集，采用与文献[26]相似技术，利用Daubechies正交小波变化，选取低频分量作为$Y$集。值得注意的是，本文是多特征降维融合方法，实验中选取Daubechies正交小波变化的低频分量作为$Y$集，当然也可以提取LBP^[18]特征作为$Y$集。在所有数据集中，每人随机挑选3幅图像作为监督样本，其余的样本作为无标记样本。本文方法的参数$α=μ=80$，收敛阈值${J_0} = {10^{- 3}}$。所有对比方法都使用默认的参数设置。为了去除冗余特征，使用PCA分别将Extended Yale B，AR，Multi-PIE和ORL进行图像预处理。

采用3.3节所述的参数设置，在Extended Yale B，AR，Multi-PIE和ORL这4个人脸数据集上对算法的收敛性进行分析。实验结果如图 1所示。从图 1可以看出，通过10次迭代之后，目标函数值几乎不变，即算法收敛。这表明本文方法只需少量的迭代次数，即可收敛。

采用3.3节所述的参数设置，测试算法在不同维度下的识别性能。实验结果如图 2所示。从图 2可以看出，在4个人脸数据集上，本文方法识别性能优于其他方法，尤其是使用少量特征时，特别是在Extended Yale B和AR人脸数据集上，本文方法识别率远远高于其他方法。这是因为联合学习模型学习的投影方向更具判别性，仅需少量的特征，即可得到较好的识别效果，当特征维数达到一定程度时，各算法的识别率趋于稳定。

采用3.3节所述的参数设置，测试算法在不同数量监督样本数下的识别性能。实验结果如图 3所示。从图 3可以看出，随着监督样本增加，所有方法的识别性能均提升。对比其他方法，本文方法的识别性能更优，特别是在AR，Multi-PIE和ORL数据集，识别率达到90%以上。这表明JLPDPSCCA算法能够更好地利用监督样本和无标签样本完成识别任务，更加适合半监督的场景。

实验是在MATLAB R2014b上进行的，采用如下的实验平台：CPU为Inter(R) Core(TM) i3-6100，主频3.70 GHz以及内存4.00 GB，测试本文算法的运行时间。运行时间结果如表 1所示。从表 1可以看出，相对CCA，DCCA，ALPCCA，SCCA和LDCCA方法，本文方法的训练时间相对较高，这是因为联合学习模型是需要多次交替迭代。然而，由表 1可知，本文方法测试时间短，这是因为联合学习模型学得的投影更加判别，仅需少量特征即可得到较好的结果，所以测试时间短。值得注意的是，在实际应用中，训练过程可通过离线的方式预先获得学习模型；而算法测试性能的好坏，直接决定了整个学习系统的数据处理能力。

现有多视图半监督模型先标签预测后模型构建，导致局部最优投影，影响后续的分类结果。针对两步学习策略的缺陷，本文提出一个标签预测与模型构建融合的联合学习框架。通过将预测标签嵌入定义的判别典型相关分析模型，交替迭代更新预测标签与判别投影方向，同时对预测标签施加约束项，使得预测标签更接近真实标签。在4个人脸数据集上的实验结果表明了本文算法比其他算法有着更高的识别率，证实联合学习框架的有效性。本文模型的不足之处是相似的样本预测标签也应相近，进一步地，可以在现有模型基础上考虑引入拉普拉斯项，来约束相似的样本其预测标签相近。因此，接下来工作重心将是考虑引入拉普拉斯项以及非线性扩展。