随着移动拍摄技术和移动网络的高速发展，每天都有大量的视频数据生成和共享，用户难以从如此海量的视频数据中获取到自己感兴趣的内容。如何有效地对视频精彩片段进行识别、提取，使用户能快速而准确地获取视频中感兴趣的内容成为亟需解决的问题。

传统方法大多基于底层特征对视频精彩片段进行提取^[1-3]，忽略了对用户感兴趣内容的选取。而视频片段提取是一个相对主观的工作，当视频内容较为复杂或者持续时间较长时，不同用户对于同一段视频感兴趣的内容区别较大。例如，对于一场篮球比赛视频，用户感兴趣的内容可能是灌篮、三分球等一些精彩片段，也可能集中在球员的控球姿势、球场走位等技术动作，这导致不同用户对于视频精彩片段提取的期望有所不同。因此，本文考虑能根据用户不同的兴趣点在同一段视频中提取出不同的视频片段。

近年来，通过使用高层语义对视频精彩片段进行提取的研究逐渐引起研究人员的关注。Yao等人^[4]提出可根据用户在互联网中的搜索和点击事件挖掘视频语义，从而对视频进行标注；Ismail等人^[5]指出图像的语义标签和底层特征决定了其是否能被观看者记住并产生兴趣；Wang等人^[6]提出收集联想关键词构建迁移源域，进一步迁移学习后实现视频标注。然而互联网中的视频，通常在由非专业人士随机拍摄，视频中含有大量因抖动引起的模糊现象以及因拍摄场景复杂引起的类内变换^[7]，直接对视频本身进行语义建模需要标注大量的视频，费时费力，且视频中可能存在的模糊、抖动情况将给语义建模带来极大困难。互联网中包含大量已标注信息^[8]，这些图像通常包含丰富信息，且由用户经过挑选上传，能为语义建模提供丰富且质量较好的训练数据，有效避免为获得用户兴趣语义模型而标注大量视频作为训练数据的繁重工作^[9]，通过使用与用户兴趣相关的关键词，在互联网图像搜索引擎中进行检索即可获得大量与用户兴趣语义相关图像集。因此，本文考虑从互联网图像中获取知识，指导基于用户兴趣的视频精彩片段提取。

在使用与用户兴趣相关的关键字进行图像检索时，对于同一个内容，不同用户可能会产生不同的描述。例如，扣篮、灌篮、补扣、大风车等在篮球比赛中都属于同一种语义内容，但这些关键词在互联网中进行检索时，获得的图像集会产生差别^[10]，如图 1。使用单一关键词对兴趣语义相关图像进行检索可能会产生偏差，为搜集尽可能全面的事件知识，本文提出一种基于近义语义检索的联合组权重组学习模型，对不同用户提供的兴趣内容进行近义语义建模。通过对含有近义语义模型的兴趣内容进行再加权联合学习，可获得关于一个用户感兴趣内容更完整的视觉信息。

本文提出一种面向用户兴趣的视频精彩片段提取算法。本文算法框架如图 2所示。

本文的目标是根据用户兴趣对视频进行精彩片段的提取，在对用户兴趣进行语义建模的过程中，考虑从互联网图像中获取知识，以减少对视频标注数据的依赖。将不同用户对同一视频内容的不同描述称为近义语义，不同近义语义之间虽存在差异，但其描述语义内容基本一致，将近义语义进行语义聚类得视频兴趣语义，通过对近义语义模型的联合组权重学习构建最终语义模型。

定义$\mathit{\boldsymbol{Z}} = \left\{ {{\mathit{\boldsymbol{X}}^1}, {\mathit{\boldsymbol{X}}^2}, \cdots, {\mathit{\boldsymbol{X}}^s}} \right\}$为兴趣语义图像集合，$S$指图像组数量，式中${\mathit{\boldsymbol{X}}^s} = \left\{ {\mathit{\boldsymbol{x}}_j^s|_{j = 1}^{{n_s}}} \right\}$表示第$s$个近义语义图像组，${\mathit{\boldsymbol{x}}_j^s}$∈${{\bf{R}}^d}$为图像组${\mathit{\boldsymbol{X}}^s}$的第$j$幅图像，$d$为图像特征维度，${n_s}$指图像组内图像数量。令${\mathit{\boldsymbol{D}}^t} = \left\{ {\mathit{\boldsymbol{x}}_i^t|_{i = 1}^{{N_t}}} \right\}$, ${\mathit{\boldsymbol{x}}_i^t}$∈${{\bf{R}}^d}$表示视频帧特征集，${\mathit{\boldsymbol{x}}_i^t}$指每帧特征向量，${N_t}$表示视频总帧数。

对于每一个兴趣语义使用多个近义语义进行检索，通过检索而得的图像构建近义图像组指导近义语义建模，通过对近义语义模型的联合组权重学习，进一步提高迁移学习有效性，获取更加完整的语义模型，识别内容能更全面地表征用户对于该视频的关注点，有针对性获取用户所需的精彩内容。

收集不同用户给出的近义描述，根据每一近义语义构建近义图像组，通过语义聚合形成兴趣语义。假设针对该兴趣语义收集了$S$个近义语义图像组构成训练数据，第$s$个图像组的近义语义模型${f_s}\left( {{\mathit{\boldsymbol{x}}^s}} \right)$的一般形式为

$ {f_s}\left( {{\mathit{\boldsymbol{x}}^s}} \right) = {\left( {{\mathit{\boldsymbol{\omega }}^\mathit{s}}} \right)^{\rm{T}}}\varphi \left( {{\mathit{\boldsymbol{x}}^s}} \right) $

(1)

式中，$\varphi \left( {{\mathit{\boldsymbol{x}}^s}} \right)$为图像特征向量，${{\mathit{\boldsymbol{\omega }}^\mathit{s}}}$为特征权重向量。${{\mathit{\boldsymbol{x}}^s}}$为第$s$组图像中单幅图像。使用SVM算法训练图像组数据，将第$s$个图像组中所含的图像视为正样本，其余所有图像组中的图像视为负样本，得到最终近义语义模型。

一个兴趣语义由多个图像组构成，图像组从不同角度提供该语义的视觉信息，进一步保证分类结果准确。使用不同近义语义对同一语义信息进行检索所获取的图像集内容会有所差别，若对所有图像集进行平均融合将会忽略图像组之间的差异，考虑联合组语义优化的方式习得近义语义模型的最优权重，采用近义语义模型加权融合的方式获得最终语义模型。语义模型算法结构如图 3，可使用多个近义词对兴趣语义进行描述，分别构建近义词图像组，根据图像组训练基于图像组的子分类器，将多个近义语义模型(图中子分类器)加权融合，即

${F_t}\left( \mathit{\boldsymbol{x}} \right) = \sum\limits_{s = 1}^S {{\alpha _s}} {f_s}\left( {{\mathit{\boldsymbol{x}}^s}} \right) $

(2)

式中, ${{\alpha _s}}$表示第$s$个近义语义模型的权重，即第$s$个近义语义图像组与兴趣语义的相关性，定义$\mathit{\boldsymbol{\alpha = }}{\left[{{\alpha _1}, {\alpha _1}, \cdots, {\alpha _S}} \right]^{\rm{T}}}$为所有分组权重的集合，$\mathit{\boldsymbol{x}}$表示近义图像组中图像集合。使用联合优化算法思想求解不同近义语义模型的权重，为提高知识迁移有效性，对语义模型进行优化。

最小化近义语义模型在不同视频数据上的误差。考虑最小化一个联合正则项的目标函数$\Omega \left( {F\left( {{\mathit{\boldsymbol{Z}}_i}} \right)} \right)$，强制近义图像组样本上的决策值尽可能相近, $\Omega \left( {{F_t}\left( x \right)} \right)$可描述为

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;\Omega \left( {{F_t}\left( \mathit{\boldsymbol{x}} \right)} \right) = \frac{1}{2}{\left\| \mathit{\boldsymbol{\alpha }} \right\|^2} + {\Omega _L}\left( {{F_t}\left( \mathit{\boldsymbol{x}} \right)} \right)\\ {\Omega _L}\left( {{F_t}\left( \mathit{\boldsymbol{x}} \right)} \right) = \sum\limits_{i = 0}^{{N_s}} {\sum\limits_{s = 1}^S {{\alpha _s}\sum\limits_{k = 1, k \ne s}^S {{{\left\| {{f_s}\left( {{\mathit{\boldsymbol{x}}^\mathit{s}}} \right) - {f_k}\left( {{\mathit{\boldsymbol{x}}^\mathit{k}}} \right)} \right\|}^2}} } } \end{array} $

(3)

式中，正则项$\frac{1}{2}{\left\| \mathit{\boldsymbol{\alpha }} \right\|^2}$防止函数过拟合，降低算法复杂度；${\Omega _L}\left( {F_t^i\left( \mathit{\boldsymbol{x}} \right)} \right)$是图像组分类函数在标注数据上的损失函数，约束同一语义在不同的近义图像组应有相似的决策值，使用不同近义描述能得到较为一致的结果，根据测试数据的计算结果调整${{\alpha _s}}$的取值，为效果较好的图像组分配较高的权值，惩罚那些远远偏离中心语义的图像组。

最小化语义模型的分类结果在已标注数据上的误差。定义${\mathit{\boldsymbol{Y}}^i}$为第$i$个图像集标签，使用已标注数据对语义模型进行优化，强制语义模型的决策值尽可能接近视频数据的真实值，将第$i$个图像集中的图像视为正样本，除去$i$以外所有图像集的图像视为负样本，目标函数${\Omega _G}\left( {F_t^i\left( \mathit{\boldsymbol{x}} \right)} \right)$可写为

$ {\Omega _G}\left( {F_t^i\left( \mathit{\boldsymbol{x}} \right)} \right) = \sum\limits_{i = 1}^{{N_s}} {{{\left\| {F_t^i\left( \mathit{\boldsymbol{x}} \right) - {\mathit{\boldsymbol{Y}}^i}} \right\|}^2}} $

(4)

使用二次项对语义模型进行约束，使分类结果尽可能接近标注数据真实值。

整合以上各式，可将联合学习的优化函数$Q\left( \mathit{\boldsymbol{\alpha }} \right)$表示为

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\mathop {Q\left( \mathit{\boldsymbol{\alpha }} \right)}\limits_{{\rm{min}}\mathit{\alpha }} = \frac{1}{2}{\left\| \mathit{\boldsymbol{\alpha }} \right\|^2} + {\lambda _L}\sum\limits_{i = 0}^{{N_s}} {\sum\limits_{s = 1}^S {{\alpha _s}} } \\ \sum\limits_{k = 1, k \ne s}^S {{{\left\| {{f_s}\left( {{\mathit{\boldsymbol{x}}^\mathit{s}}} \right) - {f_k}\left( {{\mathit{\boldsymbol{x}}^\mathit{k}}} \right)} \right\|}^2}} + {\lambda _G}\sum\limits_{i = 1}^{{N_s}} {{{\left\| {F_t^i\left( \mathit{\boldsymbol{x}} \right) - {\mathit{\boldsymbol{Y}}^i}} \right\|}^2}} \\ \;\;\;\;\;\;\;\;\;\;{\rm{s}}{\rm{.t}}{\rm{.}}\;\;\;\;\;\;\sum\limits_{s = 1}^S {{\alpha _s} = 1} \end{array} $

(5)

式中，${\lambda _L}、{\lambda _G} > 0$为优化平衡参数。

将问题转化为求解等式约束的二次规划，使用拉格朗日乘子求解式(5)最优解${\mathit{\boldsymbol{\alpha }}^ * }$，将优化函数转化为

$ L\left( {\mathit{\boldsymbol{\alpha }}, \lambda } \right) = Q\left( \mathit{\boldsymbol{\alpha }} \right) - {\mathit{\boldsymbol{\mu }}^{\rm{T}}}\left( {\sum\limits_{s = 1}^S {{\alpha _s} = 1} } \right) $

(6)

由KKT条件可知，当 ${\nabla _\alpha }L\left( {\mathit{\boldsymbol{\alpha }}, \mathit{\boldsymbol{\mu }}} \right) = 0$，${\nabla _\mu }L\left( {\mathit{\boldsymbol{\alpha }}, \mathit{\boldsymbol{\mu }}} \right) = 0$时可得最优权值${\mathit{\boldsymbol{\alpha }}^ * }$。

将视频均匀分割为较短时长的视频片段，使用随机分布函数，每秒随机抽取一帧构成帧集合用于表征该片段内容。然后将视频帧代入语义模型计算分类结果，将帧集合内所有帧的计算结果累加得该视频片段的分类值，分类值越小表明越有可能为用户感兴趣内容，提取分类值较小的的视频片段作为用户感兴趣的精彩片段。

从CCV数据库^[11]获取视频数据，该数据库包含4 659个训练视频和4 658个测试视频，选取足球运动、篮球比赛、跳水、游泳和生日5类关注点丰富、语义描述多样的视频用于实验。考虑用户对视频片段时长的接受程度，本文将视频分割为若干个4 s片段，采用每秒选取一帧的方式构建帧集合用以表征该视频片段。为进一步保证实验过程客观可靠，邀请来自不同研究领域(包括语言学、物理学、经济管理学、计算机和设计美学)的15位测试员，统计他们对同一型视频期望关注内容的语义描述；然后给出测试视频，要求测试员对视频进行标注，测试员将根据个人偏好对任意的4 s片段进行标注，若认为该片段属于其感兴趣的关注内容，则使用对应的词汇进行描述；最后统计标注结果，发现不同测试员对同一视频片段可能使用不同词汇进行描述，例如{扣篮、灌篮、入樽}3个不同的语义标签被不同的测试员用来描述同一4 s视频片段，本文将描述相同4 s视频片段的描述词认为是近义语义，所表达内容相似，并对其进行语义聚类形成兴趣语义。将最终结果统计如表 1所示。

获取不同用户对视频的不同近义语义，进一步聚合为语义模型，并从互联网中检索与近义语义相关的图像组，通过对近义语义模型的联合组权重学习得最终兴趣语义模型，该模型描述信息全面，符合用户个性。本文使用百度图片搜索引擎，索引得图像组由200~300幅互联网图像构成。

对视频帧及互联网图像分别提取以下特征：

1) SIFT特征^[12]和HOG特征^[13]，通过量化局部特征比较图像与视频帧间的相似性，使用PCA算法将SIFT特征向量降低至2 048维。

2) GIST特征^[14]，由于不同用户兴趣关注点不同，视频常常表现为随意且无重点，这时若通过局部特征去识别图像，计算量无疑巨大，因此利用GIST特征忽略图像的局部特点，用一种更加“宏观”的方式去描述图像，减少计算复杂度；将特征连接为4 324维特征向量，使用k-mean算法将特征向量降低至2 000维左右，构建训练集与测试集数据。进一步，为尽可能客观地对比不同方法间结果的差异，选用平均正确率(AP)、平均正确率均值(mAP)和运行时间(RT)对算法性能进行评价。

将本文方法与下列视频精彩片段提取方法进行对比:

1) 子空间配准法。将测试帧与训练图像看做不同空间上的特征集合，采用构建特征子空间的方式连接两个空间中不同特征，从而对测试帧与训练图像进行相似度比较。

2) GFK核函数法。将源域(训练图像集)和目标域(测试帧集合)的数据在Grassmann流形空间标记并连接，通过核函数最大程度地拟合不同域间的差异，得到与源域数据最相近的目标域视频提取结果。

3) 随机选取法。构造随机模拟器，模拟生成多个在[0, 1]服从均匀分布的随机样本点$\nu $，得到随机数$rand = \nu \cdot \left( {{N_S} \cdot {n_s}} \right)$，从测试视频中选取对应帧图像所在的视频片段作为视频精彩片段，该方法不考虑用户需求且不使用图像特征进行训练。

4) 颜色直方图比较法。考虑使用文献[17]提出的基于RGB颜色特征聚类算法，对训练图像和视频帧进行基于颜色特征的聚类，定义4个聚类中心对彩色图像进行迭代聚类，将图像每个像素的R、G和B的值都分成4×4区域，统计直方图颜色信息，并对比测试图像与训练帧间颜色直方图的欧式距离进行精彩片段提取。

5) 不使用联合组权重学习的底层特征比较法。使用PCA算法对本文算法中提取的4 324维特征向量(颜色直方图、SIFT(尺度不变特征变换)、GIST(空间包络特征)和HOG2×2 (方向梯度直方图))降至2 000维左右，然后直接计算测试图像与视频帧特征空间的KNN(k-NearestNeighbor)距离，不采用任何分类函数构建分类器，设定$k=4$，提取距离较小的视频帧所在的视频片段作为视频精彩片段。

基于DAG-SVM的线性分类法。在获取用户对视频的兴趣语义后，使用platt^[18]提出的分类算法，针对${{N_S}}$个兴趣语义构造${N_S} = \left( {{N_S} - 1} \right)$个分类器(节点)，所有分类器构成两面有向无环图，当对测试帧进行分类时，从顶部根结点开始逐层细分直到底部叶子节点，每一段视频导入后将根据分类结果对视频帧进行标记提取。

其中，子空间配准法(DA-SA^[15])及GFK核函数法(GFK^[16])运用了迁移学习的算法思想。

图 4展示了不同精彩片段提取方法与本文方法的mAP对比，图 5给出不同算法运行时间。由提取结果可看出，DA-SA算法和GFK算法在最后结果上表现相似，由于足球视频多采用航拍方式，画面中物体较小，在图像归一化中易将关键信息忽略^[19]，因此该类视频mAP仅有0.23和0.24。对比DAG-SVM算法结果和本文方法结果可以看出，同样使用基于支持向量机(SVM)分类的基本思想，本文方法mAP相比于DAG-SVM提高了45.3%，这是由于DAG-SVM仅使用单图像集训练语义模型，没有考虑同一语义有多种近义描述，无法全面获取全部语义信息；颜色直方图对比和不使用联合组权重学习的底层特征比较法采用蛮力迁移的方式，计算过程中将测试视频帧的每一项特征值与对应训练图像进行对比，耗费大量时间，准确度较差；对于游泳、跳水等内容颜色分布单一、主色调明显的视频，颜色直方图对比算法能有较好表现。

通过构建联合组权重模型对近义语义模型的权值进行优化，既最小化不同图像组之间的差异，还最小化语义模型分类结果的误差。为探究优化过程中不同平衡参数对最终结果的影响，进一步验证本文方法的有效性，图 6列出了${\lambda _L}$, ${\lambda _G}$取不同值时的分类结果mAP对比，可以看出，若${\lambda _L}=0$, ${\lambda _G}=0$表示移除部分优化过程，将大大削弱最终分类效果。

将对比实验设置为不对兴趣语义进行近义语义的联合组权重学习，直接对用户选择的兴趣语义构建索引，从互联网检索获取该语义图像集，根据图像集进行模型训练；将本文方法与对比实验进行结果mAP对比。图 7列出实验结果，由实验结果可看出，对同一语义进行多个近义语义分组学习将mAP提高了53.3%，多组学习能有效提高结果准确率，适用于不同用户的不同描述。注意到本文方法与对比实验在生日类视频上mAP值相近，仅提高2.3%，这是由于生日类视频对比其他视频可关注信息较少，且用户描述较为统一，近义语义间差异较小，但对比篮球类视频本文方法较对比实验mAP提高了57.4%，这是由于篮球类视频中可关注点较多，且不同用户兴趣差异较大，容易差生不同的兴趣语义描述，进一步说明本文方法针对内容复杂、可关注点较多的视频有较好分类效果。

本文提出了一种基于用户兴趣的视频精彩片段提取算法，根据用户兴趣的不同使用网络图像提供的视觉知识对视频提取相应精彩片段。在这个框架下，将属于同一语义的多个近义描述作为关键词在互联网图像搜索引擎中进行检索，并将不同近义语义检索得到的图像集视为不同图像组。根据不同图像组与视频之间的相关性，通过联合优化学习习得各组的权重，从而获得关于用户兴趣语义模型，进一步指导视频精彩片段提取。实验结果表明，本文方法不仅能提取高质量的视频精彩片段，并且通过用户自主选择能更加合理有效地针对用户兴趣得出结果，提高视频用户对视频浏览的效率。