0 引 言

1 基于波动检测的镜头分类方法

根据摄像机缩放比赛现场的画面，一般可把足球视频的镜头分为3类：远镜头(全局镜头)、中镜头(放大镜头)和近镜头(场外镜头)。3种类型的镜头如图 1所示。

图 1 足球视频镜头示意图

Fig. 1 Illustration of soccer video shot ((a)long shot; (b) medium shot; (c) close-up shot)

当摄像机距离球场很远时，场地上球员很小，可以看到大部分球场，此时拍摄的图像中球场比率很大，而当摄像头拉近放大拍摄球员时，球场比例就相对很小。目前镜头类型的判别主要是根据球场色所占图像比率所确定的，因此要计算镜头类型，首先就要确定球场区域。目前主流球场区域计算方法有颜色阈值法、颜色直方图主色提取和混合高斯模型，检测效果如图 2所示。

图 2 足球场地色提取结果示意图

Fig. 2 Color extraction results for soccer field ((a) original image; (b) color threshold method; (c) dominant histogram method; (d) GMM method)

颜色阈值法提取球场结果不稳定，当球场颜色反差较大，受到光照变化和阴影遮挡时效果很不理想。由于互联网中的不同体育视频球场颜色变化较大，因此使用阈值法检测的球场更加不稳定。基于直方图的主色提取方法根据球场颜色分布，找出直方图中的最大联通区域对应的颜色范围为主色区域，同时为了获得更好的效果，人们在YCbCr颜色空间建立颜色直方图，直方图主色法检测的结果比阈值法好。高斯混合模型是参数化背景建模方法，它假定图像中像素点灰度值满足正态分布且不同像素点变化相对独立。由于比赛场地可能服从多峰分布，混合高斯模型用多个正态分布来描述场地像素变化，当场地复杂时比直方图主色法有更好的效果。然而由于混合高斯模型计算复杂，无法满足实时计算的需要，因此在镜头类型计算时，本文采用直方图主色提取方法检测场地区域，兼顾效率和准确性。

文献[12]提出的使用滑动窗口识别镜头类型的方法能满足本文需要的实时计算要求，通过计算滑动窗口内球场像素颜色占比来判断图像镜头类型，然而该滑动窗口在图像中间滑动时并未考虑到窗口滑动到球场边界之外的情况，造成相当一部分的远镜头图像被错误识别为中镜头。

如图 3所示，滑动窗口法可以正确识别图 3(a)的图像，但图 3(b)的图像会被错误识别为中镜头，因为滑动窗口像素比例一开始会小于阈值，直到某一点之后才会大于阈值。互联网体育视频中有大量的类似图 3(b)的图像，针对该问题，本文提出针对滑动窗口法的改进方法--波动检测法。波动检测法可以很好地解决图像中球场斜度过大的问题，波动检测法如图 4所示。

图 3 基于滑动窗口的镜头分类结果示意图

Fig. 3 Illustration of the shot classification results based on the sliding window ((a) correct classification; (b) wrong classification)

图 4 波动检测方法示意图

Fig. 4 Illustration of fluctuation detection method ((a) fluctuation number N=1; (b) fluctuation number N=2)

波动次数N定义为R_sliding在远镜头阈值T_in上下变化的次数，从小于T_in变化到大于T_in或者从大于T_in变化到小于T_in为波动一次。在图 4中，每个滑动窗口计算一个R_sliding值，连接所有的R_sliding形成曲线，在4(a)中，窗口在向右滑动过程中R_sliding逐渐增大，最终会在某一开始点大于T_in，后面尽管R_sliding会继续变化，但都大于T_in，因此图 4(a)波动次数为N=1；在图 4(b)中R_sliding曲线在T_in上下变化两次，波动次数N=2。从图 4分析可得出结论：当图像为远镜头时，R_sliding波动次数小于等于1，而中镜头时波动次数大于1。波动检测法根据这个特性来分类不同的镜头图像。

波动检测法识别镜头类型的详细描述如下：

输入：视频帧I。

输出：镜头类型。

1) 使用颜色直方图主色提取方法获取球场区域。2)统计球场像素占整幅图像比例R_frame。3)R_frame<T_out返回场外镜头；R_frame>T_out则返回远镜头。4)对剩下T_out≤R_frame≤ T_in之间的图像，使用滑动窗口从图像中间从左向右滑动，滑动窗口宽度W_sliding= W_frame/8，滑动窗口每次前进W_frame/40，计算滑动窗口内球场色像素比例R_sliding，上一窗口球场像素比例R′_sliding赋初值，置波动次数N = 0。5)窗口向右滑动，计算R_sliding。若R_sliding>T_in且R′_sliding<T_in，N++；若R_sliding<T_in且R′_sliding>T_in，N++。6)判断若N > 1则返回中镜头。7)赋值R′_sliding=R′_{sliding 。}8)重复步骤5)-7)，若N>1，返回中镜头，否则返回远镜头。T_in是远镜头阈值，T_out为场外镜头阈值，T_in与T_out的设置方法与文献[12]中的一致，T_in与T_out初始时取固定值，并随球场主色直方图的最小值适应性改变。算法把图像按高度方向先划分成3∶5∶3的区域，滑动窗口在中间区域从左到右滑动。在图 4(a)中，滑动窗口从左向右滑动的过程中计算窗口内的场地像素比例R_sliding，当滑动窗口滑过球员时R_sliding会在T_in上下波动两次，于是判断结果为中镜头，而在图 4(b)中，R_sliding值随着滑动窗口增加直到R_sliding>T_in，波动一次，而后面的窗口都满足R_sliding >T_in，没有波动，于是便返回远镜头结果。而文献[12]方法没有考虑这种情况，其只判断所有窗口的R_sliding，一旦发现有R_sliding<T_in，便返回中镜头结果。

2 检测球场区域类型的高低位法

2.1 球场区域类型

如图 5所示，在远镜头中，球场区域可以分为左半场、中场和右半场3种类型。

图 5 3种球场区域类型和对应的球场模型

Fig. 5 Three types of field area and corresponding field model ((a) left field; (b) left field; (c) middle filed; (d) middle field; (e) right field; (f)right field)

2.2 高低位计算球场区域类型

高低位计算思路来源于球场图像分析，我们知道，摄像机在拍摄球场左半场时，图像中球场左边会低于右边；而在拍摄右半场时，图像中球场左边高于右边；中场时图像中球场左右高度相近。球场高低位的转变也表现为球场内场地线斜率的变化，用场地内线斜率的计算方法判断球场区域其实与本文提出的方法相同，不过由于球场区域比较复杂，球员可能对场地线产生遮挡，当几个球员的位置比较接近，容易误检测到球员身上的线，导致使用线检测的方法效果不够理想。对于互联网上清晰度不高、分辨率较低的体育视频图像，线检测效果较差。而球场相对来说与背景差异明显，比较容易确定，检测效果相对好很多。

如图 6所示，高低位判断球场区域类型方法中需要使用一个阈值T，用以判断点L和R是否与Y坐标值相等。高低位判断是指如下处理逻辑(注意图像坐标原点在图像左上角，Y轴是从上到下)：

图 6 高低位检测球场区域流程图

Fig. 6 Flow chart of field area detection based on high and low of corner point

if Y_L>Y_R return Left Area

else  return Right Area

对于输入的远镜头类型图像，首先用高斯混合模型识别出球场像素范围，关于训练GMM模型参数，并使用该模型识别球场像素的具体流程参考文献[20]方法。获取到图像球场像素以后，对图像进行一次开操作平滑图像轮廓，断开狭窄的间断和消除细的突出物。由于球场面积比其他干扰像素区块面积大，这里简单采用查找图像中最大区块的方法查找球场，使用多边形拟合球场边界得到球场多边形。由于干扰背景的影响，获取到的多边形可能不规则，影响到后面区域类型的判断，本文提出的高低位方法只需要考虑球场的上边界点，因此这里只需要调整球场的上边界点。图 6的第4步预处理左右边界角点就是查看该角点水平方向小距离范围内是否有其他点比当前点更高，如果有，就将该点水平移动到图像边界作为新的角点，左角点标识为L，右角点标识为R，如图 7所示。

图 7 球场处理示意图

Fig. 7 Schematic diagram of field processing ((a) original images; (b) playfield area; (c) polygon fit; (d) corner point adjustment)

标识完左右角点L和R，比较图像L、R角点的Y坐标大小。如图 6所示，判断L、R角点的Y轴坐标差是否大于阈值T，如果是则说明不是中场，可以直接根据L、R角点的Y轴坐标大小来确定是哪个半场；若坐标差在阈值T内，则可能是中场也可能是其他情况。如果是中场则L和R之间没有其他角点存在，若有第3点则必定是左半场或者右半场，但事实上由于干扰的存在检测到的球场即使是中场，L和R之间也可能有其他干扰点存在，因此需要进行消除噪声的处理，即根据该点的角度和该点与前一点的线长度来决定保留或者删除该点，实际情况下，球场拍出的照片中L、R间最多只能有一个点存在。其中，阈值T的选取来源于多幅测试图像集的平均计算结果，取值为15，且所有实验图像集大小均为120×100像素，故阈值具有一定的适应性。

如图 8所示，这里标识L为0号点，R为点3号点，由于L和R的Y坐标在阈值T范围内，因此需要过滤L和R之间点进一步判断球场区域类型，过滤之后，图 8第1行图像的L、R之间还有4号点，因此继续比较L和R的Y坐标，这里3号点Y坐标大，因此返回右半场；而图 8第2行中L和R之间没有任何点，于是直接返回中场类型。

图 8 噪声点过滤示意

Fig. 8 Filtering process of noise point ((a) original image; (b) playfield area;( c) polygon fit; (d) corner point adjustment)

3 实验结果与分析

3.1 实验环境

3.2 数据集与评价标准

1) 数据集。从搜球网(www.findball.net)数据库中下载了84个视频(每个视频存储的是已经解析好的该视频关键帧的集合)，手工标注了视频中每一帧的镜头类型和球场区域类型作为标定的真实数据集，用算法识别的结果与标定的数据集比较，统计准确率和召回率，实验数据可在搜球网足球首页下载。总共12 458幅关键帧，每种类型对应的图像数表 1和表 2所示。

表 1 数据集视频镜头类型分布
Table 1 Video shot distribution in dataset

下载CSV

镜头	图像数	占比/%
远镜头	4 637	37.2
中镜头	4 526	36.3
近/场外镜头	3 295	26.5
总数	12 458	100

表 2 数据集中远镜头球场区域分布
Table 2 Far shot field area distribution in dataset

下载CSV

球场	图像数	占比/%
左半场	1 166	25.2
中场	2 093	45.1
右半场	1 233	26.6
无定义	145	3.1
总数	4 637	100

球场区域类型特征是针对远镜头图像的，表 2中无定义类型图像是指摄像机在球门上方拍摄的图像，这时图像虽是远镜头，但不属于本文定义的左中右场地区域类型，部分无定义类型图像如图 9所示。无定义类型图像的识别结果不在本次统计实验结果范围内。

图 9 无定义类型图像示例

Fig. 9 No definition type image examples ((a)example 1;(b) example 2;(c) example 3;(d) example 4)

2) 评价标准。评价镜头类型和球场区域类型检测算法指标使用准确率(P)和召回率(R)。

3.3 镜头类型实验结果与说明

为便于比较，实现了文献[14]子窗口法和文献[12]滑动窗口法识别镜头类型，实验结果统计如表 3所示。

表 3 镜头分类实验结果
Table 3 Experimental results of shot classification

下载CSV

/%
镜头	子窗口法		滑动窗口法		波动检测法
	P	R	P	R	P	R
远	89.56	33.86	89.18	85.10	88.95	93.77
中	33.21	64.41	84.88	89.33	92.60	87.98
近	100	58.51	99.66	98.91	99.66	98.91

实验结果表明，本文提出的波动检测法有很好的效果。子窗口法统计固定窗口位置的球场像素比例，最易受窗口内球员影响，导致结果不太理想。如图 10(a)所示，球员没在子窗口中，导致窗口内统计球场像素比例很大，结果误认为远镜头。滑动窗口法解决了子窗口固定位置受球员位置影响的缺陷，因此准确率比子窗口法有较大提高。波动检测法解决了滑动窗口法不能识别斜度较大的左右半场图像的问题，远镜头的召回率和中镜头的准确率较滑动窗口法都有较大提升。

图 10 错误分类的图像示例

Fig. 10 Image examples of error classification ((a)example 1; (b) example 2;(c) example 3)

波动检测法的远镜头准确率没有提升，甚至略有下降是因为有部分中镜头图像错误识别为远镜头，这些图像的特点如图 10(b)(c)所示，图 10(b)中球员左侧球场像素比例都小于阈值T_in，导致R_sliding只波动一次，错误识别为远镜头，图 10(c)中球员在左侧也同样导致波动次数仅一次。为了解决这种错误，进一步提高远镜头的准确率和中镜头的查全率，对于部分中镜头图像错误识别为远镜头问题，本文还尝试了使用3种优化方法，包括:

1) 对于小于阈值的R_sliding集合，R_sliding需满足单调性，特别地，左半场需要单调递增，右半场单调递减。

2) R_sliding值的上升、下降需要满足一定的分布规律，使用合理的方差值来控制这个分布的离散程度。

3) R_sliding值的上升、下降变化不能跳跃，通过合理控制相邻R_sliding的差距实现。

这3种改进方法的实验结果如表 4所示。

表 4 3种改进方法的实验结果
Table 4 Experimental results of three kinds of improved methods

下载CSV

/%
镜头	方法1)			方法2)			方法3)
	P	R		P	R		P	R
远	89.03	89.59		89.10	91.35		89.45	92.47
中	87.23	88.47		90.30	88.47		91.40	88.73
近	99.66	98.91		99.66	98.91		99.66	98.91

3.4 球场区域类型实验结果与说明

为了证明高低位识别球场的有效性，本文分别与文献[19]中提出的模板匹配法和文献[13]中提出的检测球场线斜率方法比较，分别统计各个方法的准确率和召回率。实验结果如表 5所示。

表 5 球场区域检测实验结果
Table 5 Experimental results of field area detection

下载CSV

/%
球场	模板匹配法			球场线斜率法			高低位法
	P	R		P	R		P	R
左	55.25	51.89		80.20	69.47		95.14	92.37
中	59.47	71.43		88.56	54.37		93.04	98.42
右	71.64	51.01		77.44	74.05		95.19	88.32

模板匹配法预制的模板无法有效区分当左右角点L、R的Y坐标差较小，球场区域倾斜不明显时左右半场和中场的情况；球场线斜率法使用霍夫变换检测球场直线，再通过一组规律过滤线，此方法严重依赖于球场线检测的准确性，而互联网小图像由于噪音较大分辨率低很容易导致误检和检测不到直线情况。实验结果表明，本文提出的高低位法从准确率和召回率来讲都优于目前已有的方法。此外，尽管识别中最多的时间花费在GMM识别球场区域上，由于计算简单，本文方法在时间上也优于现有方法，本实验中计算4 637幅图像模板匹配、球场线斜率和高低位法所用时间分别是1 477.5 s、1 606.13 s和1 334.65 s。

图 11中列举了一些识别错误的情况，图 11(a)和(b)由于GMM识别球场区域过小，程序判断球场不合法返回未知球场区域导致结果错误；图 11(c)由于上角点与左角点太近被合并导致错误识别为中场类型。

图 11 球场区域错误检测的图像示例

Fig. 11 Image examples of field area error detection ((a) example 1; (b) example 2; (c) example 3)

4 结 论

参考文献

[1] Tong X F, Lu H Q, Liu Q S. An effective and fast soccer ball detection and tracking method[C]//Proceedings of the IEEE 17th International Conference on Pattern Recognition. Cambridge, UK:IEEE, 2004, 4:795-798.DOI:10.1109/ICPR.2004.1333892
[2] Utsumi O, Miura K, Ide I, et al. An object detection method for describing soccer games from video[C]//Proceedings of the 2002 IEEE International Conference on Multimedia and Expo. Lausanne, Switzerland:IEEE, 2002, 1:45-48.DOI:10.1109/ICME.2002.1035714
[3] Ekin A, Tekalp A M, Mehrotra R. Automatic soccer video analysis and summarization[J]. IEEE Transactions on Image Processing , 2003, 12 (7) : 796–807. DOI:10.1109/TIP.2003.812758
[4] Yu X G, Tian Q, Wan K W. A novel ball detection framework for real soccer video[C]//Proceedings of the International Conference on Multimedia and Expo. Baltimore, USA:IEEE, 2003, 2:265-268.DOI:10.1109/ICME.2003.1221604
[5] Stauffer C, Grimson W E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2000, 22 (8) : 747–757. DOI:10.1109/34.868677
[6] Gedikli S. Continual and robust estimation of camera parameters in broadcasted sports games[D]. München:Technische Universität München, 2009.
[7] Ding B, Ma Y, Wu Y W. Playfield detection algorithm based on AGMM in sports video[J]. Journal of Networks , 2013, 8 (8) : 1774–1780. DOI:10.4304/jnw.8.8.1774-1780
[8] Gibert X, Li H P, Doermann D. Sports video classification using HMMs[C]//Proceedings of IEEE International Conference on Multimedia and Expo. Baltimore, USA:IEEE, 2003, 2:Ⅱ-345.DOI:10.1109/ICME.2003.1221624
[9] Bagheri-Khaligh A, Raziperchikolaei R, Moghaddam M E. A new method for shot classification in soccer sports video based on SVM classifier[C]//2012 IEEE Southwest Symposium on Image Analysis and Interpretation. Santa Fe, NM, USA:IEEE, 2012:109-112.DOI:10.1109/SSIAI.2012.6202465
[10] Nguyen N, Yoshitaka A. Shot type and replay detection for soccer video parsing[C]//2012 IEEE International Symposium on Multimedia. Irvine, CA:IEEE, 2012:344-347.DOI:10.1109/ISM.2012.69
[11] Xu P, Xie L X, Chang S F, et al. Algorithms and system for segmentation and structure analysis in soccer video[C]//Proceedings of the IEEE International Conference in Multimedia and Expo. Tokyo, Japan:IEEE, 2001, 1:928-931.DOI:10.1109/ICME.2001.1237823
[12] Aydın S, Karsligil M E. An evaluation of possession information in playfield zones from soccer video using mid-level descriptors[C]//Proceedings of the 2008 IEEE 10th Workshop on Multimedia Signal Processing. Cairns, Australia:IEEE, 2008:680-684.DOI:10.1109/MMSP.2008.4665162
[13] Sadlier D A, O'Connor N E. Event detection in field sports video using audio-visual features and a support vector machine[J]. IEEE Transactions on Circuits and Systems for Video Technology , 2005, 15 (10) : 1225–1233. DOI:10.1109/TCSVT.2005.854237
[14] Yu J Q, Wang N. Shot classification for soccer video based on sub-window region[J]. Journal of Image and Graphics , 2008, 13 (7) : 1347–1352. [ 于俊清, 王宁. 基于子窗口区域的足球视频镜头分类[J]. 中国图象图形学报 , 2008, 13 (7) : 1347–1352. DOI:10.11834/jig.20080720 ]
[15] Lang C Y, De D, Jiang Y W. Shot type classification in sports video based on visual attention[C]//Proceedings of 2009 IEEE International Conference on Computational Intelligence and Natural Computing. Wuhan, China:IEEE, 2009, 1:336-339.DOI:10.1109/CINC.2009.220
[16] Liu Y, Guo M Z, Liu W Y. Detection of playfield with shadow and its application to player tracking[C]//Proceedings of 2011 IEEE International Workshop on Machine Learning for Signal Processing. Santander:IEEE, 2011:1-5.DOI:10.1109/MLSP.2011.6064621
[17] Liu Y, Jiang S Q, Ye Q X, et al. Playfield detection using adaptive GMM and its application[C]//Proceedings of the 2005 IEEE International Conference on Acoustics, Speech, and Signal Processing. Philadelphia, USA:IEEE, 2005, 2:421-424.DOI:10.1109/ICASSP.2005.1415431
[18] Wang Z K, Yu J Q, He Y F, et al. Event boundary determination based on attack-defense transition analysis in soccer video[C]//Proceedings of the IEEE 19th International Conference on Digital Signal Processing. Hong Kong, China:IEEE, 2014:321-326.DOI:10.1109/ICDSP.2014.6900680
[19] Bu J, Lao S Y, Bai L. Automatic line mark recognition and its application in camera calibration in soccer video[C]//Proceedings of the 2011 IEEE International Conference on Multimedia and Expo. Barcelona, Spain:IEEE, 2011:1-6.DOI:10.1109/ICME.2011.6012137
[20] Li Z. Playfield detection and segmentation in sports video[D]. Wuhan:Huazhong University of Science and Technology, 2014. [李震. 体育视频球场检测与分割[D]. 武汉:华中科技大学, 2014.]