0 引言

1 阴影检测原理

1.1 影像分割

1.2 面向对象的阴影指数构建

形态学运算作为一门强大的影像分析技术，广泛地应用于影像滤波、分割、测量等多个领域。顾及直接对原始影像进行形态学操作受噪声影响较大，故在影像分割生成对象的基础上，将每个对象作为单独节点进行形态学运算，即可有效避免噪声干扰，并对空间上下文信息加以充分利用。

图 1(a)(b)分别为某模拟数据分割结果和对象相邻关系图，A₁-A₁₀对应各分割对象。假设图中每一对象代表一个节点，则定义相应节点的一阶邻域包括空间相邻节点及其本身。表 1即为图 1中各节点的一阶邻域分布。

图 1 模拟数据对象分布图

Fig. 1 Objects distribution of the simulated data ((a) segmentation result of the simulated data; (b) adjacency relationship between segmentation objects)

表 1 各节点一阶邻域
Table 1 First order neighborhood of each vertex

下载CSV

顶点	一阶邻域
A1	A1, A2, A10
A2	A1, A2, A3, A10
A3	A2, A3, A4, A5, A6, A9, A10
A4	A3, A4, A5
A5	A3, A4, A5, A6
A6	A3, A5, A6, A7, A9
A7	A6, A7, A8, A9
A8	A7, A8, A9
A9	A3, A6, A7, A8, A9, A10
A10	A1, A2, A3, A9, A10

在灰度影像中，形态学膨胀(腐蚀)运算获取结构元素中的最大(最小)灰度值，并将其赋予结构元素原点。基于上述分析，为充分利用各像素邻域信息，在影像分割的基础上，构造一种面向对象的形态学运算。该运算涉及的结构元素为当前节点的一阶邻域，且当前节点即为结构元素原点。具体的膨胀和腐蚀运算定义为

$ \delta \left( {f\left( {{A_i}} \right)} \right) = \max \left\{ {f\left( {{B_i}} \right)\left| {{B_i} \in N\left( {{A_i}} \right)} \right.} \right\} $

(1)

$ \varepsilon \left( {f\left( {{A_i}} \right)} \right) = \min \left\{ {f\left( {{B_i}} \right)\left| {{B_i} \in N\left( {{A_i}} \right)} \right.} \right\} $

(2)

式中，$\delta $和$\varepsilon $分别对应膨胀和腐蚀运算，$N\left( {{A_i}} \right)$和${B_i}$表示节点${{A_i}}$的一阶邻域和邻域内的具体节点，$f$是特征函数。

为有效确定特征函数，随机选取建筑物，道路，植被，空地和阴影等地物样本，依次统计各地物亮度属性值，结果见图 2。从中可以看出阴影亮度属性值与其他地物区间性差异明显，故将对象的亮度平均值作为特征函数值。

图 2 各地物亮度属性分布

Fig. 2 Brightness attribution distribution of objects((a) objects samples; (b) brightness proportional distribution of samples)

结合式(1) (2)和亮度特征可知阴影对象亮度值在膨胀运算后得到加强，而在腐蚀运算后一般维持不变。因此，将膨胀与腐蚀结果作差即可获得相应的面向对象阴影指数(OSI)，计算公式为

$ OSI\left( {{A_i}} \right) = \delta \left( {f\left( {{A_i}} \right)} \right) - \varepsilon \left( {f\left( {{A_i}} \right)} \right) $

(3)

式中，$OSI\left( {{A_i}} \right)$是节点${{A_i}}$的阴影指数。将所有节点的阴影指数赋予该节点所含像素即可得到该分割尺度下的阴影指数影像，其具体过程如下：

1) 设置一定大小的分割尺度实现影像分割；

2) 求取各分割对象亮度均值；

3) 根据式(1)和式(2)进行面向对象的形态学膨胀和腐蚀运算；

4) 利用式(3)求解各对象阴影指数，并将相应指数赋予所含像素。

1.3 构造多尺度阴影指数矢量及检测准则

影像分割效果往往与分割尺度相关，在MS分割法中，各项参数主要包括坐标空间和颜色空间的核函数带宽以及最小面积参数。因此，本文通过调整两种核函数带宽的大小实现多尺度影像分割。此外，本文将最小面积参数设置为20。

对于不同复杂度，不同分辨率的遥感影像最佳分割尺度往往存在不确定性。如图 3所示，在细尺度分割中，地物分割充分，同一分割对象基本属于同一地物，但存在过分割现象，即同一地物目标被分成多个对象；在粗尺度分割中，欠分割现象普遍存在，空间相邻且光谱信息接近地物往往被划分为同一对象。

图 3 不同尺度影像分割

Fig. 3 Imagery segmentation with different scales ((a) fine segmentation; (b) coarse segmentation)

为充分利用各尺度优势，增强算法的适用性，将各尺度的阴影指数进行组合，形成相应的阴影指数矢量，具体公式为

$ \mathit{\boldsymbol{OSI}}_i^{{\rm{Vector}}} = \left( {OS{I_{i1}},OS{I_{i2}}, \cdots ,OS{I_{im}}} \right) $

(4)

式中，$\mathit{\boldsymbol{OSI}}\left( {_i^{{\rm{Vector}}}} \right)$表示像素$i$的阴影指数矢量，$m$为分割尺度数目。为充分利用各尺度信息，将$\mathit{\boldsymbol{OSI}}\left( {_i^{{\rm{Vector}}}} \right)$中所有分量的均值作为判断所在像素是否为阴影的依据。其计算公式为

$ OS{I_{{\rm{Mean}}}} = \left( {OS{I_{i1}} + OS{I_{i2}} + \cdots + OS{I_{im}}} \right)/m $

(5)

式中，$OS{I_{{\rm{Mean}}}}$即为所求均值。此外，一方面考虑到部分地物与阴影空间相邻，故其形态学腐蚀运算后一般具备阴影的亮度信息，导致其阴影指数同样偏大，但其本身亮度信息与阴影具备明显的区间性。另一方面部分阴影存在压盖地物现象，导致压盖部分光谱信息较亮。因此，利用亮度均值作为约束条件，进一步提高阴影检测精度，其计算公式为

$ {B_\mu }\left( {i,j} \right) = \left( {\sum\limits_{k = 1}^m {{B_k}\left( {i,j} \right)} } \right)/m $

(6)

式中，${B_\mu }\left( {i, j} \right)$即为所求亮度均值，$\left( {i, j} \right)$和$m$分别表示像素坐标和分割尺度数目，${B_k}\left( {i, j} \right)$对应第$k$个分割尺度下相应像素的亮度属性，即

$ {B_k}\left( {i,j} \right) = \left( {\sum\limits_{n = 1}^{num} {B\left( n \right)} } \right)/m $

(7)

式中，$num$表示像素$\left( {i, j} \right)$所在对象包含的像素数目，$B\left( n \right)$是第$n$个像素的亮度值。图 4(b)(c)分别为原始影像图 4(a)的亮度图和均值化结果，其中涉及的分割尺度(坐标空间核函数带宽和颜色空间核函数带宽之和，且两者各占一半)为16:2:24(表示分割尺度从16到24，间隔为2，即16, 18，20，22，24，下同)。可以看出求解亮度均值，使得阴影区域部分较亮像素的亮度值得到均值化，为后续的阴影检测减少了干扰。

图 4 亮度均值求解

Fig. 4 Mean value calculation of brightness ((a) original imagery; (b) original brightness imagery; (c) mean brightness imagery)

利用式(6)和式(7)完成所有像素的亮度均值计算后，进行具体检测操作。如图 5所示，图中${m_{{\rm{low}}}}$, ${b_{{\rm{low}}}}$和${m_{{\rm{high}}}}$, ${b_{{\rm{high}}}}$分别表示${OSI_{{\rm{Mean}}}}$和亮度均值的高低阈值，当像素的${OSI_{{\rm{Mean}}}}$大于${m_{{\rm{high}}}}$且亮度均值小于${b_{{\rm{high}}}}$，或${OSI_{{\rm{Mean}}}}$大于${m_{{\rm{low}}}}$且亮度均值小于${b_{{\rm{low}}}}$时，该像素的检测结果为阴影。

图 5 检测准则示意图

Fig. 5 Schematic diagram of detection criteria

经过上述处理后，对检测结果采取八邻域方式生成对象，而后设定面积参数，排除小面积噪声和大面积水域干扰，并利用超绿指数^[20]去除植被影响，完成阴影检测。

2 阴影检测方法

通过上述分析，本文提出一种多尺度分割和形态学运算相结合的阴影检测方法。该方法从像素出发，利用影像分割组成对象，而后将所求阴影指数赋予像素，构成了“像素—对象—像素”的技术路线，其主要过程分两部分，第1部分是阴影指数计算，即在影像分割的基础上，利用面向对象的形态学膨胀和腐蚀运算获得所有对象的阴影指数，并赋予所含像素；第2部分为阴影指数矢量构建及阴影检测，以第1部分计算的阴影指数为依据结合多尺度影像分割获得阴影指数矢量，然后利用亮度均值，并通过相应的检测准则完成阴影检测。具体流程如图 6所示。

图 6 阴影检测流程

Fig. 6 The flow chart of shadow detection

3 实验与分析

为验证所提阴影检测方法的有效性和适用性，选取广州某地区高分二号影像和Ohio某地区Google earth影像进行实验。如图 7所示，高分二号影像大小为803×590像素，波段和空间分辨率分别为RGB三波段和0.8 m，该影像用于阴影检测定量精度分析。影像1—影像4的各项参数见表 2。

图 7 实验影像

Fig. 7 Experimental imageries((a) GF-2 imagery; (b) imagery 1; (c) imagery 2; (d) imagery 3; (e) imagery 4)

表 2 影像1—影像4参数
Table 2 Parameters of imagery 1 to imagery 4

下载CSV

影像参数	影像1	影像2	影像3	影像4
影像大小/像素	879×533	879×533	972×654	972×654
波段数	RGB	RGB	RGB	RGB
影像来源	Google earth	Google earth	Google earth	Google earth
空间分辨率	约0.6 m	约0.6 m	约0.6 m	约0.6 m
获取时间	2012年8月	2016年9月	2012年8月	2016年9月
影像地点	俄亥俄州	俄亥俄州	俄亥俄州	俄亥俄州

本文实验主要包含3个部分：1)阴影检测性能比较；2)多尺度融合效果分析；3)压盖地物阴影提取。此外，为直观表示各方法阴影检测精度，利用3个定量指标^[21]对检测结果进行评价：误检率(${F_{AER}}$)，漏检率(${F_{OER}}$)和总错误率(${F_{TER}}$)，计算公式为

$ {F_{AER}} = {F_P}/{T_S} $

(8)

$ {F_{OER}} = {F_N}/{T_S} $

(9)

$ {F_{TER}} = {F_{AER}} + {F_{OER}} $

(10)

式中, ${F_{P}}$和${F_{N}}$分别表示误检测和漏检测阴影数目，${T_{S}}$则为真实阴影点数目。

3.1 实验1：阴影检测性能比较

该部分实验主要对所提方法的阴影检测性能进行验证。首先，利用高分二号影像进行阴影检测定量精度分析。图 8(a) (b) (c)依次为方法1(结合多特征法：主成分分析+HSV变换+直方图分割)，方法2(形态学阴影指数法)和本文方法的阴影检测结果，表 3为定量精度统计，其中参考结果采取人工作业获得。

图 8 高分二号阴影检测结果对比

Fig. 8 Comparison on shadow detection results of GF-2 imagery ((a) method 1; (b) method 2; (c) proposed method; (d) reference result)

表 3 高分二号影像阴影检测精度对比
Table 3 Accuracy assessment for shadow detection of GF-2 imagery

下载CSV

/%
精度指标	方法1	方法2	本文方法
误检率	4.22	7.13	8.66
漏检率	11.66	7.41	2.23
总错误率	15.88	14.54	10.89

由图 8可知，本文方法检测的阴影对象完整性更好。此外，根据表 3可以看出在误检率方面，方法1优于本文方法和方法2，且本文方法略高于方法2。然而，漏检率方面本文方法明显优于方法1和方法2。总体来说，本文方法的总错误率较低，阴影检测结果可靠性更高。

建筑物作为具备一定高程信息的地物，在遥感影像中往往与阴影相邻。有效准确地检测建筑物阴影，在建筑物提取和变化检测等方面具有重要意义。图 9是3种方法对4幅Google earth影像的阴影检测结果，其中红色像素标识结果为阴影。表 4为建筑物阴影统计结果，其中正确检测和漏检测分别对应建筑物目标数目，漏检率同样根据式(9)计算。

图 9 建筑物阴影检测结果对比

Fig. 9 Comparison on building shadow detection results ((a) imagery 1; (b) imagery 2; (c) imagery 3; (d) imagery 4)

表 4 建筑物阴影检测精度对比
Table 4 Accuracy assessment for building shadow detection

下载CSV

检测方法	精度指标	影像1	影像2	影像3	影像4	总和
	正确检测	66	96	76	85	323
方法1	漏检测	11	4	2	4	21
	漏检率/%	14.29	4.00	2.56	4.49	6.10
	正确检测	67	100	72	87	326
方法2	漏检测	10	0	6	2	18
	漏检率/%	12.99	0.00	7.69	2.25	5.23
	正确检测	76	100	77	87	340
本文	漏检测	1	0	1	2	4
	漏检率/%	1.30	0.00	1.29	2.25	1.16

由图 9和表 4可知本文方法对建筑物阴影具有更全面的检测效果，漏检测情况优于方法1和方法2，从而为后续操作提供更完整更充分的上下文信息。

总体来说，由上述实验的阴影检测结果可以看出所提阴影检测方法具有较好的稳定性和适用性，对不同复杂度和不同光照条件下的高分辨率遥感影像均具备较高的阴影检测精度。

3.2 实验2：多尺度融合效果分析

在阴影指数矢量构建中，涉及多尺度影像分割。为证明阴影指数矢量的有效性和适用性，以高分二号影像为例，对原始影像进行一组尺度大小为12:2:30的影像分割，并依次完成对应尺度下的阴影检测(在单一尺度下进行阴影检测时，本文将阴影指数作为$OS{I_{{\rm{Mean}}}}$)。而后将尺度大小分别为16:2:24(Multi1，多尺度分割融合结果标签，下同)，12、14、26、28、30(Multi2)，12:2:20(Multi3)，22:2:30(Multi4)，12:2:30(Multi5)的影像分割结果进行组合，构造阴影指数矢量，从而完成相应组合尺度下的阴影检测。图 10和图 11分别为不同尺度及其组合下的阴影检测结果和精度统计。

图 10 不同尺度阴影检测结果

Fig. 10 Shadow detection results with different scales ((a) scale 12; (b) scale 14; (c) scale 16; (d) scale 18; (e) scale 20; (f) scale 22; (g) scale 24; (h) scale 26; (i) scale 28; (j) scale 30; (k) Multi1; (l) Multi2; (m) Multi3; (n) Multi4; (o) Multi5)

图 11 不同尺度阴影检测精度

Fig. 11 Accuracy of shadow detection with different scales

由图 10和图 11可知，对于该实验影像，一方面在单一尺度下进行阴影检测，其误检率在一定尺度范围内随着尺度的增大呈上升趋势，漏检率则在一定尺度范围内与尺度大小成反比，且在尺度过大或过小时，误检率和漏检率均有待减小。另一方面在多尺度分割下，检测结果融合了各尺度优势，各项精度指标均比较理想。利用不同分割尺度进行组合，检测精度相对稳定，证明了该方式的适用性和可实施性。

3.3 实验3：压盖地物阴影提取

在高分辨率遥感影像中，阴影压盖地物现象比较普遍。该现象往往造成阴影内部光谱信息不均匀且相对较亮，从而导致阴影检测难度增大。为验证本文方法克服该现象能力，选取相应影像进行实验，并同样将检测结果与方法1和方法2进行对比，实验结果见图 12，具体精度统计见表 5。

图 12 压盖地物阴影检测结果

Fig. 12 Detection results for capped ground shadow ((a)original imagery; (b)method 1; (c)method 2; (d)ours; (e)reference result)

表 5 压盖地物阴影检测精度
Table 5 Accuracy for capped ground shadow detection

下载CSV

/%
精度指标	方法1	方法2	本文方法
误检率	1.51	1.59	0.86
漏检率	21.03	22.54	2.50
总错误率	22.54	24.13	3.36

由图 12和表 5可知3种方法的误检测情况都比较理想，但方法1和方法2对存在压盖部分检测成功率偏低，导致其漏检率较高。然而本文方法对阴影压盖部分仍具备较好识别效果，各项精度指标均较理想，证明了本文方法具备较强的阴影检测能力和适用性。

4 结论

参考文献

[1] Makarau A, Richter R, Muller R, et al. Adaptive shadow detection using a blackbody radiator model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(6): 2049–2059. [DOI:10.1109/TGRS.2010.2096515]
[2] Finlay G D, Hordley S D, Drew M S. Removing shadows from images[C]//Proceedings of the 7th European Conference on Computer Vision. Copenhagen, Denmark: Springer, 2002: 823-836. [DOI: 10.1007/3-540-47979-1_55]
[3] Zhang X P, Chen F, He H J. Shadow detection in high resolution remote sensing images using multiple features[J]. Acta Automatica Sinica, 2016, 42(2): 290–298. [张先鹏, 陈帆, 和红杰. 结合多种特征的高分辨率遥感影像阴影检测[J]. 自动化学报, 2016, 42(2): 290–298. ] [DOI:10.16383/j.aas.2016.c150196]
[4] Fang J Q, Chen F, He H J, et al. Shadow detection of remote sensing images based on local-classification level set and color feature[J]. Acta Automatica Sinica, 2014, 40(6): 1156–1165. [方菊芹, 陈帆, 和红杰, 等. 结合局部分类水平集与颜色特征的遥感影像阴影检测[J]. 自动化学报, 2014, 40(6): 1156–1165. ] [DOI:10.3724/SP.J.1004.2014.01156]
[5] Wu T P, Tang C K. A Bayesian approach for shadow extraction from a single image[C]//Proceedings of the 10th IEEE International Conference on Computer Vision. Beijing, China: IEEE, 2005: 480-487. [DOI: 10.1109/ICCV.2005.4]
[6] Xie W H, Yi B S, Xiao J S, et al. Shadow detection algorithm based on color and regional gradient direction features[J]. Journal of Central South University:Science and Technology, 2013, 44(12): 4874–4880. [解文华, 易本顺, 肖进胜, 等. 基于颜色和区域梯度方向特征的阴影检测算法[J]. 中南大学学报:自然科学版, 2013, 44(12): 4874–4880. ]
[7] Jiang K, Li A H, Su Y Z, et al. Adaptive shadow detection using global texture and sampling deduction[J]. IET Computer Vision, 2013, 7(2): 115–122. [DOI:10.1049/iet-cvi.2012.0106]
[8] Jiang K, Li A H, Gui Z G, et al. Adaptive shadow detection using global texture and sampling deduction[J]. Iet Computer Vision, 2013, 7(2): 115–122. [DOI:10.1049/iet-cvi.2012.0106]
[9] Guo H T, Xu Q, Zhang B M. Shadow extraction of building based on multiple constraints[J]. Geomatics and Information Science of Wuhan University, 2005, 30(12): 1059–1062. [郭海涛, 徐青, 张保明. 多重约束下的建筑物阴影提取[J]. 武汉大学学报:信息科学版, 2005, 30(12): 1059–1062. ] [DOI:10.3969/j.issn.1671-8860.2005.12.007]
[10] Finlayson G D, Hordley S D, Lu C, et al. On the removal of shadows from images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(1): 59–68. [DOI:10.1109/TPAMI.2006.18]
[11] Huang X, Zhang L P. Morphological building/shadow index for building extraction from high-resolution imagery over urban areas[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1): 161–172. [DOI:10.1109/JSTARS.2011.2168195]
[12] Jimenez L I, Plaza J, Plaza A. Efficient implementation of morphological index for building/shadow extraction from remotely sensed images[J]. The Journal of Supercomputing, 2017, 73(1): 482–494. [DOI:10.1007/s11227-016-1890-9]
[13] Li C, Sun L, Tian R L, et al. Single image shadow detection based on intersecting cortical model[J]. Acta Automatica Sinica, 2014, 40(12): 2887–2898. [李成, 孙路, 田润澜, 等. 基于交叉皮质模型的单幅图像阴影检测算法[J]. 自动化学报, 2014, 40(12): 2887–2898. ] [DOI:10.3724/SP.J.1004.2014.02887]
[14] Xia H Y, Guo P. A shadow detection of remote sensing images based on statistical texture features[J]. Journal of Remote Sensing, 2011, 15(4): 778–791. [夏怀英, 郭平. 基于统计混合模型的遥感影像阴影检测[J]. 遥感学报, 2011, 15(4): 778–791. ] [DOI:10.11834/jrs.20110153]
[15] Zhu Q, Xu S H, Han L T. A new shadow extraction method from color aerial images based on Dempster-Shafer evidence theory[J]. Acta Automatica Sinica, 2007, 33(6): 588–595. [朱庆, 徐胜华, 韩李涛. 基于D-S证据理论的彩色航空影像阴影提取方法[J]. 自动化学报, 2007, 33(6): 588–595. ] [DOI:10.16383/j.aas.2007.06.004]
[16] Wang S G, Wang J L, Wang A P. Shadow detection and extraction from imagery based on total variation[J]. Geomatics and Information Science of Wuhan University, 2006, 31(8): 663–666. [王树根, 王军利, 王爱萍. 基于整体变分模型的影像阴影检测算法研究[J]. 武汉大学学报:信息科学版, 2006, 31(8): 663–666. ] [DOI:10.3321/j.issn:1671-8860.2006.08.002]
[17] Guo R Q, Dai Q Y, Hoiem D. Single-image shadow detection and removal using paired regions[C]//Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2011: 2033-2040. [DOI: 10.1109/CVPR.2011.5995725]
[18] Vicente T F Y, Yu C P, Samaras D. Single image shadow detection using multiple cues in a supermodular MRF[C]//Proceedings of British Machine Vision Conference. London, UK: BMVA Press, 2013: 1-12. [DOI: 10.5244/C.27.126]
[19] Comaniciu D, Meer P. Mean shift:a robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603–619. [DOI:10.1109/34.1000236]
[20] Jing R, Deng L, Zhao W J, et al. Object-oriented aquatic vegetation extracting approach based on visible vegetation indices[J]. Chinese Journal of Applied Ecology, 2016, 27(5): 1427–1436. [井然, 邓磊, 赵文吉, 等. 基于可见光植被指数的面向对象湿地水生植被提取方法[J]. 应用生态学报, 2016, 27(5): 1427–1436. ] [DOI:10.13287/j.1001-9332.201605.002]
[21] Liu J H, Fang T, Li D R. Shadow detection in remotely sensed images based on self-adaptive feature selection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(12): 5092–5103. [DOI:10.1109/TGRS.2011.2158221]
[22] Li Y, Sasagawa T, Gong P. A system of the shadow detection and shadow removal for high resolution city aerial photo[C]//Proceedings of the 24th ISPRS Congress. Istanbul, Turkey: ISPRS, 2004.