0 引言

随着科技的发展和进步，触摸屏技术不断完善，各种触摸屏设备逐渐进入人们的生活。随着触摸屏设备的普及，逐渐衍生出一种新的图像检索方式：基于手绘图像检索，即用户在触摸屏上画出一个物体的手绘图，系统可以根据这个手绘图从海量自然图像数据库中检索出用户想要的自然图像。

传统的基于文本的图像检索需要对检索库中的图像数据进行人工标注，会耗费大量的人力。手绘图像检索(SBIR)是用户使用手机等触摸屏设备，通过画出物体的手绘图来进行检索，更方便、描述力更强。但手绘图像检索也存在一些困难：1)用户在绘制手绘图时，由于每个人对图片的理解不同，根据自己的记忆来绘制草图，含有一定的主观色彩，加上每个人的绘画风格不同，所以会导致手绘图像的二义性，存在抽象性。2)手绘图和自然图来自不同的域，手绘图由线条和空白背景组成，没有颜色纹理等信息，要进行有效的检索，需要减小二者之间的域差异；3)目前的特征描述子对手绘图的描述力不强，需要设计对手绘图描述力强的特征描述子；4)作为一个对象实例识别问题，给定一个查询草图，通常会有很多视觉上相似的候选照片，正确的匹配与错误的匹配可能仅是某些局部差异所导致。

目前比较常用的手绘图像检索方法，先对自然图像预处理，进行边缘提取^[1-2]，得到边缘图像，形成一种类手绘图的图像，如图 1所示，然后进行检索。这种方法很大程度上减小了手绘图像与自然图像之间的视觉鸿沟，达到跨域检索的目的，而且目前边缘提取算法较为成熟，应用效果比较好。这样得到的边缘图虽然可以看做是类手绘图像，但是与用户手绘生成的素描图之间仍然存在较大的语义差异，主要源于手绘图像的语义抽象特性。虽然手绘图像简单，但相对自然图像而言，语义级别上更为抽象。

图 1 不同方法对彩色图像的边缘检测结果

Fig. 1 Results of different edge detection methods

((a)nature image; (b)Canny edge map; (c)Berkeley edge map; (d)sketch token edge map; (e)sketch image)

针对手绘图像与自然图像相比更抽象、内容更简洁的问题，本文提出了一种解决思路：针对手绘图像和自然图像分别设计不同的网络进行处理，得到抽象性尽可能相同的特征图。对于卷积神经网络，卷积是特征提取的过程，卷积越多，提取的特征越抽象、越丰富。按照这个思路和卷积神经网络的特点，本文设计了一种多分支混合网络模型，网络采用了3分支网络：2条自然图像分支，1条手绘图像分支，其中自然图像分支的卷积层比手绘图像分支的卷积层多1层，提取到与手绘图像抽象性相似的特征，这是网络的上层，解决手绘图像和自然图像抽象性不同的问题。网络的下层是两分支权值共享的siamese网络^[3]，加入注意力模型(attention model)，提取细粒度特征，进一步提高检索精度。

1 相关工作

1.1 手绘图像检索

1.2 细粒度手绘图像检索

1.3 注意力模型(AM)

2 本文方法

针对手绘图像检索面临的挑战，即手绘图像与自然图像之间的视觉鸿沟，本文的最终目标是在同一视觉域中计算自然图像与手绘图像特征之间的距离，进行细粒度图像检索。为了提高检索精度，解决自然图像与手绘图像相比更复杂的问题，提出了一种深度混合卷积神经网络(MSCNN)，整体流程如图 2所示。其中，网络可以分为两部分：第1部分是1个3分支的卷积神经网络，分别是1条手绘图像网络分支和2条自然图像网络分支；第2部分是加入了注意力模型的2分支权值共享的卷积神经网络，通过加入注意力机制来提取细粒度特征。全局特征和细粒度特征组合得到最终的深度特征，最后对特征进行相似性度量获得检索结果。

图 2 本文方法框架图

Fig. 2 Framework of the proposed model

2.1 MSCNN

手绘图由用户勾勒的线条和空白背景组成，抽象性强，特征集中在边缘轮廓上，没有色彩和纹理等复杂特征，受背景干扰度小。而在庞大的图像数据库中，图像由彩色像素组成，不仅有色彩和纹理等复杂特征，背景也很复杂。所以与手绘图相比，自然图像在特征提取上更复杂、更困难。如果用同一个网络结构对手绘图像和自然图像进行特征提取，提取出的手绘图像的特征会比自然图像的特征更抽象，导致手绘图像和自然图像的跨域检索问题处理起来会有很大的困难。针对这个问题，本文提出了一种用不同的网络结构对手绘图像和自然图像分别处理的思想。

首先输入3幅图像：手绘图像、正样本自然图像和负样本自然图像。组成3元组图像对{$(\mathit{\boldsymbol{s}}_{i}, \mathit{\boldsymbol{p}}^{+}_{i}, \mathit{\boldsymbol{p}}^{－}_{i})$}$^{N}_{i=1}$，其中正样本自然图像与手绘图像的相似度大于负样本自然图像与手绘图像的相似度。将这3幅图像分别输入不同的分支中，手绘图像分支Net_S由4层卷积层和2层池化层组成，自然图像分支Net_N由5层卷积层和2层池化层组成。随着卷积层数的增加，特征的抽象性增大，对于自然图像，需要提取更抽象的特征与手绘特征进行匹配。所以在Net_N的第4层增加了1层卷积层，在不影响输出特征图大小的前提下，提高输出特征的抽象性，准确率提升1%，但如果继续增加卷积层，准确率反而下降，所以本文选择仅增加了1层。网络上层的具体参数如表 1所示，其中第1层卷积使用15×15像素的卷积核，由于手绘图像缺少纹理信息，用较大一些的卷积核更适合草图建模，有助于捕获更多的结构化上下文信息，所以在网络中使用15×15的滤波器。在池化层中，传统的卷积神经网络(CNN)采用的最大池是2×2大小、步长为2，池化窗口没有重叠。为了提高准确性，使辨识度更高，对池化层进行重叠^[10]，采用3×3大小、步长为2的最大池，不需要额外的计算量，且能带来1%的改进。

表 1 多分支注意力网络上层的参数
Table 1 Configuration of the top multi-branch network

下载CSV

网络	层	输入类型	滤波器大小	步长	扩充边缘	输出/像素
Net_S 手绘图像		输入				255×255
	L1	卷积	15×15	3	0	64×71×71
		池化	3×3	2	0	64×35×35
	L2	卷积	5×5	1	0	128×31×31
		池化	3×3	2	0	128×15×15
	L3	卷积	3×3	1	1	256×15×15
	L4	卷积	3×3	1	1	256×15×15
Net_N自然图像	L1	卷积	15×15	3	0	64×71×71
		池化	3×3	2	0	64×35×35
	L2	卷积	5×5	1	0	128×31×31
		池化	3×3	2	0	128×15×15
	L3	卷积	3×3	1	1	256×15×15
	L4	卷积	3×3	1	1	256×15×15
		卷积	3×3	1	1	256×15×15

2.2 注意力模型(AM)

在手绘图检索中，检索出的结果通常有很多候选自然图像，这些图像有些与目标图像相似，有些差距很大，如图 3所示。

图 3 部分自然图像检索结果

Fig. 3 Retrieval results of the photo

((a)sketch image; (b)retrieval results)

图 3(a)是输入的手绘图像，图 3(b)是检索出的3幅自然图像。从图 3可以看出，检索出的第1、第3幅自然图像与手绘图像相似，绿色方框中的第2幅图像与目标图像差距很大，其中红色区域是检索误差最大的部分。出现这种现象最主要的原因是局部区域的检索失误。手绘图像具有二义性，对同一对象，不同人绘制的手绘图像是不同的。手绘图像是由用户勾勒的一些简单线条组成的，由于带有主观色彩，一些局部线条的偏移可能会导致最终检索结果的失误。如何提取这些局部细粒度特征是解决这个问题的关键，本文使用注意力模型(AM)来解决这个问题。AM通过提取检索任务中的感兴趣区域，获取局部区域的细粒度特征，进一步提高检索精度，减小局部区域的检索误差。

本文网络框架中的注意力模型采用软注意范式，软注意模块将特征图作为输入并生成注意掩码，然后使用该掩码重新对输入特征图进行加权来获得注意力特征图，该特征图被输入到网络的下一层。在模型中，注意力模块被添加到每个网络分支的第5层卷积层和池化层之后。其中注意力特征图与中间特征图相结合而不是与输入图像相结合，主要原因有两个：

1) 注意力特征图的高度和宽度与图像特征图相同，在CNN中，特征图的高度和宽度均小于输入图像的高度和宽度，并且预测较小注意力特征图的任务更简单。

2) 将注意力特征图与输入图像组合会导致图像出现额外的假边缘，这可能导致通过较低层的错误响应。在低级特征提取后使用特征映射可以避免这种影响。

注意力模型的整体结构如图 4所示。

图 4 注意力模型(AM)结构

Fig. 4 Attention model architecture

具体而言，定义$ \mathit{\boldsymbol{f}}_{i}∈{\bf R}^{H×W×C}$是第$i$幅图像的特征图，$H$、$W$、$C$分别是特征映射的高度、权重和通道数。在注意力模型中，包含两层卷积核大小为1×1像素的卷积层，在通道数不变的情况下，减少参数量，增加非线性变换。在第1步中，特征图通过1×1大小的卷积核映射到掩码$m_{i}∈{\bf R}^{H×W×1}$，然后掩码$m_{i}$通过softmax层，输出$ \mathit{\boldsymbol{p}}_{i}$，定义为

$ p_{i}(h, w)=\frac{\mathrm{e}^{m_{i}(h, w)}}{\sum\limits_{h=1}^{H} \sum\limits_{w=1}^{W} \mathrm{e}^{m_{i}(h, w)}} $

(1)

式中，$m_{i}(h, w)$和$p_{i}(h, w)$分别表示矩阵$ \mathit{\boldsymbol{m}}$和矩阵$ \mathit{\boldsymbol{p}}$的第$h$行和第$w$列中的值。$ \mathit{\boldsymbol{p}}_{i}$中的元素形成一个概率分布，其中$p_{i}(h, w)>0$, $∑p_{i}(h, w)=1$。

2.3 损失函数

3 实验分析与结果

3.1 实验环境

3.2 基准数据库

3.3 实验对比方法

3.4 评价标准

3.5 实验分析

根据评价标准进行对比实验，不同方法在QMUL-Shoe和QMUL-Chair两个数据库上的准确率对比如表 2和表 3所示。

表 2 不同方法在QMUL-Shoe上的准确率对比
Table 2 Comparative results on QMUL-Shoe

下载CSV

/%
方法	Top-1准确率	Top-10准确率
SIFT	15.27	66.10
HOG	17.39	67.83
Deep SaN	20.00	62.61
Deep 3DS	5.22	21.74
Deep TSN	52.17	92.17
MSCNN	63.69	95.85
注：加粗字体表示最优结果。

表 3 不同方法在QMUL-Chair上的准确率对比
Table 3 Comparative results on QMUL-Chair

下载CSV

/%
方法	Top-1准确率	Top-10准确率
SIFT	20.62	59.31
HOG	28.87	67.01
Deep SaN	42.42	82.47
Deep 3DS	6.19	26.80
Deep TSN	72.16	98.96
MSCNN	82.73	96.82
注：加粗字体表示最优结果。

从表 2和表 3可以看出，基于深度特征方法的效果明显优于基于传统特征方法的效果。但是Deep 3DS的效果却比传统特征方法差，主要是因为Deep 3DS是针对3维模型的方法，而所用的自然图像是通过3维模型的2维投影得到的。

自然图像与真实图像之间会有一定程度的误差，而细粒度检索需要对局部区域进行精准匹配，所以Deep 3DS不适合细粒度手绘检索的任务。MSCNN先通过3分支网络对手绘图像和自然图像分别处理，然后将特征图输入到加入AM的2分支权值共享网络进行局部关注度增强，进而提高局部区域的匹配精度，效果明显优于其他方法，尤其是Top-1准确率，在两个数据集上比其他方法至少提高了9%。因为本文方法是针对实例级别的手绘检索提出的，希望检索出的第1幅自然图像就是目标图像，所以在Top-1上的优势体现的更明显，说明本文方法更有效。

表 4是本文方法加入注意力模型和不加注意力模型分别在QMUL-Shoe和QMUL-Chair上的Top-1准确率。

表 4 注意力模型在不同数据集上的效果
Table 4 Contributions of the attention model on different databases

下载CSV

/%
方法	QMUL-Shoe	QMUL-Chair
MSCNN(不加AM)	58.10	78.23
MSCNN(加AM)	63.69	82.73
注：加粗字体表示最优结果。

图 5是采用本文方法对QMUL-Shoe和QMUL-Chair数据集的手绘图像检索效果。图 5(a)是输入的手绘图像，图 5(b)是检索出的Top-6自然场景图像，其中红色框中的自然图像为目标图像。根据检索结果发现，用本文方法进行检索，目标图像能在第1幅或第2幅图像中检索出来，能很好地实现根据用户输入的手绘图像进行实例级检索的任务。在检索速度上，检索一次需要大约30 ms，与已有的手绘检索方法的检索速度基本一致。本文方法在提升手绘检索精度的基础上，没有降低检索速度，是可行有效的。

图 5 本文方法的检索结果

Fig. 5 Retrieval results of proposed model ((a)sketch images; (b)retrieval results)

4 结论

参考文献

[1] Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, PAMI-8(6): 679–698. [DOI:10.1109/TPAMI.1986.4767851]
[2] Martin D R, Fowlkes C C, Malik J. Learning to detect natural image boundaries using local brightness, color, and texture cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(5): 530–549. [DOI:10.1109/TPAMI.2004.1273918]
[3] Zagoruyko S, Komodakis N. Learning to compare image patches via convolutional neural networks[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2015: 4353-4361.[DOI: 10.1109/CVPR.2015.7299064]
[4] Eitz M, Hildebrand K, Boubekeur T, et al. A descriptor for large scale image retrieval based on sketched feature lines[C]//The 6th Eurographics Symposium on Sketch-Based Interfaces and Modeling. New Orleans, Louisiana: ACM, 2009: 9-36.[DOI: 10.1145/1572741.1572747]
[5] Hu R, Barnard M, Collomosse J. Gradient field descriptor for sketch based retrieval and localization[C]//Proceedings of 2010 IEEE International Conference on Image Processing. Hong Kong, China: IEEE, 2010: 1025-1028.[DOI: 10.1109/ICIP.2010.5649331]
[6] Hu R, Collomosse J. A performance evaluation of gradient field HOG descriptor for sketch based image retrieval[J]. Computer Vision and Image Understanding, 2013, 117(7): 790–806. [DOI:10.1016/j.cviu.2013.02.005]
[7] Cao Y, Wang C H, Zhang L Q, et al. Edgel index for large-scale sketch-based image search[C]//CVPR 2011. Colorado Springs, CO: IEEE, 2011: 761-768.[DOI: 10.1109/CVPR.2011.5995460].
[8] Eitz M, Hildebrand K, Boubekeur T, et al. Sketch-based image retrieval:benchmark and bag-of-features descriptors[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(11): 1624–1636. [DOI:10.1109/TVCG.2010.266]
[9] Sun X H, Wang C H, Xu C, et al. Indexing billions of images for sketch-based retrieval[C]//Proceedings of the 21st ACM International Conference on Multimedia. Barcelona, Spain: ACM, 2013: 233-242.[DOI: 10.1145/2502081.2502281]
[10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: ACM, 2012: 1097-1105.[DOI: 10.1145/3065386]
[11] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE Computer Society Press, 2015: 1-9.[DOI: 10.1109/CVPR.2015.7298594]
[12] Yu Q, Yang Y X, Song Y Z, et al. Sketch-a-net that beats humans[C]//Proceedings of the British Machine Vision Conference, 2015: 7.1-7.12.[DOI: 10.5244/c.29.7]
[13] Seddati O, Dupont S, Mahmoudi S. Quadruplet networks for sketch-based image retrieval[C]//Proceedings of 2017 ACM on International Conference on Multimedia Retrieval. Bucharest, Romania: ACM Press, 2017: 184-191.[DOI: 10.1145/3078971.3078985]
[14] Bui T, Ribeiro L, Ponti M, et al. Generalisation and sharing in triplet convnets for sketch based visual search[EB/OL].[2018-08-20]. https://arxiv.org/pdf/1611.05301.pdf.
[15] Liu L, Shen F M, Shen Y M, et al. Deep sketch hashing: fast free-hand sketch-based image retrieval[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 2298-2307.[DOI: 10.1109/CVPR.2017.247]
[16] Shen Y M, Liu L, Shen F M, et al. Zero-shot sketch-image hashing[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 3598-3607.[DOI: 10.1109/CVPR.2018.00379]
[17] Li Y, Hospedales T M, Song Y Z, et al. Fine-grained sketch-based image retrieval by matching deformable part models[C]//Proceedings of British Machine Vision Conference, 2014: 1-12. http://www.eecs.qmul.ac.uk/~tmh/papers/li2014sbirDpm.pdf
[18] Sangkloy P, Burnell N, Ham C, et al. The sketchy database:learning to retrieve badly drawn bunnies[J]. ACM Transactions on Graphics, 2016, 35(4): #119. [DOI:10.1145/2897824.2925954]
[19] Yu Q, Liu F, Song Y Z, et al. Sketch me that shoe[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016: 799-807.[DOI: 10.1109/CVPR.2016.93]
[20] Wang J, Song Y, Leung T, et al. Learning fine-grained image similarity with deep ranking[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 1386-1393.[DOI: 10.1109/CVPR.2014.180]
[21] Li K, Pang K Y, Song Y Z, et al. Fine-grained sketch-based image retrieval: the role of part-aware attributes[C]//Proceedings of 2016 IEEE Winter Conference on Applications of Computer Vision. Lake Placid, NY, USA: IEEE, 2016: 1-9.[DOI: 10.1109/WACV.2016.7477615]
[22] Song J F, Yu Q, Song Y Z, et al. Deep spatial-semantic attention for fine-grained sketch-based image retrieval[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 5552-5561.[DOI: 10.1109/ICCV.2017.592]
[23] Mnih V, Heess N, Graves A, et al. Recurrent models of visual attention[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2014. https://arxiv.org/abs/1406.6247
[24] Sermanet P, Frome A, Real E. Attention for fine-grained categorization[EB/OL].[2018-08-20]. https://arxiv.org/pdf/1412.7054.pdf.
[25] Lu J S, Xiong C M, Parikh D, et al. Knowing when to look: adaptive attention via a visual sentinel for image captioning[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017: 3242-3250.[DOI: 10.1109/CVPR.2017.345]
[26] Fukui A, Park D H, Yang D, et al. Multimodal compact bilinear pooling for visual question answering and visual grounding[EB/OL].[2018-08-20]. https://arxiv.org/pdf/1606.01847.pdf.
[27] Sharma S, Kiros R, Salakhutdinov R. Action recognition using visual attention[EB/OL].[2018-08-20]. https://arxiv.org/pdf/1511.04119.pdf.
[28] Xu K, Ba J, Kiros R, et al. Show, attend and tell: neural image caption generation with visual attention[C]//Proceedings of the 32nd International Conference on Machine Learning, 2015: 2048-2057. https://arxiv.org/abs/1502.03044
[29] Yang Z C, He X D, Gao J F, et al. Stacked attention networks for image question answering[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 21-29.[DOI: 10.1109/CVPR.2016.10]
[30] Sundermeyer M, Schlüter R, Ney H. LSTM neural networks for language modeling[C]//Proceedings of the 13th Annual Conference of the International Speech Communication Association. Portland, OR, USA: ISCA, 2012: 601-608. https://blog.csdn.net/qq_32113189/article/details/79475049
[31] Laskar Z, Kannala J. Context aware query image representation for particular object retrieval[C]//Proceedings of the 20th Scandinavian Conference. Tromsø, Norway: Springer, 2017: 88-99.[DOI: 10.1007/978-3-319-59129-2_8]