随着互联网媒体的发展和个人展示平台的丰富，图像成为传播的主要媒介之一。在Internet上，越来越多的内容以图像展示，并且人们需要更富有个性化的图像。在各类视觉媒体中，为了做出漂亮效果有很多组合，其中图像+文字是一组经典搭配。结合好看的图像和可读的文本，会吸引用户关注。图像中的文字与图像相辅相成，有助于信息更好的传递给观察者。

照片水印是指将简单的描述或者短句、歌词或者备忘录等各种文本编辑在照片上并符合视觉媒体(如杂志、博客等) 的一般要求。在图文搭配编辑的过程中，普通用户由于缺少专业知识的指导和正确的判断能力，不会对图文的谋篇布局有过多的考虑，因此很多情况下，配好水印的照片都缺乏美感。为了满足个性化及审美发展的需求，开发一种可以提供视觉上美观的效果，又能让用户方便使用的处理技术成为了图像处理领域的一个新方向——视觉媒体的自动设计。

视觉媒体的自动设计系统不仅需要解决用户在设计过程中遇到的挑战，还需要考虑到设计的关键概念。一张优秀的图文设计作品，影响因素有很多，其中包含设计元素，设计原则及设计美学等。常见的设计元素有布局、视觉平衡、板式、色彩、风格及背景设计。用户可以通过参考一些设计原则，简单完成一些设计任务。设计美学是在基于功能与形式上处理设计的美感。因此，自动设计系统需要量化这些主观概念，并能够自动、自主地完成设计任务。

本文为用户提供针对文字位置、配色的设计推荐，使用户可以通过简单的步骤创建具有符合视觉媒体一般要求的设计作品。专业的设计人员开始设计的创作是通过设定一些概念来传达设计信息与目的。相同地，也结合了一些设计原理指导用户完成搭配设计。基于图像的视觉显著区域和设计学相关原理，对文字块优化布局。以此为基础，利用色彩和谐化原理，提升图片美学质量并利用视觉反差原理为文字配色。

本文贡献有：

1) 提出了一种基于视觉显著理论的水印位置确定方案；

2) 提出了一种基于视觉反差与颜色和谐化理论的文字颜色确定方案；

3) 提出了一种基于区域分裂、聚合的自适应色轮模板匹配方案。

图文搭配涉及计算机科学、认知科学、艺术及美学等学科。本文以图文搭配的视觉美感为基础设计一种布局与配色方法。关注上述学科中与计算机技术相关部分。

1) 文字与图像的混合排版。文字与图像的混合排版是自动排版技术亟待解决的问题之一。文献[1-3]的工作主要侧重于在纯色背景下对文字块和图像的自动排版问题。这类排版问题基于设计中网格(Grid) 概念^[4]。与上述工作不同，Sandhau等人^[5]解决在图像的单一背景区域添加其他元素的排版问题。Lai等人^[6]通过建立计算模型处理单个文本覆盖于单一背景的图片上的美学排版问题。与本工作不同，上述工作均处理均匀背景。

2) 可计算的图像美学。为图片中文字选取合适的位置要符合图像美学。量化图像的美学性一直是科学界的难点及热点。Birkhoff模型^[7]可能是美学性质第1次的数学表达。Ngo等人^[8]基于Birkhoff模型测量用户屏幕界面的排版美感。从另一角度，Geigel等人^[9]为测评相册集的排版美学设计了一个遗传算法。Datta等人^[10]应用机器学习方法来测量照片的美感。

3) 图像构图。与上述美学评价方法不同，侧重于对文字和图像位置间相互关系的设计。文献[11]中提出影响文字在图中位置选取主要有以下两个因素：整体构图和文字所引起的视觉关注度。文献[12]提出视觉平衡是设计和构图的重要因素之一。Arnheim^[13]清楚说明视觉平衡可以转换为精确的视觉权重。近几年，一些在关于视觉平衡的计算模型的研究中使用不同的视觉权重：例如灰度图像对比^[2]，视觉显著性^[14]和彩色图像色彩对比^[6]。

4) 色彩和谐原理。本文统一解决文字的位置选取和文字与图像的色彩搭配问题。然而色彩设计是设计学中十分广泛的概念。在计算机科学与工程领域，研究者发展了各种色彩理论如色调和谐原理及互补色原理。和谐色原理指一组两个或者两个以上的颜色，这组颜色有秩序、和谐的组织在一起，并能使观察者产生心情愉快、喜欢、满足等正面的视觉心理。Itten^[15]提出颜色轮(color wheel) 的概念并定义色彩和谐为色彩在色轮上的相对关系。Munsell等人^[16]在基础上完善并提出了色彩和谐策略，并被Tokumaru等人^[17]继承并利用。Cohen-Or^[18]提出了颜色和谐化的自动处理方法。该文对色彩的和谐度的定义是基于Matsuda^[19]受Itten^[15]和谐定义的启发而开发的颜色和谐模板。

本文所研究的图文搭配主要涉及两个问题：一是如何确定文字位置；二是如何确定文字颜色。下面将详细阐述方法在解决上述两问题时所设计的视觉美学相关理论。

确定文字位置时，需综合考虑图像内容(避免被文字遮挡) 与排版构图技巧，将文字位置选取策略归纳如下：

定义1    最优文字位置区域。给定一幅图像，最适合放置指定大小文字的区域被定义为最优文字位置区域。该区域应尽可能少干扰原图内容的表达，尽可能多符合设计构图原则。

显然最优文字位置区域是与待放置文字区域大小相关的。

传统的视觉显著度的理论中着重考量生物体视觉注意机制的选择性注意模型，如图 1所示。所谓的选择性注意模型是指观察者受反应时间等限制，对一幅图像中的所有区域不可能给予无差别关注，而是有倾向性地关注其中某些区域。定义1中“尽可能少干扰原图内容的表达”指的是文字不应放置于原图中观察者可能感兴趣的区域，以免造成视觉混淆，若这种混淆不可避免，应尽量减少，即应该放置于视觉显著性较低的区域。

常规的视觉显著性多考量像素点在颜色、亮度、方向方面与周边背景的对比。除此之外，图像中如“人脸”、“人体”或其他常见物体也应被特殊关注，因为将文字放置于这些区域时可能会造成“视觉噪声”进而影响信息的有效传递。

不同的设计师在制图时可能会有不同的喜好，但在排版时遵循一定的设计理论将使得最终的结果看起来更舒服，图文所传递的内容更容易被观察者接受。

完形心理学中相关理论表明被观察对象的整体动力结构影响观察者的心理现象。这一观察指出图像结构对观察者的影响，与此相应，Khan等人^[20]使用三分构图法，黄金分割法，三角形法则等规则判断图中主体位置是否合适，图 2所示。故而认为，在确定文字位置时，应考虑空间构图相关规则。

针对出版物设计，视觉反差通常指由不同事物或同一事物在不同方面的差异造成的对比，包括但不限于：内容反差、颜色反差及虚实反差等(图 3)。其中颜色反差指的是，通过适当的运用对比颜色形成反差来引起受众的关注重心，但同时应避免整幅作品用色过于纷乱，失去重点。

换言之，在进行图文搭配工作时，需保证原图颜色尽可能和谐，文字用色与原图产生尽可能大的反差。Cohen-Or^[18]对颜色和谐化的定义如下：

定义2    图像颜色搭配和谐化。将一幅图像的颜色直方图以最小的代价调整至图 4所示基于HSV颜色空间的色环模板的过程即为颜色和谐化。即当颜色直方图都位于某一模板中的灰色区域时，认为该图像就是和谐的。需要注意的是这些模板定义是根据颜色色相环上的角度关系定义的，而不是根据特定的颜色，这也意味着这些模板可以旋转角度，只需要保证灰色区域的大小不变。

如图 4所示，色彩和谐并不是单一的颜色概念，而是定义了一个颜色关系函数。这些模板包含互补的颜色，如类型$I$、$Y$和$X$，相邻颜色，如类型$I$，$V$和$T$，以及更复杂的组合关系模板$L$。

由观察可知，这些模板由1个或者2个扇形组成。利用这一模板进行颜色和谐度量化先要确定图中像素颜色的色相与模板中扇形的关系。给定一照片${I^{m \times n}}$，试图找到与图片色相直方图最匹配的模板$T$。当$T$确定了，${I^{m \times n}}$就可以在模板的框架下转移，使得不遵循色彩和谐的色彩都被转移进去。这个色彩迁移的过程就是色彩和谐。它保留图像原有的图像色彩，将落到模板外面的颜色都迁移到距离该像素最近的模板色彩块。

依据视觉反差理论，对于一幅经过颜色和谐化的图像，根据其对应色轮模板选择对比色作为文字颜色。

根据第2节中相关理论设计具体操作方案，自动计算出叠加文字最佳的位置。文献[19]中说明，一幅优秀的作品主要取决于鲜明的主题和完美的构图形式。因此，基于图像内容并结合结构特征建立计算模型，在图像中选取满足美学特征的文本区域。

结合2.1.1节中所述相关理论，提出了一种多语义信息融合的视觉显著度计算模型，对于任意图像${I^{m \times n}}$中的一个像素点$p$，其视觉显著度定义为

$ \begin{array}{*{20}{c}} {HO{F_{{\rm{sal}}}}\left( p \right) = }\\ {\max \left( {1,{H_{{\rm{sal}}}}\left( p \right) + {O_{{\rm{bj}}}}\left( p \right) + {F_{{\rm{ace}}}}\left( p \right)} \right)} \end{array} $

(1)

式中，${H_{{\rm{sal}}}}\left( p \right)$，${O_{{\rm{bj}}}}\left( p \right)$以及${F_{{\rm{ace}}}}\left( p \right)$分别代表分层显著图，物体区域标示图及面部区域表示图，各项取值范围为01。当图像中不存在常规物体或者人脸区域时，${O_{{\rm{bj}}}}\left( p \right)$和${F_{{\rm{ace}}}}\left( p \right)$为0；当三者累加超过1时，认为已经具有较强的显著性，按1处理，故而$HO{F_{{\rm{sal}}}}\left( p \right)$的取值范围也为01，各个显著图具体含义及计算方法如下:

1) 分层显著图。采用文献[21]中使用的计算输入图像的显著图。该方法以视觉注意系统^[22-23]为基础采用多层次分析方法减少小尺度和高对比度区域对显著性检测造成的影响。该方法将图像分为3层，将每层图像处理成不同大小的超分割图像块，形成树形结构，再通过层次推断的方法得出显著性图，如图 5。分层显著图中每个元素取值范围01，值越大表示该区域显著性越高。

2) 物体区域标识图。用来指示图中存在的常规物体，采用Faster RCNN ^[24]来提取常见物体区域信息，而后结合GrabCut^[25]得到物体区域标识图。实验中所采用的Faster RCNN为在VOC2007训练好的网络，能用来检测20种常见物体。处理流程如图 6所示，输入一幅图，采用Faster RCNN获得物体区域外包围框，框内部的区域表示可能为前景或背景，框外部的均为非前景，以此框作为GrabCut输入可得到物体区域标识图。物体区域标识图中每个元素取值范围01，值越大表示该区域存在物体的可能性越高。

3) 面部区域标识图。采用文献[26]所述方法进行人脸检测，若检测到人脸区域，则利用GrabCut根据人脸区域构造FaceMap，流程与上述物体区域标识图类似。结果参考图 7。面部区域标识图中每个元素取值范围01，值越大表示该区域存在人脸的可能性越高。

空间构图信息计算，使用Khan等人^[24]特出的空间位置度量模板(如图 8)，使用一个更具有代表性的精细的模板来刻画空间构图相关原则。该模板基于三分构图法，认为横纵三分线上的点比较重要，除此之外，特殊考虑了图像重心及上下三分位点。模板中越亮的区域标识相关位置越显著，越暗的地方表示越不重要。计算时，将该模板缩放至与原图大小相同，并将每个元素缩放到01，使用${T_{{\rm{sp}}}}\left( {i,j} \right)$表示在$\left( {i,j} \right)$处点的空间重要性。

对于任意图像${I^{m \times n}}$，若最优文字位置区域记为${R^*}(x,y,w,h)$，$(x,y)$为矩形区域左上角定点坐标，$w$为矩形框宽度，$h$为矩形框高度，由定义1可知

$ {R^ * } = \arg \mathop {\max }\limits_R \sum\limits_{i = x,j = y}^{x + w,y + h} {\left( {1 - HO{F_{{\rm{sal}}}}\left( {i,j} \right) + {T_{{\rm{sp}}}}\left( {i,j} \right)} \right)} $

(2)

上述问题可简化为寻找非负2维矩阵最大子矩阵问题，用动态规划算法可快速求解。

在全自动的色彩选取处理中，既要考虑色彩的美观度又要考虑文本的可阅读性。结合第3节中视觉反差与色彩和谐化理论，制定文本颜色选取策略。

色彩和谐是指整个画面上色彩配合的统一、协调、悦目，而视觉反差则指通过运用有差异的颜色能更好地突出文本内容，更有效地完成信息传递。为此，首先采用一种自适应的多模板匹配算法选出与原图色彩分布最接近的模板，而后利用所匹配出的模板完成原图的和谐化并在此基础上为文字配色。

对于给定的一幅图像${I^{m \times n}}$，首先进行色彩空间的转换，并量化得到基于HSV的色相直方图。为了保证模板匹配、颜色和谐化的结果尽可能的协调悦目，使用第3节中提出的视觉显著图$HO{F_{{\rm{sal}}}}\left( p \right)$指导直方图计算过程。

色相直方图${M^*}$表示图${I^{m \times n}}$在色度$H$空间内所有像素$p$的饱和度和值的显著性加权分布，定义为

$ \begin{array}{*{20}{c}} {{M^*} = \left\{ {M_i^*\left| {M_i^*} \right.} \right. = }\\ {\sum\limits_{{p_0} \in \left\{ {p\left| {H\left( {p = i} \right.} \right.} \right\}} {\left. {S\left( p \right) \circ V\left( p \right) \circ HO{F_{{\rm{sal}}}}\left( p \right)} \right\}} } \end{array} $

(3)

式中，$ \circ $表示两个矩阵对应位置元素的乘积，归一化后的色相直方图$M$为

$ M = \left\{ {{M_i}\left| {{M_i} = \frac{{M_i^*}}{{\sum {M_i^*} }}} \right.} \right\} $

(4)

根据色彩和谐模板为本文配色既要考虑色彩的和谐性又要考虑文本的可阅读性，选取基于互补色相原理的模板(模板$X$和$Y$) 以及基于相近色相原理的模板(模板$V$和$T$) 作为备用模板，并提出基于分裂、聚合的自适应模板匹配策略。

参考文献[18]中对图像和谐度的定义，结合上文提出的显著图，将一幅图像${I^{m \times n}}$在模板$T$下的和谐损失定义为

$ F\left( {I,T} \right) = \sum\limits_{p \in I} {\left\| {H\left( p \right) - {T_{{\rm{sp}}}}\left( p \right)} \right\| * HO{F_{{\rm{sal}}}}\left( p \right)} $

(5)

式中，$H$代表HSV颜色空间中的色彩分量；·表示给某一色调到给定模板区间的最小的色轮距；${T_{{\rm{sp}}}}\left( p \right)$表示$p$点的空间重要性。传统的和谐度定义认为饱和度越低的颜色越不易被感知，故而文献[18]的定义中使用饱和度对色轮距加权，而在本文中，采用更直观的加权方式，即认为视觉重要的区域更容易被感知。

使用$X$、$Y$、$V$、$T$种类型模板，每一种类型的模板${T_m}$均可旋转任意角度$\alpha $，故而，通常将图像${I^{m \times n}}$在${T_m}(m \in \{ X,Y,V,T\} )$) 类模板下的和谐损失定义为

$ {F_m}\left( {I,{T_m}} \right) = \arg \mathop {\min }\limits_\alpha F\left( {I,{T_m}\left( \alpha \right)} \right) $

(6)

模板选取策略：给出图像$I$在各个模板下的和谐度，一种显然的模板选取策略是

$ \begin{array}{*{20}{c}} {B\left( I \right) = \left( {m,\alpha } \right)}\\ {{\rm{s}}{\rm{.t}}{\rm{.}}\;\;\;\left( {m,\alpha } \right) = \arg \mathop {\min }\limits_\alpha {F_m}\left( I \right)} \end{array} $

(7)

即分别计算该图像在各个模板下的和谐损失，选取最小和谐度对应的模板^[18]。本文提出了一种基于聚合、分裂的自适应模板匹配策略。其中，分裂规则为：$T$模板分裂为$X$模板，$V$模板分裂为$Y$模板，$X$、$Y$模板不进行分裂；聚合规则为：$T$模板聚合为$V$模板，$X$模板聚合为$Y$模板，$V$、$Y$模板不进行聚合。

模板匹配后，根据文献[18]中的方法进行和谐化。自适应模板匹配算法流程如下：

初始化待匹配模板为$T$模板。

WHILE待匹配模板发生变化

    将图像$I$与待匹配模板进行匹配

    统计模板区域内${M_i}$的均值$Ave$及方差$Varp$

    根据$Ave + 3 \times Varp$计算浓度极大值点

    IF 极大值点个数大于2

    THEN

        根据分裂规则分类模板，更新待匹配模板

    ELSE

    IF    不存在浓度极大值点并且模板区域内小于均值的点超过70

    THEN

        根据聚合规则聚合模板，更新待匹配模板

    ELSE 匹配结束

本文配色策略在色彩的美观性的基础上考虑文本的可阅读性。文本颜色与图像背景颜色太相似，会影响到文本阅读。基于视觉反差原理，在和谐化基础上，采用对比色策略为文本配色。

对于基于互补色相原理的模板(模板$X$和$Y$)，首先确定文本区域所在模板区域的扇区，其次计算对应扇区的角平分线，取角平分线的对比色所对应颜色为文本颜色，如图 9所示。

对于基于相近色相原理的模板(模板$V$和$T$)，直接计算模板扇形区域的角平分线，其角平分线的对比色所对应的颜色为文本颜色，如图 9所示。

基于以上方法，为验证本文算法在图文混合排版可以达到比较令人满意的结果。设计了一个图像文本自动布局配色系统。该系统的主要功能包括：

1) 载入文字图像与无文字的原始图像；

2) 计算计算视觉显著信息，根据空间构图信息，得到最佳的文字位置；

3) 统计目标区域色彩信息，利用颜色和谐化原理，美化图像并为文字配色；

4) 输出最终的结果图像。

本次实验的硬件环境为CPU：Corei7，内存16 GB。并在Windows7，OpenCV2.4及Qt 4.7下测试，其每幅图的运行速度约为30 ms。具体实验内容如下：

1) 图像和谐化。图像色彩和谐化是本文图像美化及图文配色的基础。基于上文所提出的图像和谐化算法，从互联网收集了大量图像，对其进行测试。如图 10展示了图像色彩和谐化对图像操作的结果。

2) 图文混排。为了验证本文所提出的算法，列举几个实验，从软件自动排版和人工手动排版方面分别与腾讯手机APP水印相机和国家地理中文版人工合成图像对比。

水印相机是一款为图片快速添加水印的应用，用户在添加图片和选择水印图章后，软件会自动合成结果图。如图 11所示，为本文算法与水印相机对比结果。图 11(a)为水印相机的默认推荐位置(部分推荐位置结果太差，进行微调)，图 11(b)为经过色彩和谐化后的配色结果图，图 11(c)是经过位置优化后的最终结果图。

实验中，收集并制作了60组结果在网上展开用户调查，邀请40名用户参与调查，调查者每次观察每组的3个结果图，并选出最好的结果。实验结果表明, 每组结果图进行的40次实验中, 优化位置及颜色的平均胜出29.3次(73.25%), 仅优化颜色的平均胜出6.97(17.42%), 原图平均胜出3.73次(9.32%) 国家地理中文版(华夏地理) 公众号定期推送杂志编辑处理后的图文搭配后的美图。选取了20组华夏地理推送的图和用本文算法计算结果，邀请50位用户进行实验。平均每一组结果图，本文的方法的平均获胜次数为48.6，远优于原始推送结果。如图 12展示了部分本文算法结果与华夏地理推送图像对比结果。

通过结合设计学理论和视觉感知机理，完成照片水印定位与颜色优化，提出一种基于视觉显著理论及构图学理论的水印位置确定方案；根据视觉反差和颜色和谐化理论的照片颜色和谐化及文字颜色选取策略。实验结果表明无论在与目前自动化的水印相机相比还是简单的人工编辑排版相比，本文算法在提高图文混合排版的设计感及美感上有一定的作用。后续工作拟完成更复杂情况的水印排版，比如当一幅照片上需要放置对多个水印时，如何在视觉美学及平面设计理论下展开相关分析。