Print

发布时间: 2020-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190617
2020 | Volume 25 | Number 7




    学者观点    




  <<上一篇 




  下一篇>> 




非真实感绘制技术研究现状与展望
expand article info 钱文华1, 曹进德2, 徐丹1, 吴昊1
1. 云南大学信息学院, 昆明 650504;
2. 东南大学自动化学院, 南京 210009
收稿日期: 2020-01-02; 修回日期: 2020-02-12; 预印本日期: 2020-02-19
基金项目: 国家自然科学基金项目(61662087, 61540062);云南省中青年学术技术带头人后备人才项目(2019HB121);云南省科技厅应用基础研究计划项目(2019FA044, 2018FB100);云南省杰出青年培育项目(2018YDJQ016);全国第62批博士后科研基金项目(2017M621591);江苏省博士后科研基金项目(1108000197)
第一作者简介: 钱文华, 1980年生, 男, 教授, 主要研究方向为图像处理、计算机视觉。E-mail:whqian@ynu.edu.cn;
徐丹, 女, 教授, 主要研究方向为模式识别、计算机视觉、图像处理。E-mail:danxu@ynu.edu.cn;
吴昊, 男, 讲师, 主要研究方向为图像处理、图像修复。E-mail:16149912@qq.com.
中图法分类号: TP301.6
文献标识码: A
文章编号: 1006-8961(2020)07-1283-13

摘要

非真实感绘制技术（non-photorealistic rendering，NPR）主要用于模拟艺术风格、表现艺术特质和传达用户情感等，是计算机图形学的重要组成部分，其研究对象逐渐丰富，研究方法不断创新。本文从基于图像建模的绘制方法、基于深度学习的绘制方法、中国特有艺术作品的数字化模拟、非真实感情感特征识别以及非真实感视频场景绘制等5个方面概述目前研究进展，然后从扩展非真实感研究对象、增强视频绘制帧间连贯性、提取艺术风格情感特征以及评价非真实感绘制结果等4个角度讨论需要进一步研究的问题。针对需要深入研究的问题，指出提高算法的通用性和绘制效率，以及提高深度学习网络的泛化性，有助于扩展研究对象，模拟艺术风格的多样性，同时减小视频场景的帧间跳变；对艺术风格作品具有的情感特征、内在机理特征进行模拟，有助于提高绘制结果与艺术风格图像的相似度；结合主观和客观评价模型，可以更准确地对绘制结果进行评价，同时有利于优化网络模型参数，提高绘制效率。非真实感绘制在计算机视觉、文化遗产保护等领域具有重要的应用前景，但其研究对象、绘制算法、绘制效率仍然存在很多亟待解决的问题，随着硬件设备的不断改进，综合运用学科交叉知识、扩展应用领域将进一步推动非真实感绘制技术的发展。

关键词

非真实感绘制; 图像建模; 数字化模拟; 情感识别; 评价标准

Research status and progress of non-photorealistic rendering technology
expand article info Qian Wenhua1, Cao Jinde2, Xu Dan1, Wu Hao1
1. School of Information Science and Engineering, Yunnan University, Kunming 650504, China;
2. School of Automation, Southeast University, Nanjing 210009, China
Supported by: National Natural Science Foundation of China (61662087, 61540062)

Abstract

Many art works have high artistic and commodity values. The production of realistic art works requires considerable time and strict manual skills. With the development of modern science and technology, the use of computer algorithms to synthesize and simulate different art styles is a popular topic in computer vision and image processing. Non-photorealistic rendering (NPR) technique mainly simulates art styles and expresses artistic characteristics. This technique is crucial for the protection and inheritance of art culture. Researchers have simulated and synthesized cartoon, sketch, oil painting, Chinese fine brushwork, calligraphy, and other art works on the basis of traditional image models. The development of deep learning has enabled researchers to use convolutional neural networks to transfer art features from style images to content images. In recent years, NPR research objects have been gradually enriched, research methods have been continuously enhanced, and the application fields of NPR have been expanding widely. However, the simulation and transfer of different styles using computers are challenges and open questions in NPR. This study reviews some NPR progresses in five important aspects, namely, traditional modeling rendering methods, depth learning transfer methods, digital simulation of Chinese unique art works, emotion recognition of art works, and artistic transfer from videos. We summarize the important stylized transfer methods in these aspects and show some simulation results. This paper further summarizes the issues that can be additional study fields in NPR, including research objects, video coherence among different frames, artistic style emotion, and evaluation criteria. Different art styles exist in the world, and the way to simulate these various works remain an open question. Although the transformation of video styles enriches the application field of NPR, it is a problem when the texture is complex, occlusion occurs, or the motion vector is inaccurate. Some artistic details are lost, which may cause discontinuity among video frames. NPR should extract high-level semantic features of art works in addition to simulating low-level artistic style features, such as color and texture. It can effectively improve the accuracy and efficiency of intelligent information retrieval and simulate, protect, and inherit artistic style through high-level semantic feature recognition and transfer. Evaluation standard also remains a problem. Whether the NPR algorithm can simulate real manual traces and users' creative intention has become the standard to evaluate the merits and demerits of the methods. This paper elaborates and concludes the problems that need to be further studied. First, we conclude that improving the generality and rendering efficiency of algorithms can expand research objects and simulate different art styles. Improved NPR algorithms can also raise the coherence among different video frames. Second, the recognition and extraction of emotional and intrinsic mechanism features from different stylistic works are another research fields. We can transfer the emotional and intrinsic features to the simulation results, which can improve the similarity between the results and artistic styles. Finally, the evaluation criteria for simulation results are an important research question. This paper concludes that combination with subjective and objective evaluation models can increase the evaluation accuracy of the results, and the combination can be applied to optimize the parameters of deep learning networks. NPR has important application prospects in computer vision, cultural heritage protection, education, and image processing. However, numerous problems remain to be solved. With the continuous improvement of hardware equipment, the comprehensive application of multidisciplinary knowledge and the expansion of application fields will promote the development of NPR.

Key words

non-photorealistic rendering(NPR); image modeling; digital simulation; emotion recognition; evaluation criteria

0 引言

非真实感绘制技术(non-photorealistic rendering，NPR)自20世纪90年代被提出以来，一直关注不同艺术风格的模拟和不同艺术特质的表现，追求不具有照片般真实感的手绘风格，分析和挖掘文化艺术作品的情感和内涵。与传统的真实感绘制和动画等作品相比，NPR侧重于模拟艺术作品、表现艺术特质、突出局部区域的细节和特征，更加符合人们的审美情趣，成为计算机图形学的研究热点(Semmo等，2016)。

非真实感绘制技术在学术界和产业界发展迅速，取得了较大成果，研究者先后提出了油画、铅笔画、水彩画、抽象画等艺术作品的模拟算法(Semmo等，2016；Guay等，2015；Spicker等，2015；Sheng等，2015)，同时也对中国特有的水墨画、剪纸、书法等艺术作品进行了模拟(赵朋朋，2016；赵家川，2013；Dang等，2016；Li和Zhou，2013)，研究成果已广泛运用于艺术作品的数字化模拟、广告宣传、媒体娱乐和网络教育等领域。

本文概括总结了非真实感绘制技术的研究现状，指出本领域一些值得深入研究的问题，为从事本领域的研究者提供参考。

1 非真实感绘制技术研究现状

非真实感绘制技术通过对不同艺术作品的纹理、色彩、线条等风格特征进行模拟，生成具有艺术作品风格特点和美学品质的图像。因此，非真实感绘制技术在提高艺术作品生成效率的同时，拉近了大众与艺术的距离，在医学、工业、民族文化保护等方面发挥着重要的作用，吸引了国内外研究人员的广泛关注。本节主要从NPR绘制方法、研究对象等方面概括研究现状。

1.1 基于图像建模的艺术风格模拟

非真实感绘制技术在发展过程中，研究者从图像建模的角度出发，基于笔触渲染、图像类比、图像滤波的方法，对水彩画、素描画、油画等大众喜闻乐见的艺术作品，水墨画、中国书法等来自中国的艺术作品，以及蜡染画、版画等少数民族的艺术作品进行数字化模拟研究，产生了大量优秀的艺术风格数字化模拟作品，并成功应用于动画、遗产保护等领域。

20世纪90年代，Hertzmann(1998)利用计算机模拟了手工作画过程，模拟时采用了大小和形状可变的笔刷模型，在画板上进行图描，层层叠加获得油画、水彩画的效果，为后续的艺术风格数字化模拟奠定了基础；TangTang等人(2015)使用方向场引导的纹理合成技术，通过合成各向异性纹理的方向变化，实现了油画、水彩、线条画等艺术风格；Montesdeoca等人(2017a, 2017b)提出了水彩动画渲染系统，采用几何原理，通过用户自定义参数，模拟了真实水彩画创作过程中颜料湍流、颜色溢出、纸张和颗粒化等效果；之后，他们着重对水彩画边缘、水彩颜料两个重要特征进行分析，通过干刷和间隙重叠方法，并结合光照模型，产生了较为真实的水彩意象，并运用于3D场景；Iarussi等人(2015)采用特征流、滤波、量化、边缘提取等对输入图像进行处理，最终产生了抽象的艺术效果图像；Inglis等人(2012)通过对图像轮廓信息的精确提取，消除了人造痕迹，呈现出连续的抽象效果；钱文华等人(2015)计算图像的重要度，基于重要度对图像进行抽象画处理，突出了图像的主体细节，图 1为绘制结果。



图 1 抽象画数字模拟结果(钱文华等，2015)
Fig. 1 Abstract effect of NPR(Qian et al., 2015)

针对素描效果，Lu等人(2012)求取了图像的边缘，通过滤波去除噪声，并提出一种可控的色调映射方法，获得素描笔划，图 2显示了绘制结果；周汐和曹林(2015)采用分块局部二值模式特征，提取能有效鉴别素描人脸图像和可见光人脸图像对应关系的特征块，将素描人脸图像扩展到图像识别领域；Zhang等人(2017)采用轮廓提取和色调填充两个主要步骤模拟铅笔素描效果，利用分层边缘检测方法提取不同分辨率的线段，并通过模拟铅笔在纸上的物理效应传递铅笔纹理；Li等人(2019a)提出了一种将图像转化为高质量铅笔画的方法，建立的模型以用户可控的方式创建不同的铅笔样式，如线条草图、轮廓粗细和阴影样式等，产生类似手工绘制的铅笔画。



图 2 铅笔画数字模拟结果(周汐和曹林，2015)
Fig. 2 Pencil drawing effect of NPR(Zhou and Cao, 2015)

综上所述，非真实感绘制技术针对不同风格的艺术作品进行数字化模拟及合成，研究对象逐渐扩展。基于图像建模的绘制方法主要通过笔触模型定义、图像类比、图像滤波等绘制算法实现艺术效果的数字化模拟，算法的每一步骤和局部结果清晰、可控，能突出某一特定艺术风格的风格特点，能根据需求调整算法，算法灵活，对样本需求量较小。然而，由于每一种绘制算法只能对特定的艺术风格进行风格传输和数字化模拟，降低了算法的通用性和绘制效率；同时，绘制过程采用简单的数学公式很难捕捉到丰富的艺术风格，往往忽略了艺术风格图像中的高层语义、情感等信息；绘制过程应用统一的过滤或优化，缺失了艺术家手工绘制的细腻性，例如边缘、层次等细节信息；此外，风格传输算法往往需要成对的原图和风格结果图作为训练集，找到成对的艺术风格数据集较困难，并且采用图像类比及建模的方法需要耗费较多的时间，当分辨率较高、图像尺寸较大时降低了绘制的效率。

1.2 基于深度学习的艺术风格转换

深度学习和卷积神经网络已成功地应用于语音识别、计算机视觉、自然语言处理等领域，由于其强大的特征提取能力，研究者也提出基于深度学习的艺术风格作品数字化模拟。

Gatys等人(2016)首先提出了一种基于卷积神经网络(convolutional neural network，CNN)的艺术风格转换方法，将艺术风格从风格图像传输到内容图像，图 3显示了其网络模型结构，方法中采用预先训练的VGG(visual geometry group)网络的特征映射表示内容，采用Gram描述纹理矩阵，从高层特征中提取图像的物体和布局等信息，从低层特征中提取图像的像素信息，并多次迭代优化结果图像产生艺术效果图像；Nikulin和Novak(2016)采用深度学习算法，通过卷积神经网络卷积层和池化层将输入图像的内容和风格分开，设置不同权重的风格和内容比例，组合成新的具有不同艺术风格的图像；Ulyanov等人(2016)提出的算法采用前馈卷积网络生成多个相同的任意大小的纹理，并基于纹理样例将目标图像转换成具有艺术风格的图像，优化了梯度下降过程，提升了转化速度。



图 3 卷积神经网络艺术风格转换模型(Gatys等，2016)
Fig. 3 Structure of convolutional neural network (Gatys et al., 2016)

Chen和Schmidt(2016)提出了一种更快速得到图像风格化的方法，而且不再局限于单个风格的训练，同时支持前向网络和优化。如图 4所示，在Gatys等人(2016)方法的基础上，预先利用样式交换对内容图进行处理，通过最近邻匹配，能对多种艺术风格进行传输；Chen等人(2017a)扩展了已有的风格转换网络，可从输入图像中完全分离出风格样式，基于区域进行风格转换，提出的算法支撑增量训练以及多个风格的线性融合；此外，提出基于块的快速风格化转换方法，不局限于单个风格的训练，支持网络优化，可对任意风格的图像进行处理(Chen等，2017b)；Delanoy等人(2019a)基于卷积神经网络对数据驱动的草图进行建模，采用体素网格作为支持法向量融合的方法，产生了较平滑的草图风格；Jia等人(2019)提出了一种自我监督学习和强化学习相结合的方式，有效地将负样本转化为正样本，再现了参考图像的笔划特征，提高了算法执行效率。



图 4 卷积神经网络艺术风格转换模型(Chen和Schmidt，2016)
Fig. 4 Structure of convolutional neural network (Chen and Schmidt, 2016)

Goodfellow等人(2014)提出了具有影响力的生成对抗网络(generative adversarial networks, GAN)，采用生成网络和判别网络两个模型相互博弈，对输入目标图像进行风格化传输，产生了较好的风格化输出结果，图 5显示了生成对抗网络的结构图，其中G表示生成网络，D表示判别网络。为克服网络速度慢的缺点，Justin等人(2016)结合了CNN和GAN，提出深度卷积生成对抗网络(deep convolution generative adversarial networks, DCGAN)并成功应用于风格化传输，优化了损失函数，保留了内容图像的语义信息，并将算法扩展至单幅图像的超分辨率重建，图 6显示了DCGAN网络结构。



图 5 生成对抗网络(林懿伦等，2018)
Fig. 5 Generative adversarial networks(Lin et al., 2018)



图 6 深度卷积生成对抗网络模型(Justin等，2016)
Fig. 6 Structure of DCGAN(Justin et al., 2016)

Zhu等人(2017a)提出采用对抗网络的方法，通过欺骗和识别的对抗训练，将输入图像的风格转换到目标图像中，对色彩和纹理转换取得了成功；针对已有风格化转换方法存在的细节丢失等问题，Luan等人(2017)提出了对颜色空间变换及局部仿真变换的正则约束算法，针对输出图像颜色通道中的每一个像素值，都可由输入图像中局部区域像素的线性组合得到，同时该问题有闭合解的形式，图 7显示了风格传输结果提高了输出图像的分辨率，保留了内容图像的细节；Chen等人(2018)针对卡通风格具有高度简化和抽象的独特性，以及已有方法丢失了清晰的边缘等问题，提出了卡通风格化的生成对抗网络CartoonGAN，网络模型中提出了语义内容损失以及为保持清晰边缘产生的对抗性损失，产生了高质量的卡通风格图像，图 8显示了卡通风格化结果图像；Yi等人(2019)利用分层GAN从面部照片生成艺术人像，每个图层设计了单独的损失函数，较好地模拟了艺术家创作过程中采用稀疏线条和较少阴影的特点，有效地将人脸照片生成高质量、富有表现力的艺术肖像线条画；Li等人(2019b)提出了一种自拍卡通画生成对抗网络(selfie cartoonization generative adversarial network, SCGAN)，通过注意对抗网络强调特定的面部区域，加入了周期损失、感知损失，生成不同风格的卡通图像。



图 7 深度风格转换结果(Luan等，2017)
Fig. 7 Deep photo style transfer result(Luan et al., 2017)
((a)content image; (b) style image; (c) simulation image)



图 8 卡通风格化CartoonGAN模型(Chen等，2018)
Fig. 8 Structure of CartoonGAN(Chen et al., 2018)

可以看出，基于深度学习的非真实感绘制提高了网络的泛化能力，同一网络可对多种不同艺术风格进行传输，为非真实感绘制和艺术风格模拟提供了新的模型和方法。然而，网络模型需要输入的内容图像和风格图像具有相似性，当内容图像和风格图像差异较大时，产生的结果图像质量较差；基于深度学习的方法往往针对特定的艺术风格构建网络模型，如将已有风格传输网络运用于不同艺术风格类型，传输效果并不理想，因此针对每一类艺术风格构建不同的网络模型，提高网络模型的泛化能力本身就是难点所在；在构建网络模型时，针对特定艺术风格进行网络模型训练通常耗费大量的时间，影响了绘制效率；同时，深度网络模型基于大量的数据样本进行训练，当可获取的数据样本较少时，图像中的内容和风格分离较困难，可能造成提取到的艺术风格特征较少，在传输过程丢失了风格细节。此外，尽管卷积神经网络有效提高了非真实感绘制的效率和质量，在网络模型训练过程可能存在梯度消失的问题，也伴随着大量的调参过程，导致风格化传输失败。

表 1为风格化转换的方法比较，与采用CNN、GAN和DCGAN等卷积网络相比，采用笔触渲染、图像类比、图像滤波等图像建模方法的绘制速度较慢，性能较低，由于提取到的风格特征有限，导致绘制结果质量不高；基于卷积网络等深度学习方法由于提取到较高质量的风格特征，绘制结果质量较高，性能较高，能对多种不同风格进行渲染和模拟，当训练好模型后，风格化转换速度较快。

表 1 非真实感绘制方法比较
Table 1 Algorithms comparison of style transfer

下载CSV
方法 风格类型 结果质量 速度 性能
笔触渲染 单一 一般 慢 低
图像类比 多样 一般 慢 低
图像滤波 单一 一般 慢 低
CNN (Gatys等, 2016) 多样 好，常被设为比较的标准 一般 一般
GAN(Goodfellow等, 2014) 多样 较好 快 较高
DCGAN (Justin等, 2016) 多样 较好 较快 较高

1.3 中国特有艺术作品的数字化模拟

随着非真实感绘制技术研究的不断深入以及应用领域的不断扩展，针对中国特有艺术作品，如中国工笔画、中国水墨画、剪纸、中国书法等艺术风格的模拟和绘制方法也逐渐被提出。曹毅(2012)对笔和宣纸的特点进行分析，构建了水墨在宣纸上的扩散模型，最终渲染出中国水墨画的艺术图案；赵家川(2013)建立了笔刷、笔画、蘸墨和纸张模型库，模拟墨水渗透和色彩变化，实现了中国画风格的数字化模拟；中国书法作品的算法研究中，杨广卿(2015)通过分析对毛笔变形的影响机理，采用弹簧振子模型构建了几何模型，以及力学模型的毛笔力反馈仿真模型，实现了虚拟毛笔艺术的仿真效果；Dang等人(2016)针对人脸图像进行研究，基于动态阈值和二值化面部组件的方法，从模板库中选取最接近面部特征的模板作用于人脸局部图像，产生剪纸技术风格，并能运用于移动设备；邢璐和唐棣(2017)在分析京剧脸谱剪纸结构基础上，构造五官、装饰和轮廓纹样，将设计的脸谱形象与纹理合成算法结合，模拟手动京剧脸谱剪纸的镂空效果；Li等人(2018)提出中国传统绘画风格转化算法，采用MXDoG (modified version of the extended difference of Gaussians)引导滤波和3个完全可微的损失项学习抽象艺术风格特征，较好地保留了内容图像的边缘，产生的中国画艺术风格更加具有吸引力，图 9显示了模拟得到的中国画结果图像。



图 9 中国传统绘画模拟结果(Li等，2018)
Fig. 9 Simulation of Chinese traditional painting (Li et al., 2018)

此外，针对少数民族文化艺术作品的数字化模拟和绘制方法, Pu等人(2013)针对云南重彩画画派鲜明的中国线条画和色彩艳丽的西方油画特点，从白描图绘制、特有纹理模拟等多方面展开云南重彩画艺术风格数字模拟及合成技术研究，设计并实现了云南重彩画的数字合成系统；喻扬涛等人(2019)模拟了云南蜡染艺术作品的“冰纹”效果，通过裂痕模拟、色彩传输实现了蜡染艺术作品的数字化仿真；王雪松等人(2015)提出了交互式的云南绝版套色木刻数字合成系统，系统通过刻痕元素提取、刻痕聚类、色彩套色、分层合并等过程产生最终的云南绝版套刻艺术效果，图 10显示了云南绝版套刻数字化模拟结果。



图 10 云南绝版套刻数字模拟结果(王雪松等，2015)
Fig. 10 Woodcut effect of NPR(Wang et al., 2015)

此外，采用各向异性、线积分卷积和图像变形等方法，钱文华等人(2013)提出了一种基于偏离映射的烙画艺术风格绘制方法，图 11显示了烙画艺术绘制模拟结果；针对少数民族刺绣艺术风格模拟，周杰等人(2014)定义了线条疏密、长度和方向等针法参数，通过图像解析、建立区域针法模型实现对图像内容的层次化描述，生成乱针绣模拟图像；项建华等人(2013)模拟了单根绣线和多根绣线的创作技艺，并通过多层绘制技术模拟乱针绣的多层叠加效果；Qian等人(2019)和郑锐等人(2019)采用卷积神经网络，通过语义分割、风格传输空间控制、色彩传输等过程，模拟了具有刺绣针迹的刺绣艺术风格，图 12显示了刺绣模拟的网络结构和模拟结果。



图 11 烙画艺术数字模拟结果(钱文华等，2013)
Fig. 11 Pyrography effect of NPR(Qian et al., 2013)



图 12 刺绣艺术风格模拟(郑锐等，2019)
Fig. 12 Embroidery effect simulation(Zheng et al., 2019)
((a)flow chart of embroidery style transfer; (b) target image; (c) refer image; (d) simulation image)

可以看出，研究者采用基于图像建模、基于卷积神经网络等方法对中国特有的艺术作品进行数字化模拟，取得了一定研究成果。然而，中国特有的艺术风格形式多样，尚缺乏对不同艺术效果模拟的通用算法；受艺术作品样本影响，模拟结果与艺术风格化图像在针迹、笔划、纹理等细节相似度不足，还存在细节丢失、逼真度不足等问题；此外，由于时代变迁，部分艺术作品存在着丢失、损坏等情况，获取的数据样本不足，也限制了这部分艺术作品的采样、模拟；如何对少数民族的艺术风格内涵、高层语义进行模拟也是难点所在。

1.4 非真实感艺术效果情感识别

通过图像建模和深度学习方法，数字化模拟不同的艺术风格，然而，简单的艺术风格画面模拟不能表达其具有的情感，而艺术风格的情感特征往往更能反映创作者的意图和思想境界，例如，云南纳西少数民族的东巴绘画虽由简单的符号、标记组成，如图 13所示，却蕴含着深层含义，表达某种意境。在情感重要性研究方面，刘金阳(2013)针对吉姆戴恩肖像版画作品进行研究，从媒介的转换、线条的变换以及手绘的角度分析体现情感与绘画创作交融的美感，探讨了情感隐喻在画家创作中的重要作用；Haseyama等人(2013)介绍了基于图像和视频语义理解的视频检索技术，通过情感语义理解分析了多媒体检索技术的发展，分析了多媒体检索可视化方面的研究工作。因此，对艺术风格的情感特征分析和识别，有利于提高数字化模拟结果与艺术风格的相似度，成为非真实感绘制技术研究的难点之一。



图 13 真实东巴画艺术效果
Fig. 13 Real Dongba painting effect

针对不同艺术风格的图像情感研究中，王华秋和胡立(2017)将图像的形状七阶矩和颜色矩作为模拟神经网络的输入，采用遗传算法寻找情感语义映射效率最高的编码，提高了图像情感映射和检索的性能；李素科和蒋严冰(2013)提出了一种基于情感特征聚类的半监督式情感分类方法，只需对少量训练实例进行情感类别标注，使用情感特征映射产生最终的情感分类器，提高了情感分类和识别的准确度；刘颖霜(2015)在版画情感识别研究过程中，融入了主色调直方图和累积直方图等过程，提高了版画图像情感语义分析技术的映射准确率；Zitnick等人(2016)提出从剪贴画集合中提取抽象图像语义信息的方法，结合语义信息和情感视觉信息分析，消除对低噪声对象、属性和关系检测器的依赖，建立语义重要特征、情感视觉之间的相似性、重要性度量方法，并进行验证；Zhu等人(2017b)采用稀疏编码的方法，在频率中提取艺术风格图像的特征，对具有较低分辨率图像的绘画风格以及情感美学进行分类和验证。

通过画面分析情感特征，获得情感倾向，有利于非真实感绘制模拟结果表示出创作者意图，同时能有效提高智能信息检索的精度和效率，可以为用户提供个性化的非真实感数字化模拟服务，在作品中融入用户的情感。然而，由于用户的情感、情绪多样，作品中具有强烈的主观情感，利用计算机表现和模拟出这些情感具有不小的难度。

1.5 非真实感视频场景绘制

在网络传输、游戏动画领域，非真实感绘制技术将不同艺术风格扩展到视频场景。在自然景物模拟研究方面，可通过粒子系统进行非真实感视频绘制，粒子表示为笔划、标记等特征的占位符号。视频运动主体被认为由多个不规则的、随机分布的粒子构成，指定视频关键帧中的几何模型像素位置为粒子所在位置，随时间变化，粒子状态不断改变，运动主体形态和特征不断变化，有利于不规则物体的动态性和随机性模拟，如云彩、水流和火等自然景物。每个粒子包括出生、成长、衰老和死亡的生命周期，由于通过随机过程控制粒子相关的每一参数，并不适用于非自然景物以及绘画艺术作品的模拟。

在视频播放连续性研究方面，Yin等人(2011)提出基于主体形状恢复算法作用于视频帧，并采用Markov链计算视频帧播放顺序；Ekmekcioglu等人(2011)提出多重深度信息估计的方法，增强视频帧主体内容的边缘等细节，提高了合成质量；Kyprianidis等人(2013)改进了视频帧间差异计算方法，通过对运动主体的分割和运动估计，实现了抽象、流水等视频场景；方建文等人(2012)采用Bezier曲线构造水波单元，并控制水波的运动方向和形状，产生了水波的视频动画效果；Yang等人(2018)提出了一种采用学习分类器选择合适样本的动态纹理合成方法，对视点变化、光照变化、视频变形等具有较强鲁棒性。

在艺术风格模拟方面，Tang等人(2015)基于纹理合成的方法获得油画、水彩、线条画等多种艺术风格，并采用纹理修复的方法合成失真和走样区域，保持了风格化视频时间上的连续性；Ruder等人(2018)基于能量最小化将艺术风格传输到整个视频序列，在剧烈运动和遮挡情况下，保持了视频播放艺术风格的一致和稳定性；Frigo等人(2019)针对视频场景风格化转换算法进行研究，提出了针对视频帧的自适应面片合成与匹配方法，保持了视频风格转换在视觉上的连续性；Delanoy等人(2019b)采用运动分割和优化，通过最佳逼近对输入视频帧光流分段进行刚性变换，使其内容遵循简化运动，实现视频场景的风格化传输，如图 14所示；Chen等人(2017b)基于深度学习方法，提出了一个端到端的在线视频风格迁移模型，通过传播短时的时序信息来保证风格化视频的连续性和稳定性。



图 14 视频场景风格化传输(Delanoy等，2019b)
Fig. 14 Style transfer and its optical flow (Delanoy et al., 2019b)
((a)input optical flow; (b)rigidified optical flow; (c) stylized video)

视频场景的艺术风格模拟，扩展了非真实感绘制技术的应用领域，在自然景物模拟、网络传输、游戏、动画、娱乐等领域有较大社会和经济价值。当视频场景较复杂、纹理结构多样时，获得连续、自然、流畅的非真实感场景仍然具有挑战；不同艺术风格如何在视频场景进行模拟和传输也是研究者追求的目标。

2 非真实感绘制技术面临的问题

2.1 不同艺术风格的数字化模拟

对不同艺术风格和艺术媒质的模拟和仿真始终是非真实感绘制追逐的主要目标，不同国家和地区、不同民族、不同文化，以及悠久的历史进程造就了丰富多样的艺术表现形式。如外国艺术流派包括现实主义、表现主义、波普艺术和超现实主义等；中国艺术流派包括北方山水画派、南方山水画派、古代、近代和当代等诸多画派，各个画派各有特色，众多艺术家形成了自己独特的艺术风格。此外，中国悠久的历史及多民族文化也创造出独具特色的艺术表现形式，对不同艺术风格作品的数字化仿真是NPR的挑战，同时人们也越来越重视不同艺术风格作品的保护和传承。此外，不同艺术风格的数字化模拟有助于减轻创作者的劳动，使艺术家的注意力集中在创作本身。因此，如何模拟不同风格的多样性艺术作品，增强艺术表现力，成为非真实感绘制技术面临的问题之一。

2.2 视频帧间连贯性

非真实感绘制技术扩展到视频场景，采用基于图像的或者基于深度学习的方法，将视频关键帧进行艺术风格化转换，并通过视频帧之间的时序关系，进行艺术风格化映射、拼接、穿插、合并以及组成后形成具有艺术风格的视频，丰富了非真实感绘制的应用领域。非真实感绘制技术对单帧图像处理往往包含有随机元素，当随机元素逐一作用于各个视频帧时，造成边缘等信息跳动，产生噪声和闪烁现象。研究者通过视频帧光流、帧间差分、微分、网格划分重组方法，以及通过风格特征在视频帧的变形、移动描述运动主体等方法，减小视频帧的抖动，这些方法能有效处理笔划或者纹理较简单的视频场景。然而，当纹理较复杂、有遮挡或运动向量不准确时并不适用，丢失了艺术风格细节特征，可能导致视频帧之间的抖动和误差增大。此外，采用启发式和多尺度的视频风格化处理仅能针对某种特定的艺术风格，同时增加了时间复杂度。

随着深度学习的发展，研究者通过网络模型进行非真实感绘制，Frigo等人(2019)在前馈网络模型中对关键视频帧进行分块和风格化传输，通过光流变形和风格特征合成，对其他视频帧进行风格传输，确保了视频的连续播放，图 15显示了视频帧分块和风格化传输过程。然而，视频帧图像分块大小等参数对绘制结果产生较大影响，如何自适应地对视频帧进行分块，提高算法效率是进一步改进的方向。此外，随着数据规模的不断扩大，视频场景的复杂化，网络、影视媒体等领域对特定非真实感绘制效果的要求逐渐增加，如何确保视频帧之间的连续性，提高深度网路模型，减小风格化绘制之后视频播放时视频帧之间的抖动和跳变，提高绘制算法的通用性、灵活性，是非真实感绘制技术面临的问题。



图 15 视频帧分块和风格传输(Frigo等，2019)
Fig. 15 Video frame decomposition and style transfer (Frigo et al., 2019)

2.3 非真实感绘制艺术效果的情感识别

随着绘制算法以及运算速度的不断改进和提高，非真实感绘制技术已经能对不同艺术风格作品中的线条、纹理和色彩等低层语义特征进行提取和模拟，仿真油画、水彩画和抽象画等艺术效果。然而，艺术家创造艺术作品时，常常赋予艺术作品更多的意义与内涵，如梵高、莫奈和齐白石等大师的绘画作品往往带有强烈的主观色彩。此外，具有民族特色的艺术作品往往表达出某种情感，例如云南纳西族东巴画具有明艳的色彩和萧疏简淡的肌理线条，每一幅东巴画似乎都在讲述一个古老的故事，呈现出独特的情感和精神表达。因此，非真实感绘制技术除模拟色彩、纹理等低层艺术风格特征外，应对艺术作品的高层语义特征进行提取，减轻艺术家的重复性劳动，有效提高智能信息检索精度和效率，模拟艺术风格的同时，为艺术风格的保护和传承提供技术支持。

文本和图像情感语义的研究从图像的字符、颜色、纹理等视觉特征提取，发展到对字符、视觉特征的语义实体感知，再发展到视觉情感特征的分类、识别、检索。尽管艺术风格图像高层语义特征提取、分类和识别已取得一定成果，如研究者采用遗传算法、频率计算、深度学习等方法对情感特征进行聚类与分类、重要度度量、情感映射等处理(图 16显示了Zhu等人(2017b)通过频域处理，对情感特征能量提取，对莫奈艺术作品高层语义信息进行分析和识别), 然而，由于绘画种类的多样性、复杂性，仍需要探索不同绘画大师、不同民族艺术风格绘画作品的情感提取、分类、识别方法，探索和理解艺术作品高层语义特征，从创作者的角度出发，模拟艺术风格特征的同时，表现出艺术风格原有的情感特征，提高模拟结果的准确性。



图 16 莫奈艺术作品及情感特征提取(Zhu等，2017b)
Fig. 16 Monet works and emotional feature extraction(Zhu et al., 2017b)
((a)painting of Monet; (b) frequency domain features; (c) energy extraction of different directions)

2.4 非真实感绘制艺术效果的评价标准

在真实感绘制领域中，其研究成果的评价标准就是所生成的图像与照片的相似程度，通过渲染图像与真实照片的相似度计算，很容易评价真实感绘制是否成功。然而，由于非真实感绘制的目标是模仿人类手工创作图像的能力，因此计算机生成的艺术图像能在多大程度上接近人类手工创作的图像成为最直接的评价标准，并且手工创作的绘画作品往往受到所用工具的限制，存在着手工痕迹，注重观察者的主观感受和情感，因此非真实感绘制算法能否模拟这种手工痕迹，以及观察者的创作意图也成为了判断方法优劣的标准。

已有的评价方法主要分为客观评价和主观评价。在客观方面，可从非真实感绘制方法本身、算法的实现效率进行评价。采用误差敏感度的评价方法计算简单，却与人类视觉的主观感受差别较大，忽略了绘制作品本身的艺术特性；也可通过观察者理解绘制艺术作品本身需要传达的意图方面进行判断，然而也受到观察者自身条件的限制；采用均方误差、峰值信噪比、梯度函数等统计方法判断非真实感绘制作品的好坏缺乏稳定性，当绘制结果出现噪声、边缘等图像退化情况时，会偏离作品本身的意图。

在主观评价方面，可通过观察者主观打分并加权平均的方式评判非真实感绘制作品，该方式需要大量的人为参与，同时观察者受文化教育程度、成长环境、观察条件、情绪等因素的影响。此外，由于基于视觉感知的图像质量评价方法与人眼的主观感受有较好的一致性，工作者基于视觉感知能较好地评价图像质量。传统的方法仅考虑亮度、边缘等单一信息对视觉的感受，忽略了心理层面的影响。

因此，可通过客观与主观评价相结合的方式，从非真实感绘制结果的角度出发，在解析绘制图像的内在机理时，基于视觉感知和视觉兴趣，从边缘长度、亮度、清晰度、相似性等多个客观指标，加权计算评价测度，并且从用户主观角度出发，结合人们观察图像的视觉兴趣计算评价测度，挖掘和识别艺术图像的情感特征，有利于研究者分析模拟艺术作品的好坏，提高艺术表达的准确性，更加符合人们的审美标准。此外，评价指标的结果可以作为非真实感绘制网络中算法和参数的优化依据，进一步提升绘制效率，扩展应用领域。

3 结语

非真实感绘制技术研究涉及计算机视觉、图形图像处理和人工智能等多个学科领域，在广告宣传、影视作品、游戏动画、文化保护等方面具有重要的应用价值。本文总结了非真实感绘制技术已有的研究成果，从基于图像建模的艺术风格模拟、基于深度学习的艺术风格模拟和中国特有艺术作品的数字化模拟、非真实感艺术效果情感识别、非真实感视频场景绘制几个方面进行分析和介绍，并指出了非真实感绘制技术存在的问题，如何模拟不同艺术风格的绘制结果，如何确保视频处理时的帧间连贯性，如何对艺术效果的情感有效识别，以及如何评判非真实感绘制的结果。可以看出，提高算法通用性、提高算法效率，以及扩展应用领域依然是非真实感绘制技术努力的方向。

非真实感绘制技术是一个具有挑战性的研究领域，也将不断改变人类学习、生活方式。期待有更多更富有创新的研究方法，取得突出进展。

参考文献

  • Cao Y. 2012. Research on Image Based Rendering of Chinese Ink Painting. Changchun: Jilin University (曹毅. 2012. 基于图像的中国水墨画绘制方法的研究. 长春: 吉林大学)
  • Chen D D, Liao J, Yuan L, Yu N H and Hua G. 2017b. Coherent online video style transfer//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy, IEEE: 1114-1123[DOI: 10.1109/ICCV.2017.126]
  • Chen D D, Yuan L, Liao J, Yu N H and Hua G. 2017a. Stylebank: an explicit representation for neural image style transfer//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 2770-2779[DOI: 10.1109/CVPR.2017.296]
  • Chen T Q and Schmidt M. 2016. Fast patch-based style transfer of arbitrary style[EB/OL].[2019-12-15].https://arxiv.org/pdf/1612.04337.pdf
  • Chen Y, Lai Y K and Liu Y J. 2018. CartoonGAN: generative adversarial networks for photo cartoonization//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE: 9465-9474[DOI: 10.1109/CVPR.2018.00986]
  • Dang K, Song G L and Ming A L. 2016. Chinese paper-cut generated from human portrait//Proceedings of 2016 IEEE International Conference on Consumer Electronics-Taiwan(ICCE-TW). Nantou, China: IEEE: 1-2[DOI: 10.1109/ICCE-TW.2016.7520943]
  • Delanoy J, Bousseau A and Hertzmann A. 2019b. Video motion stylization by 2D rigidification//Proceedings of the 8th ACM/EG Expressive Symposium.[s.n.]: The Eurographics Association: 11-19[DOI: 10.2312/exp.20191072]
  • Delanoy J, CoeurJolly D, Lachaud J O, Bousseau A. 2019a. Combining voxel and normal predictions for multi-view 3D sketching. Computers and Graphics, 82: 65-72 [DOI:10.1016/j.cag.2019.05.024]
  • Ekmekcioglu E, Velisavljević V, Worrall S T. 2011. Content adaptive enhancement of multi-view depth maps for free viewpoint video. Journal of Selected Topics in Signal Processing, 5(2): 352-361 [DOI:10.1109/jstsp.2010.2052783]
  • Fang J W, Yu J H, Zhang J S. 2012. Model and animation of water in Chinese painting style. Journal of Computer-Aided Design and Computer Graphics, 24(7): 864-870 (方建文, 于金辉, 张俊松. 2012. 国画风格水动画建模. 计算机辅助设计与图形学学报, 24(7): 864-870) [DOI:10.3969/j.issn.1003-9775.2012.07.004]
  • Frigo O, Sabater N, Delon J, Hellier P. 2019. Video style transfer by consistent adaptive patch sampling. The Visual Computer, 35(3): 429-443 [DOI:10.1007/s00371-018-1474-1]
  • Gatys L A, Ecker A S and Bethge M. 2016. Image style transfer using convolutional neural networks//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 2414-2423[DOI: 10.1109/CVPR.2016.265]
  • Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial networks//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press: 2672-2680
  • Guay M, Ronfard R, Gleicher M, Cani M P. 2015. Space-time sketching of character animation. ACM Transactions on Graphics, 34(4): 1-10 [DOI:10.1145/2766893]
  • Haseyama M, Ogawa T, Yagi N. 2013. A review of video retrieval based on image and video semantic understanding. ITE Transactions on Media Technology and Applications, 1(1): 2-9 [DOI:10.3169/mta.1.2]
  • Hertzmann A. 1998. Painterly rendering with curved brush strokes of multiple sizes//Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM: 453-460[DOI: 10.1145/280814.280951]
  • Iarussi E, Bommes D, Bousseau A. 2015. Bendfields:regularized curvature fields from rough concept sketches. ACM Transactions on Graphics, 34(3): 1-16 [DOI:10.1145/2710026]
  • Inglis T C, Inglis S, Kaplan C S. 2012. Op art rendering with lines and curves. Computers and Graphics, 36(6): 607-621 [DOI:10.1016/j.cag.2012.03.003]
  • Jia B, Brandt J, Mech R, Kim B and Manocha D. 2019. LPaintB: learning to paint from self-supervision[EB/OL].[2019-12-15].https://arxiv.org/pdf/1906.06841.pdf
  • Justin J, Alexandre A and Li F F. 2016. Perceptual losses for real-time style transfer and super-resolution//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer: 694-711[DOI: 10.1007/978-3-319-46475-6_43]
  • Kyprianidis J E, Collomosse J, Wang T H, Isenberg T. 2013. State of the "art":a taxonomy of artistic stylization techniques for images and video. IEEE Transactions on Visualization and Computer Graphics, 19(5): 866-885 [DOI:10.1109/TVCG.2012.160]
  • Li B, Xiong C M, Wu T F, Zhou Y, Zhang L and Chu R F. 2018. Neural abstract style transfer for Chinese traditional painting//Proceedings of the 14th Asian Conference on Computer Vision. Perth, Australia: Springer: 212-227[DOI: 10.1007/978-3-030-20890-5_14]
  • Li S K, Jiang Y B. 2013. Semi-supervised sentiment classification based on sentiment feature clustering. Journal of Computer Research and Development, 50(12): 2570-2577 (李素科, 蒋严冰. 2013. 基于情感特征聚类的半监督情感分类. 计算机研究与发展, 50(12): 2570-2577) [DOI:10.1587/transinf.E96.D.2805]
  • Li W, Zhou C L. 2013. Automatic creation of artistic Chinese calligraphy. Journal of Software, 8(12): 3048-3054 [DOI:10.4304/jsw.8.12.3048-3054]
  • Li X Y, Zhang W, Shen T and Mei T. 2019b. Everyone is a cartoonist: selfie cartoonization with attentive adversarial networks//Proceedings of 2019 IEEE International Conference on Multimedia, Expo. Shanghai: IEEE: 652-657[DOI: 10.1109/ICME.2019.00118]
  • Li Y J, Fang C, Hertzmann A, Shechtman E and Yang M H. 2019a. Im2Pencil: controllable pencil illustration from photographs//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE: 1525-1534[DOI: 10.1109/CVPR.2019.00162]
  • Lin Y L, Dai X Y, Li L, Wang X, Wang F Y. 2018. The new frontier of AI research:generative adversarial networks. Acta Automatica Sinica, 44(5): 775-792 (林懿伦, 戴星原, 李力, 王晓, 王飞跃. 2018. 人工智能研究的新前线:生成式对抗网络. 自动化学报, 44(5): 775-792) [DOI:10.16383/j.aas.2018.y000002]
  • Liu J Y. 2013. Emotional Metaphor and Impressions——Dialysis Jim Dean's Portrait Print Art. Wuhan: Central China Normal University (刘金阳. 2013. 情感隐喻与印痕——透析吉姆·戴恩肖像版画艺术. 武汉: 华中师范大学) [DOI:10.7666/d.Y2353412]
  • Liu Y S. 2015. Research on Improved Algorithm of Emotion Mapping of Print Based on LFCM-SVM. Kunming: Yunnan University (刘颖霜. 2015. 基于LFCM-SVM的版画情感映射改进算法研究. 昆明: 云南大学)
  • Lu C W, Xu L and Jia J Y. 2012. Combining sketch and tone for pencil drawing production//Proceedings of Symposium on Non-Photorealistic Animation and Rendering.[s.l.]: The Eurographics Association: 65-73[DOI: 10.2312/PE/NPAR/NPAR12/065-073]
  • Luan F J, Paris S, Shechtman E and Bala K. 2017. Deep photo style transfer//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, IEEE: 6997-7005[DOI: 10.1109/CVPR.2017.740]
  • Montesdeoca S E, Seah H S, Bénard P, Vergne R, Thollot J, Rall H M and Benvenuti D. 2017a. Edge-and substrate-based effects for watercolor stylization//Symposium on Non-Photorealistic Animation and Rendering. New York: ACM: 1-10[DOI: 10.1145/3092919.3092928]
  • Montesdeoca S E, Seah H S, Rall H M, Benvenuti D. 2017b. Art-directed watercolor stylization of 3D animations in real-time. Computers and Graphics, 65: 60-72 [DOI:10.1016/j.cag.2017.03.002]
  • Nikulin Y and Novak R. 2016. Exploring the neural algorithm of artistic style[EB/OL].[2019-12-15]. https://arxiv.org/pdf/1602.07188.pdf
  • Pu Y Y, Li W W, Zhao Z P, Qian W H, Xu D. 2013. Local color transfer algorithm based on CTWC and the application in styled rendering of Yunnan heavy color painting. Advances in Information Sciences & Service Science, 5(6): 183-190 [DOI:10.1016/j.egypro.2011.10.446]
  • Qian W H, Xu D, Cao J D, Guan Z, Pu Y Y. 2019. Aesthetic art simulation for embroidery style. Multimedia Tools and Applications, 78(1): 995-1016 [DOI:10.1007/s11042-018-6002-9]
  • Qian W H, Xu D, Yue K, Guan Z, Pu Y Y. 2013. Rendering pyrography style painting based on deviation mapping. Journal of Image and Graphics, 18(7): 836-843 (钱文华, 徐丹, 岳昆, 官铮, 普园媛. 2013. 偏离映射的烙画风格绘制. 中国图象图形学报, 18(7): 836-843) [DOI:10.11834/jig.20130713]
  • Qian W H, Xu D, Yue K, Guan Z, Pu Y Y. 2015. Sketch artistic rendering based on significance map. Journal of Computer-Aided Design and Computer Graphics, 27(5): 915-923 (钱文华, 徐丹, 岳昆, 官铮, 普园媛. 2015. 重要度引导的抽象艺术风格绘制. 计算机辅助设计与图形学学报, 27(5): 915-923) [DOI:10.3969/j.issn.1003-9775.2015.05.018]
  • Ruder M, Dosovitskiy A, Brox T. 2018. Artistic style transfer for videos and spherical images. International Journal of Computer Vision, 126(11): 1199-1219 [DOI:10.1007/s11263-018-1089-z]
  • Semmo A, Limberger D, Kyprianidis J E, Dollner J. 2016. Image stylization by interactive oil paint filtering. Computers and Graphics, 55: 157-171 [DOI:10.1016/j.cag.2015.12.001]
  • Sheng K K, Dong W M, Kong Y, Mei X, Li J L, Wang C J, Huang F Y, Hu B G. 2015. Evaluating the quality of face alignment without ground truth. Computer Graphics Forum, 34(7): 213-223 [DOI:10.1111/cgf.12760]
  • Spicker M, Kratt J, Arellano D and Deussen O. 2015. Depth-aware coherent line drawings//Proceedings of SIGGRAPH Asia 2015 Technical Briefs. New York: [s.n.]: 1-5[DOI: 10.1145/2820903.2820909]
  • Tang Y, Zhang Y, Shi X Y, Fan J. 2015. Multi-style video stylization based on texture advection. Science China Information Sciences, 58(11): 1-13 [DOI:10.1007/s11432-014-5255-9]
  • Ulyanov D, Lebedev V, Vedaldi A and Lempitsky V. 2016. Texture networks: feed-forward synthesis of textures and stylized images//Proceedings of the 33rd International Conference on Machine Learning. New York: JMLR: 1349-1357
  • Wang H Q, Hu L. 2017. Image emotional semantic classification and retrieval research. Journal of Chongqing Institute of Technology (Natural Science), 31(10): 180-186 (王华秋, 胡立. 2017. 图像情感语义分类及检索研究. 重庆理工大学学报(自然科学版), 31(10): 180-186) [DOI:10.3969/j.issn.1674-8425(z).2017.10.029]
  • Wang X S, Li J, Hou J X, Xu D, Pu Y Y. 2015. Interactive digital synthesis of Yunnan out-of-print woodcuts. Journal of Image and Graphics, 20(7): 937-944 (王雪松, 李杰, 侯剑侠, 徐丹, 普园媛. 2015. 交互式云南绝版套色木刻数字化合成. 中国图象图形学报, 20(7): 937-944) [DOI:10.11834/jig.20150710]
  • Xiang J H, Yang K W, Zhou J, Sun Z X. 2013. A novel image disintegration-based computerized embroidery method for random stitch. Journal of Graphics, 34(4): 16-23 (项建华, 杨克微, 周杰, 孙正兴. 2013. 一种基于图像分解的乱针绣模拟生成方法. 图学学报, 34(4): 16-23) [DOI:10.3969/j.issn.2095-302X.2013.04.003]
  • Xing L, Tang D. 2017. Synthesis method for facial makeup of Peking opera paper cuts. Computer Engineering, 43(12): 222-226 (邢璐, 唐棣. 2017. 京剧脸谱剪纸合成方法. 计算机工程, 43(12): 222-226) [DOI:10.3969/j.issn.1000-3428.2017.12.040]
  • Yang G Q. 2015. The Simulation of Brush Behavior Based on Force Feedback Technology. Dalian: Dalian University of Technology (杨广卿. 2015. 基于力反馈技术的毛笔行为仿真研究. 大连: 大连理工大学)
  • Yang F, Xia G S, Dai D X, Zhang L P. 2018. Learning the synthesizability of dynamic texture samples. IEEE Transactions on Image Processing, 28(5): 2502-2517 [DOI:10.1109/TIP.2018.2886807]
  • Yi R, Liu Y J, Lai Y K and Rosin P L. 2019. APDrawingGAN: generating artistic portrait drawings from face photos with hierarchical GANs//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE: 10735-10744[DOI: 10.1109/CVPR.2019.01100]
  • Yin C, Gui Y, Xie Z F and Ma L Z. 2011. Shape context based video texture synthesis from still images//Proceedings of 2011 International Conference on Computational and Information Sciences. Chengdu, China: IEEE: 38-42[DOI: 10.1109/ICCIS.2011.252]
  • Yu Y T, Xu D, Qian W H. 2019. Simulation of batik cracks and cloth dying. Scientia Sinica Informationis, 49(2): 159-171 (喻扬涛, 徐丹, 钱文华. 2019. 蜡染冰纹生成与染色模拟. 中国科学:信息科学, 49(2): 159-171) [DOI:10.1360/N112018-00212]
  • Zhang J W, Wang R Z and Xu D. 2017. Automatic genaration of sketch-like pencil drawing from image//Proceedings of 2017 IEEE International Conference on Multimedia and Expo Workshops. Hong Kong, China: IEEE: 261-266[DOI: 10.1109/ICMEW.2017.8026301]
  • Zhao J C. 2013. Computerized Learning and Classification of Traditional Chinese IWPs (Ink and Wash Paintings). Tianjin: Tianjin University (赵家川. 2013. 中国传统水墨画的计算机分类与算法研究. 天津: 天津大学)
  • Zhao P P. 2016. Research on the Technologies of Non-Photorealistic Ink Painting based on Image. Guilin: Guilin University of Electronic Technology (赵朋朋. 2016. 基于图像的非真实感水墨画绘制技术研究. 桂林: 桂林电子科技大学)
  • Zheng R, Qian W H, Xu D, Pu Y Y. 2019. Synthesis of embroidery based on convolutional neural network. Journal of Zhejiang University (Science Edition), 46(3): 270-278 (郑锐, 钱文华, 徐丹, 普园媛. 2019. 基于卷积神经网络的刺绣风格数字合成. 浙江大学学报(理学版), 46(3): 270-278) [DOI:10.3785/j.issn.1008-9497.2019.03.002]
  • Zhou J, Sun Z X, Yang K W, Hu Z Z. 2014. Parametric generation method for irregular needling embroidery rendering. Journal of Computer -Aided Design and Computer Graphics, 26(3): 436-444 (周杰, 孙正兴, 杨克微, 胡宗正. 2014. 乱针绣模拟的参数化生成方法. 计算机辅助设计与图形学学报, 26(3): 436-444) [DOI:10.3969/j.issn.1003-9775.2014.03.014]
  • Zhou X, Cao L. 2015. The sketch face recognition combining with AdaBoost and blocking LBP. Journal of Image and Graphics, 20(1): 50-58 (周汐, 曹林. 2015. 分块LBP的素描人脸识别. 中国图象图形学报, 20(1): 50-58) [DOI:10.11834/jig.20150106]
  • Zhu J, Pu Y Y, Xu D, Qian W H and Wang L Q. 2017b. The performance analysis of low-resolution paintings for computational aesthetics//Proceedings of the 13th International Conference on Smart Graphics. Chengdu, China: Springer: 145-154[DOI: 10.1007/978-3-319-53838-9_12]
  • Zhu J Y, Park T, Isola P and Efros A A. 2017a. Unpaired image-to-image translation using cycle-consistent adversarial networks[EB/OL].[2019-12-15]. https://arxiv.org/pdf/1703.10593.pdf
  • Zitnick C L, Vedantam R, Parikh D. 2016. Adopting abstract images for semantic scene understanding. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(4): 627-638 [DOI:10.1109/TPAMI.2014.2366143]