0引言非真实感绘制技术(non-photorealistic rendering，NPR)自20世纪90年代被提出以来，一直关注不同艺术风格的模拟和不同艺术特质的表现，追求不具有照片般真实感的手绘风格，分析和挖掘文化艺术作品的情感和内涵。与传统的真实感绘制和动画等作品相比，NPR侧重于模拟艺术作品、表现艺术特质、突出局部区域的细节和特征，更加符合人们的审美情趣，成为计算机图形学的研究热点(Semmo等，2016)。非真实感绘制技术在学术界和产业界发展迅速，取得了较大成果，研究者先后提出了油画、铅笔画、水彩画、抽象画等艺术作品的模拟算法(Semmo等，2016；Guay等，2015；Spicker等，2015；Sheng等，2015)，同时也对中国特有的水墨画、剪纸、书法等艺术作品进行了模拟(赵朋朋，2016；赵家川，2013；Dang等，2016；Li和Zhou，2013)，研究成果已广泛运用于艺术作品的数字化模拟、广告宣传、媒体娱乐和网络教育等领域。本文概括总结了非真实感绘制技术的研究现状，指出本领域一些值得深入研究的问题，为从事本领域的研究者提供参考。1非真实感绘制技术研究现状非真实感绘制技术通过对不同艺术作品的纹理、色彩、线条等风格特征进行模拟，生成具有艺术作品风格特点和美学品质的图像。因此，非真实感绘制技术在提高艺术作品生成效率的同时，拉近了大众与艺术的距离，在医学、工业、民族文化保护等方面发挥着重要的作用，吸引了国内外研究人员的广泛关注。本节主要从NPR绘制方法、研究对象等方面概括研究现状。1.1基于图像建模的艺术风格模拟非真实感绘制技术在发展过程中，研究者从图像建模的角度出发，基于笔触渲染、图像类比、图像滤波的方法，对水彩画、素描画、油画等大众喜闻乐见的艺术作品，水墨画、中国书法等来自中国的艺术作品，以及蜡染画、版画等少数民族的艺术作品进行数字化模拟研究，产生了大量优秀的艺术风格数字化模拟作品，并成功应用于动画、遗产保护等领域。20世纪90年代，Hertzmann(1998)利用计算机模拟了手工作画过程，模拟时采用了大小和形状可变的笔刷模型，在画板上进行图描，层层叠加获得油画、水彩画的效果，为后续的艺术风格数字化模拟奠定了基础；TangTang等人(2015)使用方向场引导的纹理合成技术，通过合成各向异性纹理的方向变化，实现了油画、水彩、线条画等艺术风格；Montesdeoca等人(2017a, 2017b)提出了水彩动画渲染系统，采用几何原理，通过用户自定义参数，模拟了真实水彩画创作过程中颜料湍流、颜色溢出、纸张和颗粒化等效果；之后，他们着重对水彩画边缘、水彩颜料两个重要特征进行分析，通过干刷和间隙重叠方法，并结合光照模型，产生了较为真实的水彩意象，并运用于3D场景；Iarussi等人(2015)采用特征流、滤波、量化、边缘提取等对输入图像进行处理，最终产生了抽象的艺术效果图像；Inglis等人(2012)通过对图像轮廓信息的精确提取，消除了人造痕迹，呈现出连续的抽象效果；钱文华等人(2015)计算图像的重要度，基于重要度对图像进行抽象画处理，突出了图像的主体细节，图 1为绘制结果。 图1 抽象画数字模拟结果(钱文华等，2015) Abstract effect of NPR(Qian et al., 2015)Fig 1针对素描效果，Lu等人(2012)求取了图像的边缘，通过滤波去除噪声，并提出一种可控的色调映射方法，获得素描笔划，图 2显示了绘制结果；周汐和曹林(2015)采用分块局部二值模式特征，提取能有效鉴别素描人脸图像和可见光人脸图像对应关系的特征块，将素描人脸图像扩展到图像识别领域；Zhang等人(2017)采用轮廓提取和色调填充两个主要步骤模拟铅笔素描效果，利用分层边缘检测方法提取不同分辨率的线段，并通过模拟铅笔在纸上的物理效应传递铅笔纹理；Li等人(2019a)提出了一种将图像转化为高质量铅笔画的方法，建立的模型以用户可控的方式创建不同的铅笔样式，如线条草图、轮廓粗细和阴影样式等，产生类似手工绘制的铅笔画。 图2 铅笔画数字模拟结果(周汐和曹林，2015) Pencil drawing effect of NPR(Zhou and Cao, 2015)Fig 2综上所述，非真实感绘制技术针对不同风格的艺术作品进行数字化模拟及合成，研究对象逐渐扩展。基于图像建模的绘制方法主要通过笔触模型定义、图像类比、图像滤波等绘制算法实现艺术效果的数字化模拟，算法的每一步骤和局部结果清晰、可控，能突出某一特定艺术风格的风格特点，能根据需求调整算法，算法灵活，对样本需求量较小。然而，由于每一种绘制算法只能对特定的艺术风格进行风格传输和数字化模拟，降低了算法的通用性和绘制效率；同时，绘制过程采用简单的数学公式很难捕捉到丰富的艺术风格，往往忽略了艺术风格图像中的高层语义、情感等信息；绘制过程应用统一的过滤或优化，缺失了艺术家手工绘制的细腻性，例如边缘、层次等细节信息；此外，风格传输算法往往需要成对的原图和风格结果图作为训练集，找到成对的艺术风格数据集较困难，并且采用图像类比及建模的方法需要耗费较多的时间，当分辨率较高、图像尺寸较大时降低了绘制的效率。1.2基于深度学习的艺术风格转换深度学习和卷积神经网络已成功地应用于语音识别、计算机视觉、自然语言处理等领域，由于其强大的特征提取能力，研究者也提出基于深度学习的艺术风格作品数字化模拟。Gatys等人(2016)首先提出了一种基于卷积神经网络(convolutional neural network，CNN)的艺术风格转换方法，将艺术风格从风格图像传输到内容图像，图 3显示了其网络模型结构，方法中采用预先训练的VGG(visual geometry group)网络的特征映射表示内容，采用Gram描述纹理矩阵，从高层特征中提取图像的物体和布局等信息，从低层特征中提取图像的像素信息，并多次迭代优化结果图像产生艺术效果图像；Nikulin和Novak(2016)采用深度学习算法，通过卷积神经网络卷积层和池化层将输入图像的内容和风格分开，设置不同权重的风格和内容比例，组合成新的具有不同艺术风格的图像；Ulyanov等人(2016)提出的算法采用前馈卷积网络生成多个相同的任意大小的纹理，并基于纹理样例将目标图像转换成具有艺术风格的图像，优化了梯度下降过程，提升了转化速度。 图3 卷积神经网络艺术风格转换模型(Gatys等，2016) Structure of convolutional neural network (Gatys et al., 2016)Fig 3Chen和Schmidt(2016)提出了一种更快速得到图像风格化的方法，而且不再局限于单个风格的训练，同时支持前向网络和优化。如图 4所示，在Gatys等人(2016)方法的基础上，预先利用样式交换对内容图进行处理，通过最近邻匹配，能对多种艺术风格进行传输；Chen等人(2017a)扩展了已有的风格转换网络，可从输入图像中完全分离出风格样式，基于区域进行风格转换，提出的算法支撑增量训练以及多个风格的线性融合；此外，提出基于块的快速风格化转换方法，不局限于单个风格的训练，支持网络优化，可对任意风格的图像进行处理(Chen等，2017b)；Delanoy等人(2019a)基于卷积神经网络对数据驱动的草图进行建模，采用体素网格作为支持法向量融合的方法，产生了较平滑的草图风格；Jia等人(2019)提出了一种自我监督学习和强化学习相结合的方式，有效地将负样本转化为正样本，再现了参考图像的笔划特征，提高了算法执行效率。 图4 卷积神经网络艺术风格转换模型(Chen和Schmidt，2016) Structure of convolutional neural network (Chen and Schmidt, 2016)Fig 4Goodfellow等人(2014)提出了具有影响力的生成对抗网络(generative adversarial networks, GAN)，采用生成网络和判别网络两个模型相互博弈，对输入目标图像进行风格化传输，产生了较好的风格化输出结果，图 5显示了生成对抗网络的结构图，其中G表示生成网络，D表示判别网络。为克服网络速度慢的缺点，Justin等人(2016)结合了CNN和GAN，提出深度卷积生成对抗网络(deep convolution generative adversarial networks, DCGAN)并成功应用于风格化传输，优化了损失函数，保留了内容图像的语义信息，并将算法扩展至单幅图像的超分辨率重建，图 6显示了DCGAN网络结构。 图5 生成对抗网络(林懿伦等，2018) Generative adversarial networks(Lin et al., 2018)Fig 5 图6 深度卷积生成对抗网络模型(Justin等，2016) Structure of DCGAN(Justin et al., 2016)Fig 6Zhu等人(2017a)提出采用对抗网络的方法，通过欺骗和识别的对抗训练，将输入图像的风格转换到目标图像中，对色彩和纹理转换取得了成功；针对已有风格化转换方法存在的细节丢失等问题，Luan等人(2017)提出了对颜色空间变换及局部仿真变换的正则约束算法，针对输出图像颜色通道中的每一个像素值，都可由输入图像中局部区域像素的线性组合得到，同时该问题有闭合解的形式，图 7显示了风格传输结果提高了输出图像的分辨率，保留了内容图像的细节；Chen等人(2018)针对卡通风格具有高度简化和抽象的独特性，以及已有方法丢失了清晰的边缘等问题，提出了卡通风格化的生成对抗网络CartoonGAN，网络模型中提出了语义内容损失以及为保持清晰边缘产生的对抗性损失，产生了高质量的卡通风格图像，图 8显示了卡通风格化结果图像；Yi等人(2019)利用分层GAN从面部照片生成艺术人像，每个图层设计了单独的损失函数，较好地模拟了艺术家创作过程中采用稀疏线条和较少阴影的特点，有效地将人脸照片生成高质量、富有表现力的艺术肖像线条画；Li等人(2019b)提出了一种自拍卡通画生成对抗网络(selfie cartoonization generative adversarial network, SCGAN)，通过注意对抗网络强调特定的面部区域，加入了周期损失、感知损失，生成不同风格的卡通图像。 图7 深度风格转换结果(Luan等，2017) Deep photo style transfer result(Luan et al., 2017)Fig 7 ((a)content image; (b) style image; (c) simulation image) 图8 卡通风格化CartoonGAN模型(Chen等，2018) Structure of CartoonGAN(Chen et al., 2018)Fig 8可以看出，基于深度学习的非真实感绘制提高了网络的泛化能力，同一网络可对多种不同艺术风格进行传输，为非真实感绘制和艺术风格模拟提供了新的模型和方法。然而，网络模型需要输入的内容图像和风格图像具有相似性，当内容图像和风格图像差异较大时，产生的结果图像质量较差；基于深度学习的方法往往针对特定的艺术风格构建网络模型，如将已有风格传输网络运用于不同艺术风格类型，传输效果并不理想，因此针对每一类艺术风格构建不同的网络模型，提高网络模型的泛化能力本身就是难点所在；在构建网络模型时，针对特定艺术风格进行网络模型训练通常耗费大量的时间，影响了绘制效率；同时，深度网络模型基于大量的数据样本进行训练，当可获取的数据样本较少时，图像中的内容和风格分离较困难，可能造成提取到的艺术风格特征较少，在传输过程丢失了风格细节。此外，尽管卷积神经网络有效提高了非真实感绘制的效率和质量，在网络模型训练过程可能存在梯度消失的问题，也伴随着大量的调参过程，导致风格化传输失败。表 1为风格化转换的方法比较，与采用CNN、GAN和DCGAN等卷积网络相比，采用笔触渲染、图像类比、图像滤波等图像建模方法的绘制速度较慢，性能较低，由于提取到的风格特征有限，导致绘制结果质量不高；基于卷积网络等深度学习方法由于提取到较高质量的风格特征，绘制结果质量较高，性能较高，能对多种不同风格进行渲染和模拟，当训练好模型后，风格化转换速度较快。 表1 非真实感绘制方法比较 方法 风格类型 结果质量 速度 性能 笔触渲染 单一 一般 慢 低 图像类比 多样 一般 慢 低 图像滤波 单一 一般 慢 低 CNN (Gatys等, 2016) 多样 好，常被设为比较的标准 一般 一般 GAN(Goodfellow等, 2014) 多样 较好 快 较高 DCGAN (Justin等, 2016) 多样 较好 较快 较高 Algorithms comparison of style transferTable 11.3中国特有艺术作品的数字化模拟随着非真实感绘制技术研究的不断深入以及应用领域的不断扩展，针对中国特有艺术作品，如中国工笔画、中国水墨画、剪纸、中国书法等艺术风格的模拟和绘制方法也逐渐被提出。曹毅(2012)对笔和宣纸的特点进行分析，构建了水墨在宣纸上的扩散模型，最终渲染出中国水墨画的艺术图案；赵家川(2013)建立了笔刷、笔画、蘸墨和纸张模型库，模拟墨水渗透和色彩变化，实现了中国画风格的数字化模拟；中国书法作品的算法研究中，杨广卿(2015)通过分析对毛笔变形的影响机理，采用弹簧振子模型构建了几何模型，以及力学模型的毛笔力反馈仿真模型，实现了虚拟毛笔艺术的仿真效果；Dang等人(2016)针对人脸图像进行研究，基于动态阈值和二值化面部组件的方法，从模板库中选取最接近面部特征的模板作用于人脸局部图像，产生剪纸技术风格，并能运用于移动设备；邢璐和唐棣(2017)在分析京剧脸谱剪纸结构基础上，构造五官、装饰和轮廓纹样，将设计的脸谱形象与纹理合成算法结合，模拟手动京剧脸谱剪纸的镂空效果；Li等人(2018)提出中国传统绘画风格转化算法，采用MXDoG (modified version of the extended difference of Gaussians)引导滤波和3个完全可微的损失项学习抽象艺术风格特征，较好地保留了内容图像的边缘，产生的中国画艺术风格更加具有吸引力，图 9显示了模拟得到的中国画结果图像。 图9 中国传统绘画模拟结果(Li等，2018) Simulation of Chinese traditional painting (Li et al., 2018)Fig 9此外，针对少数民族文化艺术作品的数字化模拟和绘制方法, Pu等人(2013)针对云南重彩画画派鲜明的中国线条画和色彩艳丽的西方油画特点，从白描图绘制、特有纹理模拟等多方面展开云南重彩画艺术风格数字模拟及合成技术研究，设计并实现了云南重彩画的数字合成系统；喻扬涛等人(2019)模拟了云南蜡染艺术作品的“冰纹”效果，通过裂痕模拟、色彩传输实现了蜡染艺术作品的数字化仿真；王雪松等人(2015)提出了交互式的云南绝版套色木刻数字合成系统，系统通过刻痕元素提取、刻痕聚类、色彩套色、分层合并等过程产生最终的云南绝版套刻艺术效果，图 10显示了云南绝版套刻数字化模拟结果。 图10 云南绝版套刻数字模拟结果(王雪松等，2015) Woodcut effect of NPR(Wang et al., 2015)Fig 10此外，采用各向异性、线积分卷积和图像变形等方法，钱文华等人(2013)提出了一种基于偏离映射的烙画艺术风格绘制方法，图 11显示了烙画艺术绘制模拟结果；针对少数民族刺绣艺术风格模拟，周杰等人(2014)定义了线条疏密、长度和方向等针法参数，通过图像解析、建立区域针法模型实现对图像内容的层次化描述，生成乱针绣模拟图像；项建华等人(2013)模拟了单根绣线和多根绣线的创作技艺，并通过多层绘制技术模拟乱针绣的多层叠加效果；Qian等人(2019)和郑锐等人(2019)采用卷积神经网络，通过语义分割、风格传输空间控制、色彩传输等过程，模拟了具有刺绣针迹的刺绣艺术风格，图 12显示了刺绣模拟的网络结构和模拟结果。 图11 烙画艺术数字模拟结果(钱文华等，2013) Pyrography effect of NPR(Qian et al., 2013)Fig 11 图12 刺绣艺术风格模拟(郑锐等，2019) Embroidery effect simulation(Zheng et al., 2019)Fig 12 ((a)flow chart of embroidery style transfer; (b) target image; (c) refer image; (d) simulation image) 可以看出，研究者采用基于图像建模、基于卷积神经网络等方法对中国特有的艺术作品进行数字化模拟，取得了一定研究成果。然而，中国特有的艺术风格形式多样，尚缺乏对不同艺术效果模拟的通用算法；受艺术作品样本影响，模拟结果与艺术风格化图像在针迹、笔划、纹理等细节相似度不足，还存在细节丢失、逼真度不足等问题；此外，由于时代变迁，部分艺术作品存在着丢失、损坏等情况，获取的数据样本不足，也限制了这部分艺术作品的采样、模拟；如何对少数民族的艺术风格内涵、高层语义进行模拟也是难点所在。1.4非真实感艺术效果情感识别通过图像建模和深度学习方法，数字化模拟不同的艺术风格，然而，简单的艺术风格画面模拟不能表达其具有的情感，而艺术风格的情感特征往往更能反映创作者的意图和思想境界，例如，云南纳西少数民族的东巴绘画虽由简单的符号、标记组成，如图 13所示，却蕴含着深层含义，表达某种意境。在情感重要性研究方面，刘金阳(2013)针对吉姆戴恩肖像版画作品进行研究，从媒介的转换、线条的变换以及手绘的角度分析体现情感与绘画创作交融的美感，探讨了情感隐喻在画家创作中的重要作用；Haseyama等人(2013)介绍了基于图像和视频语义理解的视频检索技术，通过情感语义理解分析了多媒体检索技术的发展，分析了多媒体检索可视化方面的研究工作。因此，对艺术风格的情感特征分析和识别，有利于提高数字化模拟结果与艺术风格的相似度，成为非真实感绘制技术研究的难点之一。 图13 真实东巴画艺术效果 Real Dongba painting effectFig 13针对不同艺术风格的图像情感研究中，王华秋和胡立(2017)将图像的形状七阶矩和颜色矩作为模拟神经网络的输入，采用遗传算法寻找情感语义映射效率最高的编码，提高了图像情感映射和检索的性能；李素科和蒋严冰(2013)提出了一种基于情感特征聚类的半监督式情感分类方法，只需对少量训练实例进行情感类别标注，使用情感特征映射产生最终的情感分类器，提高了情感分类和识别的准确度；刘颖霜(2015)在版画情感识别研究过程中，融入了主色调直方图和累积直方图等过程，提高了版画图像情感语义分析技术的映射准确率；Zitnick等人(2016)提出从剪贴画集合中提取抽象图像语义信息的方法，结合语义信息和情感视觉信息分析，消除对低噪声对象、属性和关系检测器的依赖，建立语义重要特征、情感视觉之间的相似性、重要性度量方法，并进行验证；Zhu等人(2017b)采用稀疏编码的方法，在频率中提取艺术风格图像的特征，对具有较低分辨率图像的绘画风格以及情感美学进行分类和验证。通过画面分析情感特征，获得情感倾向，有利于非真实感绘制模拟结果表示出创作者意图，同时能有效提高智能信息检索的精度和效率，可以为用户提供个性化的非真实感数字化模拟服务，在作品中融入用户的情感。然而，由于用户的情感、情绪多样，作品中具有强烈的主观情感，利用计算机表现和模拟出这些情感具有不小的难度。1.5非真实感视频场景绘制在网络传输、游戏动画领域，非真实感绘制技术将不同艺术风格扩展到视频场景。在自然景物模拟研究方面，可通过粒子系统进行非真实感视频绘制，粒子表示为笔划、标记等特征的占位符号。视频运动主体被认为由多个不规则的、随机分布的粒子构成，指定视频关键帧中的几何模型像素位置为粒子所在位置，随时间变化，粒子状态不断改变，运动主体形态和特征不断变化，有利于不规则物体的动态性和随机性模拟，如云彩、水流和火等自然景物。每个粒子包括出生、成长、衰老和死亡的生命周期，由于通过随机过程控制粒子相关的每一参数，并不适用于非自然景物以及绘画艺术作品的模拟。在视频播放连续性研究方面，Yin等人(2011)提出基于主体形状恢复算法作用于视频帧，并采用Markov链计算视频帧播放顺序；Ekmekcioglu等人(2011)提出多重深度信息估计的方法，增强视频帧主体内容的边缘等细节，提高了合成质量；Kyprianidis等人(2013)改进了视频帧间差异计算方法，通过对运动主体的分割和运动估计，实现了抽象、流水等视频场景；方建文等人(2012)采用Bezier曲线构造水波单元，并控制水波的运动方向和形状，产生了水波的视频动画效果；Yang等人(2018)提出了一种采用学习分类器选择合适样本的动态纹理合成方法，对视点变化、光照变化、视频变形等具有较强鲁棒性。在艺术风格模拟方面，Tang等人(2015)基于纹理合成的方法获得油画、水彩、线条画等多种艺术风格，并采用纹理修复的方法合成失真和走样区域，保持了风格化视频时间上的连续性；Ruder等人(2018)基于能量最小化将艺术风格传输到整个视频序列，在剧烈运动和遮挡情况下，保持了视频播放艺术风格的一致和稳定性；Frigo等人(2019)针对视频场景风格化转换算法进行研究，提出了针对视频帧的自适应面片合成与匹配方法，保持了视频风格转换在视觉上的连续性；Delanoy等人(2019b)采用运动分割和优化，通过最佳逼近对输入视频帧光流分段进行刚性变换，使其内容遵循简化运动，实现视频场景的风格化传输，如图 14所示；Chen等人(2017b)基于深度学习方法，提出了一个端到端的在线视频风格迁移模型，通过传播短时的时序信息来保证风格化视频的连续性和稳定性。 图14 视频场景风格化传输(Delanoy等，2019b) Style transfer and its optical flow (Delanoy et al., 2019b)Fig 14 ((a)input optical flow; (b)rigidified optical flow; (c) stylized video) 视频场景的艺术风格模拟，扩展了非真实感绘制技术的应用领域，在自然景物模拟、网络传输、游戏、动画、娱乐等领域有较大社会和经济价值。当视频场景较复杂、纹理结构多样时，获得连续、自然、流畅的非真实感场景仍然具有挑战；不同艺术风格如何在视频场景进行模拟和传输也是研究者追求的目标。2非真实感绘制技术面临的问题2.1不同艺术风格的数字化模拟对不同艺术风格和艺术媒质的模拟和仿真始终是非真实感绘制追逐的主要目标，不同国家和地区、不同民族、不同文化，以及悠久的历史进程造就了丰富多样的艺术表现形式。如外国艺术流派包括现实主义、表现主义、波普艺术和超现实主义等；中国艺术流派包括北方山水画派、南方山水画派、古代、近代和当代等诸多画派，各个画派各有特色，众多艺术家形成了自己独特的艺术风格。此外，中国悠久的历史及多民族文化也创造出独具特色的艺术表现形式，对不同艺术风格作品的数字化仿真是NPR的挑战，同时人们也越来越重视不同艺术风格作品的保护和传承。此外，不同艺术风格的数字化模拟有助于减轻创作者的劳动，使艺术家的注意力集中在创作本身。因此，如何模拟不同风格的多样性艺术作品，增强艺术表现力，成为非真实感绘制技术面临的问题之一。2.2视频帧间连贯性非真实感绘制技术扩展到视频场景，采用基于图像的或者基于深度学习的方法，将视频关键帧进行艺术风格化转换，并通过视频帧之间的时序关系，进行艺术风格化映射、拼接、穿插、合并以及组成后形成具有艺术风格的视频，丰富了非真实感绘制的应用领域。非真实感绘制技术对单帧图像处理往往包含有随机元素，当随机元素逐一作用于各个视频帧时，造成边缘等信息跳动，产生噪声和闪烁现象。研究者通过视频帧光流、帧间差分、微分、网格划分重组方法，以及通过风格特征在视频帧的变形、移动描述运动主体等方法，减小视频帧的抖动，这些方法能有效处理笔划或者纹理较简单的视频场景。然而，当纹理较复杂、有遮挡或运动向量不准确时并不适用，丢失了艺术风格细节特征，可能导致视频帧之间的抖动和误差增大。此外，采用启发式和多尺度的视频风格化处理仅能针对某种特定的艺术风格，同时增加了时间复杂度。随着深度学习的发展，研究者通过网络模型进行非真实感绘制，Frigo等人(2019)在前馈网络模型中对关键视频帧进行分块和风格化传输，通过光流变形和风格特征合成，对其他视频帧进行风格传输，确保了视频的连续播放，图 15显示了视频帧分块和风格化传输过程。然而，视频帧图像分块大小等参数对绘制结果产生较大影响，如何自适应地对视频帧进行分块，提高算法效率是进一步改进的方向。此外，随着数据规模的不断扩大，视频场景的复杂化，网络、影视媒体等领域对特定非真实感绘制效果的要求逐渐增加，如何确保视频帧之间的连续性，提高深度网路模型，减小风格化绘制之后视频播放时视频帧之间的抖动和跳变，提高绘制算法的通用性、灵活性，是非真实感绘制技术面临的问题。 图15 视频帧分块和风格传输(Frigo等，2019) Video frame decomposition and style transfer (Frigo et al., 2019)Fig 152.3非真实感绘制艺术效果的情感识别随着绘制算法以及运算速度的不断改进和提高，非真实感绘制技术已经能对不同艺术风格作品中的线条、纹理和色彩等低层语义特征进行提取和模拟，仿真油画、水彩画和抽象画等艺术效果。然而，艺术家创造艺术作品时，常常赋予艺术作品更多的意义与内涵，如梵高、莫奈和齐白石等大师的绘画作品往往带有强烈的主观色彩。此外，具有民族特色的艺术作品往往表达出某种情感，例如云南纳西族东巴画具有明艳的色彩和萧疏简淡的肌理线条，每一幅东巴画似乎都在讲述一个古老的故事，呈现出独特的情感和精神表达。因此，非真实感绘制技术除模拟色彩、纹理等低层艺术风格特征外，应对艺术作品的高层语义特征进行提取，减轻艺术家的重复性劳动，有效提高智能信息检索精度和效率，模拟艺术风格的同时，为艺术风格的保护和传承提供技术支持。文本和图像情感语义的研究从图像的字符、颜色、纹理等视觉特征提取，发展到对字符、视觉特征的语义实体感知，再发展到视觉情感特征的分类、识别、检索。尽管艺术风格图像高层语义特征提取、分类和识别已取得一定成果，如研究者采用遗传算法、频率计算、深度学习等方法对情感特征进行聚类与分类、重要度度量、情感映射等处理(图 16显示了Zhu等人(2017b)通过频域处理，对情感特征能量提取，对莫奈艺术作品高层语义信息进行分析和识别), 然而，由于绘画种类的多样性、复杂性，仍需要探索不同绘画大师、不同民族艺术风格绘画作品的情感提取、分类、识别方法，探索和理解艺术作品高层语义特征，从创作者的角度出发，模拟艺术风格特征的同时，表现出艺术风格原有的情感特征，提高模拟结果的准确性。 图16 莫奈艺术作品及情感特征提取(Zhu等，2017b) Monet works and emotional feature extraction(Zhu et al., 2017b)Fig 16 ((a)painting of Monet; (b) frequency domain features; (c) energy extraction of different directions) 2.4非真实感绘制艺术效果的评价标准在真实感绘制领域中，其研究成果的评价标准就是所生成的图像与照片的相似程度，通过渲染图像与真实照片的相似度计算，很容易评价真实感绘制是否成功。然而，由于非真实感绘制的目标是模仿人类手工创作图像的能力，因此计算机生成的艺术图像能在多大程度上接近人类手工创作的图像成为最直接的评价标准，并且手工创作的绘画作品往往受到所用工具的限制，存在着手工痕迹，注重观察者的主观感受和情感，因此非真实感绘制算法能否模拟这种手工痕迹，以及观察者的创作意图也成为了判断方法优劣的标准。已有的评价方法主要分为客观评价和主观评价。在客观方面，可从非真实感绘制方法本身、算法的实现效率进行评价。采用误差敏感度的评价方法计算简单，却与人类视觉的主观感受差别较大，忽略了绘制作品本身的艺术特性；也可通过观察者理解绘制艺术作品本身需要传达的意图方面进行判断，然而也受到观察者自身条件的限制；采用均方误差、峰值信噪比、梯度函数等统计方法判断非真实感绘制作品的好坏缺乏稳定性，当绘制结果出现噪声、边缘等图像退化情况时，会偏离作品本身的意图。在主观评价方面，可通过观察者主观打分并加权平均的方式评判非真实感绘制作品，该方式需要大量的人为参与，同时观察者受文化教育程度、成长环境、观察条件、情绪等因素的影响。此外，由于基于视觉感知的图像质量评价方法与人眼的主观感受有较好的一致性，工作者基于视觉感知能较好地评价图像质量。传统的方法仅考虑亮度、边缘等单一信息对视觉的感受，忽略了心理层面的影响。因此，可通过客观与主观评价相结合的方式，从非真实感绘制结果的角度出发，在解析绘制图像的内在机理时，基于视觉感知和视觉兴趣，从边缘长度、亮度、清晰度、相似性等多个客观指标，加权计算评价测度，并且从用户主观角度出发，结合人们观察图像的视觉兴趣计算评价测度，挖掘和识别艺术图像的情感特征，有利于研究者分析模拟艺术作品的好坏，提高艺术表达的准确性，更加符合人们的审美标准。此外，评价指标的结果可以作为非真实感绘制网络中算法和参数的优化依据，进一步提升绘制效率，扩展应用领域。3结语非真实感绘制技术研究涉及计算机视觉、图形图像处理和人工智能等多个学科领域，在广告宣传、影视作品、游戏动画、文化保护等方面具有重要的应用价值。本文总结了非真实感绘制技术已有的研究成果，从基于图像建模的艺术风格模拟、基于深度学习的艺术风格模拟和中国特有艺术作品的数字化模拟、非真实感艺术效果情感识别、非真实感视频场景绘制几个方面进行分析和介绍，并指出了非真实感绘制技术存在的问题，如何模拟不同艺术风格的绘制结果，如何确保视频处理时的帧间连贯性，如何对艺术效果的情感有效识别，以及如何评判非真实感绘制的结果。可以看出，提高算法通用性、提高算法效率，以及扩展应用领域依然是非真实感绘制技术努力的方向。非真实感绘制技术是一个具有挑战性的研究领域，也将不断改变人类学习、生活方式。期待有更多更富有创新的研究方法，取得突出进展。