Print

发布时间: 2018-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170626
2018 | Volume 23 | Number 7




    综述    




  <<上一篇 




  下一篇>> 




绘画特征提取方法与情感分析研究综述
expand article info 贾春花, 郭小英, 白茹意
山西大学软件学院, 太原 030013
收稿日期: 2017-12-12; 修回日期: 2018-02-08
基金项目: 国家自然科学青年基金项目(61603228)
第一作者简介: 贾春花, 1984年生, 女, 讲师, 2011年陕西师范大学计算机应用技术专业获硕士学位, 主要研究方向为图像分析与计算机视觉。E-mail:jiachunhua123@163.com;
白茹意, 女, 讲师, 主要研究方向为图像分析与计算机视觉。E-mail:bnubry@126.com.
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2018)07-0937-16

摘要

目的 图像分类与情感分析是当前计算机视觉领域的研究热点，为人类绘画图像数字化研究提供了有效方法，在人类绘画艺术作品保护与作品创新中具有重要的应用价值。为更好地实现绘画作品的研究与创新，本文主要针对现阶段国内外的绘画分类与情感分析相关文献，进行详细地整理与分析。方法 本文以广泛的文献研究为基础，分析中西方绘画的不同表征方式及形成原因，归纳总结支持向量机、决策树、人工神经网络和深度学习等绘画图像分类中常用机器学习方法，并概述各类方法的优劣；重点围绕绘画图像特征提取与分类，绘画情感分析两个方面，对当前文献进行了系统地分析和总结。结果 系统概括了当前绘画图像研究中常用绘画数据库；以绘画图像的笔触特征、颜色特征、形状特征和纹理特征、留白特征等方面为依据，详细综述了中西方绘画特征提取技术与分类方法的研究现状及发展；简要梳理了绘画图像分类模型中常用的评价方法，并分析了当前研究中的常用评价指标；主要从颜色特征的角度出发，阐述了西方绘画情感分析的研究进展，为中国传统绘画情感分析提供了有效的思路；最后，提出了当前绘画分类和绘画情感研究中存在的问题和挑战，并探讨了存在问题的应对之策。结论 绘画作为人类重要的文化成果，未来会涌现出更多的研究算法与探索思路，本文内容对绘画图像分类的进一步研究，特别是中国传统水墨画情感分析和绘画艺术创作方面的研究，可以起到一定的启发和指导作用。

关键词

中西方绘画; 绘画数据库; 特征提取; 分类方法; 评价方法; 绘画情感; 颜色与情感分析

Review of feature extraction methods and research on affective analysis for paintings
expand article info Jia Chunhua, Guo Xiaoying, Bai Ruyi
College of Engineering, Shanxi University, Taiyuan 030013, China
Supported by: National Natural Science Foundation of China (61603228)

Abstract

Objective Image classification and affective analysis are popular issues in the field of computer vision, provide effective methods for digital painting, and play important roles in art protection and painting innovation. Brush stroke, colors, shapes, textures, and white spaces are important visual features of paintings. Classification based on these visual features can help identification of painting style and painter, analyze painting affection, further understand the meanings of painting creation and inherited cultures. In order to better realize the research and innovation of painting, this paper provides a comprehensive survey and analysis, focusing on domestic and international research on painting classification and affective analysis at present. Method Based on the extensive literature research, the paper firstly shows the different representation modes of Chinese and western paintings and then analyzes the reason for the differences between these two modes. The reasons are mainly derived from the various cultural backgrounds and the different ways of thinking. Chinese traditional painting has a unique artistic expression technique, which accounts for the artistic "false or true complement" effect produced by the skillful use of white space. In addition, traditional Chinese painting attaches importance to the combination of calligraphy and poetry, is decorated with seals, and emphasizes the connection between art and nature to present spirit by form. Line is the basic modeling approach and color is the auxiliary characteristic of Chinese traditional painting. The bright and dark changes of light and shadow are not emphasized. Besides, line is a form of expression of the affective characteristics of traditional Chinese painting. For an appreciator, Chinese traditional painting requires more association and imagination than mere visual effect. The Chinese painting style mainly includes two major categories, namely, traditional ink paintings and murals. The formation of the ink-and-wash style is mainly distinguished by representative painters, such as Qi Baishi, Zheng Banqiao, Xu Beihong, Wu Guanzhong, Wu Changshuo, and Huang Gongwang. Mural research is represented by mogao grottoes in Dunhuang which have a distinctive national style characterized by rich and colorful content and a form of painting that embodies the expectations of people's good wishes. Western painting is distinct from traditional Chinese painting. Traditional western painting highlights realism, similarities in appearance, reproduction, space-time, and effect of light colors. Western painting attaches great importance to the change in color, light, and shadow to portray images. In addition, the elaborate and tactful use of color can reflect painting affection. An entire painting exhibits a good sense of texture and space because of the object shading. Contrary to traditional Chinese painting, western painting provides viewers with more visual effects. The Western painting style is associated with the development of the literature and art movement, and the formation of painting style is mainly divided into baroque, three-dimensional impressionist, romantic, Rococo, and Renaissance styles. Secondly, the paper outlines the machine learning methods of support vector machine, decision tree, artificial neural network, deep learning, which are commonly used in painting classification, and analyze the advantages and disadvantages of these methods. Moreover, this paper systematically analyzes and summarizes the current literatures, focusing on the two aspects of feature extraction and classification of painting, affective analysis of painting. Result On the basis of current literatures related, this paper sums up the painting database commonly used in the present study. Moreover, it reviews in detail the research status and the development of feature extraction technology and classification methods for Chinese and western paintings in terms of such characteristics as brush strokes, color features, shape features, texture features and white features. It also briefly describes the commonly used evaluation methods of painting classification model, which are error rate and accuracy, precision and recall ratio, P-R curve and F1 measurement, and ROC curve and AUC. And several commonly used evaluation indexes in current studies are analyzed. Computer vision technology has a distinct advantage in the fields of object recognition, scene classification, image classification, and affective and semantic image analysis, which can meaningfully evaluate the perception of target images and scenes by simulating human visual ability. The essential feature of the image is the key to accurate judgement. As an image resource, the selection of painting characteristics is important in painting classification and affective analysis. Closely related to painting feature selection and classification research, machine learning is a way that investigates how to use a computer to simulate or realize people's learning activities to acquire new knowledge and skills. Machine learning is widely used in artificial intelligence. Furthermore, the paper probes the affective investigation of Western painting on the basis of color features and provides an efficient idea for the affective analysis of Chinese traditional painting. Paintings can reflect the objective social life and rich affection of their painters, and using computer intelligence to analyze the painting affection can help us understand the history and culture of various periods well. Chinese painting has a unique style in terms of ink brush stroke, ink shade, white space, and painting content, which can also convey the different affections that the painters aim to express. Combining cognitive and psychological knowledge, image feature extraction methods can also realize the affective analysis and extraction of Chinese ink-and-wash paintings. Finally, using a database of painting classification, classification goals, and the limitations of affective analysis of paintings, this study highlights the existing problems and challenges in the study of painting classification and affective analysis and discusses solutions to these existing problems. Conclusion As an important cultural achievement of human, more and more painting research algorithms and exploring thinks will emerge in the further. This article can provide guidance to further studies on painting classification, especially in the research of traditional Chinese ink painting affective analysis and painting art creation.

Key words

Chinese and western paintings; painting database; feature extraction; classification method; evaluation method; painting affection; color and affective analysis

0 引言

计算机视觉技术运用计算机来模拟人的视觉智能, 对其感知的图像目标和场景做出有意义的判断, 包括图像目标识别、图像场景分类、图像分类、图像情感语义分析等, 计算机可以做出正确判断的关键和核心是要选择最能表达图像目标和本质的特征, 进而可以更好地理解图像本身及其内涵。

绘画图像是一种重要的艺术创作和民族文化遗产, 利用优美的表征形式, 体现人类文化面貌, 传达人类思想情感, 是人类认识世界的一种独特而美妙的方式。著名科学家李政道说:“科学与艺术是一个硬币的两面。”[1], 所以, 科学与艺术既有区别又相互联系, 用计算机视觉技术分析绘画图像特征及情感, 能够帮助人类更好地了解中西方历史文化的发展。

几千年来, 人类创作了大量的绘画图像, 对于海量的、不同艺术风格的中西方绘画作品, 运用先进的人工智能算法、大数据下的机器学习算法等进行研究分析, 已经成为图像处理和计算机视觉领域的研究热点。当前研究成果表明[2-13], 运用图像分析和特征提取技术, 计算机能够从绘画作品中学习到大量知识, 提取绘画图像的有效特征, 实现绘画作品价值评估、绘画作品保护、绘画作者识别、绘画风格比较和绘画语义情感分析等。

因此, 计算机视觉技术与绘画创作的结合, 可以拉近艺术家与赏析者之间的距离, 实现人与计算机的友好交互, 而且, 科学思维与艺术思维的彼此渗透, 在拓宽人类创作方式, 提高艺术家的表现力和创作力中意义重大。

本文分析了中西方绘画的特点与差异, 概括了绘画特征研究中的常用数据库, 对当前研究中常用的机器学习方法进行概述, 从笔触、颜色、形状和纹理等角度, 详细概述了中西方绘画特征提取技术和绘画分类方法的研究现状与进展, 并对绘画图像分类模型的评价方法进行了描述和分析, 探讨了用计算机视觉技术分析绘画作品情感的研究现状, 对当前绘画图像分类与情感研究中存在的问题及应对方法进行了分析。

1 中西方绘画特点与绘画数据库

1.1 中西方绘画特点分析

中国传统绘画有其独特的艺术表现手法, 通过对留白的巧妙运用, 使绘画具有“虚实相生”的艺术效果; 此外, 中国传统绘画重视与书法和诗相结合, 并以印章作为点缀; 讲究艺术与大自然相联系, 强调“以形写神”[14]。线条是中国传统绘画中基本的造型手段, 颜色属于辅助特征, 而且不讲究光影的明暗。不论山水、花鸟人物, 画家们总是用粗细不同的线条来勾勒, 再辅以颜色, 并且, 线也是中国传统绘画情感特征的表现形式之一。对于赏析者, 中国传统绘画的感受需要更多的联想与想象, 而不是视觉的直观效果。如图 1(a)所示。



图 1 绘画作品
Fig. 1 Paintings ((a)Chinese paintings; (b) western paintings)

西方绘画与中国传统绘画风格迥然不同, 传统的西方绘画强调写实, 注重形似、再现、时空和光色效果[14]。西方绘画重视运用色彩深浅、光线明暗来表现物象, 色彩的精心和巧妙运用, 还可以反映画作的情感, 物体的明暗, 使整幅作品的质感和空间感更好。并且, 与中国传统绘画相反, 西方绘画给予赏析者更多的是直观的视觉效果。如图 1(b)所示。

中西方人文化背景和思维方式的不同是形成中西方绘画特征不同的根源, 中国绘画艺术主要是简洁、含蓄、委婉地表达意蕴, 而西方艺术则是以一种直观的、直接的绘画方式表现绘画情感和作者的内心世界。但是, 作为艺术的一种表达方式, 二者都能反映客观社会, 并且能传达画家对客观世界的情感。

1.2 绘画数据库

西方绘画作品风格的形成是伴随其文艺运动发展的, 绘画风格主要分为巴洛克风格、立体风格、印象主义风格、浪漫主义风格、洛可可风格、文艺复兴风格、表现主义风格、古典主义、抽象派、超现实主义风格、野兽主义画派、古希腊陶瓷风格、破坏偶像主义风格等。

中国绘画作品风格主要包含传统水墨画和壁画两大类, 水墨画风格的形成主要是以绘画作者来区分, 以齐白石、郑板桥、徐悲鸿、吴冠中、吴昌硕、黄公望、黄宾虹、刘旦宅等等著名的传统水墨画家为代表; 而壁画的研究以中国敦煌莫高窟壁画为代表, 如图 2, 敦煌壁画具有鲜明的民族风格, 内容和绘画形式丰富多彩, 主要表现为人们对美好愿望的寄托, 是一种抚慰人们的中国式佛教艺术。



图 2 敦煌壁画
Fig. 2 Dunhuang murals

由于中西方绘画作品特点及风格的不同, 研究人员运用多种不同的图像特征提取和分类方法进行了有针对性的研究, 分类绘画风格和分析绘画情感, 已经取得较好的成果, 这些研究在推动绘画艺术的多样化创作和中西融合的创新性发展中意义重大。本文对当前绘画研究中常用的绘画数据库进行了概括, 如表 1所示。

表 1 绘画作品实验数据库
Table 1 Painting database in experiments

下载CSV
绘画图像库 介绍 网址
WikiArt[15-17] 网站收集了全球的视觉艺术作品, 可以根据绘画作者和绘画风格快速搜索作品, 免费下载。 https://www.wikiart.org
Pandora7k[16] 该数据库是与西方艺术发展运动相关的数字绘画集, 由12个艺术运动时期(old Greek pottery、iconoclasm、high renaissance、baroque、rococo、romanticism、impressionism、realism、cubism、fauvism、abstract-expressionism、surrealism)的7 700幅作品组成, 每一时期的艺术风格均包含250到1 000不等的绘画作品。 http://imag.pub.ro/pandora/pandora_download.html
Pandora18k[17] 该数据库收集了18 040幅绘画作品, 总共包含18种艺术运动风格:Byzantine、Early Ren.、High Ren.、Rococo、Romanticism、North Ren、Baroque、Realism、Impress.、Post Impr.、Symbolism、Surrealism、Fauvism、Expressionism、Cubism、Abstract、Naive art、Pop art, 每类风格的数量从719到1 276不等。 http://imag.pub.ro/pandora/pandora_download.html
文献[18] 包含6种不同风格的绘画:Renaissance、Baroque、Rococo、Romanticism、Impressionism、Cubism, 共3 400幅作品。 http://alpha.imag.pub.ro/common/staff/r_condorovici/rc_paint.html
Artyfactory[17] 网址运用各类绘画作品介绍: 1)绘画学习:分享、理解和体验艺术, 提高绘画技巧并增加创作乐趣; 2)绘画设计:研究诸如图像、颜色、模式、组成、布局和拓扑等基本设计元素及如何评估这些元素在创作过程中的影响; 3)绘画赏析:识别伟大艺术作品, 赏析和理解不同艺术时期、运动、风格、技术等, 更好地创作、评估和提高自己的艺术作品。 http://www.artyfactory.com
TICC Printmaking Dataset[19] 包含210位艺术家的58 630幅印刷艺术画的数字照片, 是从Rijksmuseum和Netherlands state museum在线收集, 每位艺术家至少有96幅艺术作品。该数据库中的所有图片均是公用的。 https://auburn.uvt.nl
中国水墨画 建立从元朝至现代时期的5位中国画家的500幅作品的数据库, 5位画家分别是徐悲鸿、吴昌硕、黄公望、郑板桥、刘旦宅, 每位画家各100幅[5, 20]; 建立6位著名的中国艺术家的180幅绘画作品数据库, 6位画家分别是齐白石、黄宾虹、戴良文、刘旦宅、石金库、黄胄。数据库需与作者联系[21]。
中国敦煌壁画 构造北周、唐、元3个朝代的敦煌壁画数据库450幅, 每个朝代各150幅[4, 22-23]; 建立敦煌莫高窟的飞天壁画数据库660幅, 分别取自飞天壁画早期、发展期和成熟期各220幅。数据库需与作者联系[43]。

2 中西方绘画特征提取与分类

许多有价值的绘画作品是世界文化遗产的重要组成部分, 随着计算机视觉技术和人工智能的不断发展, 计算机已成为分析和管理这些作品数字化资源的一种高效而重要的方式。绘画作为一类图像资源, 研究者运用多种有代表性的图像特征选择和分类方法, 如表 2所示, 主要基于绘画的笔触、颜色、纹理、形状等提取特征, 用支持向量机、神经网络、决策树、K最近邻分类、隐马尔可夫模型等多种不同的分类方法对其分类, 包括对不同风格绘画分类和对不同画家分类, 大部分研究取得了较好的分类效果。

表 2 绘画特征提取与分类方法文献研究
Table 2 Literature research on feature extraction and classification of paintings

下载CSV
分类法 特征
笔触 颜色 纹理 形状 留白 其他
SVM 文献[4-5, 21] 文献[4, 16-18, 21-23, 28, 37, 43] 文献[5, 16, 18, 21, 28, 40, 37] 文献[18, 22, 37, , 42-43] 文献[4] 文献[30]
CNN 文献[21] 文献[21] 文献[21] 文献[19-20, 30, 49-50]
BP 文献[20, 58] 文献[40]
MHMM 文献[20-21] 文献[21] 文献[21] 文献[12]
C4.5决策树 文献[20] 文献[40] 文献[33]
Bagging 文献[18, 35] 文献[18, 36] 文献[18, 34]
Adaboost 文献[41] 文献[41]
Random Forest 文献[16] 文献[16]
KNN 文献[16] 文献[16]
MKL 文献[21] 文献[21] 文献[21] 文献[31]
Sparse lasso 文献[21] 文献[21] 文献[21] 文献[32]
MLP 文献[37] 文献[37] 文献[37]
其他 文献[15, 20-21, 24-26] 文献[13, 15, 38-39, 52-55] 文献[36] 文献[34, 47] 文献[15, 49] 文献[57]

2.1 绘画图像分类方法

绘画图像特征选择和分类研究与机器学习方法紧密关联, 机器学习研究如何用计算机来模拟或实现人的学习活动, 以获取新的知识和技能, 在人工智能各个分支领域中广泛使用, 常用的学习模型主要有支持向量机(SVM)、决策树、人工神经网络和深学习、K最近邻分类、隐马尔可夫模型等。

2.1.1 支持向量机(SVM)

支持向量机是一种基于统计学习理论和分类边界的有监督学习方法, 通过最小化结构风险来提高其泛化能力, 主要是针对二分类任务, 寻找一个超平面分割两类训练样本点, 以保证分类错误率最小。其主要思想是:如果训练样本是线性可分的, 则存在一个或多个超平面能够完全分割样本, 所以, SVM的目标就是确定最优超平面, 最优超平面保证了每一类数据与超平面距离最近的向量与超平面之间的距离最大; 如果训练样本是非线性可分的, 则需要运用一种非线性映射算法(即核函数)将低维输入空间中线性不可分的样本点转换到高维特征空间, 使其线性可分, 再用线性划分的方法来确定分类边界, 如图 3所示。



图 3 支持向量机模型
Fig. 3 Model of support vector machine

支持向量机在大规模样本的训练中, 实现起来比较困难, 并且, 在解决多分类任务中, 需要通过组合多个二类支持向量机来实现, 但是, 支持向量机在解决样本数据少、样本数据线性不可分、样本维数很高等方面具有很好的优势。

2.1.2 决策树学习

决策树算法是依据数据的属性特征用树状结构建立决策模型, 常用来解决分类问题和回归问题, 如图 4所示。C4.5算法和随机森林都是常见的决策树算法。



图 4 决策树模型
Fig. 4 Model of decision tree

C4.5算法是对ID3算法(iterative Dichotomiser 3)的改进, 其核心思想是ID3算法。信息论中的熵和信息增益是ID3算法的衡量标准, 该算法通过计算每个属性的信息增益进行属性选择, 并选择分裂后信息增益最高的属性进行分裂, 采用自顶向下的贪婪搜索方法遍历可能的决策树空间, 进而构造决策树。

信息增益选择属性时偏向选择取值多的属性, C4.5算法克服了这一问题, 用信息增益率进行属性选择, 选择信息增益率最大的分割点划分数据集, 并且, 在树的构造过程中进行剪枝处理, 避免决策树的高度无节制的增长和数据过度拟合; 对于可用数据缺失某些属性值的情况, 该算法通过赋予其对应实例中常用值或为其每个可能值赋予一个概率的方式进行处理, 将不完整的数据转换为完整的可用数据。

树的构造中需要对数据集作多次顺序扫描和排序, 所以, C4.5算法的效率偏低, 并且该算法只适用于在内存中驻留的数据集, 但是, 其产生的分类规则容易理解, 分类准确率也比较高。

随机森林(random forest)是对C4.5决策树的改进, 用随机的方式建立多棵决策树, 每棵决策树之间无联系, 当有新的输入样本数据时, 森林中的每棵决策树分别对该样本进行判断, 预测该样本的类别, 该算法可以进一步提高准确率。

2.1.3 人工神经网络和深度学习

人工神经网络是一种模式匹配算法, 通过模拟生物神经网络, 实现任务的分类或回归, 常用的人工神经网络算法包括反向传播网络(back propagation network), 感知器网络(perceptron neural network), 深度学习网络(deeping learning network)。

BP算法是一种有监督式的学习算法, 其主要思想是:输入训练样本, 通过反向传播算法对网络的权值和偏差不断地进行调整训练, 保证输出的向量与期望的向量尽可能接近, 当网络输出层的误差平方和小于指定的误差时训练完成, 此时, 网络的权值和偏差被保存。

BP网络在寻优上具有精确性, 但是, 其训练时间较长, 容易陷入局部极小, 可以通过遗传算法进行优化, 使其具有全局寻优和快速高效的性能。

感知器是学习二分类的一种线性分类模型, 基本思想是将输入空间中实例的特征向量划分为正负两类, 即输出实例的类别。该算法简单, 易于实现, 但是当样本线性不可分时, 该算法无法做出判断, 多层感知器MLP(multilayer perceptron)的出现, 克服了单感知器的这一弱点。

MLP是由一个输入层、一个输出层和一个或多个隐藏层构成的神经网络, 该网络的多个节点层, 每一层均全连接到下一层, 每个神经元节点用输入权重加偏差来计算输出值, 并通过选择的一种激活函数进行转换。

MLP解决了非线性全局划分, 实现了高度并行计算, 具有较强的自适应、自学习能力。但是, 该网络中隐藏层节点个数的选择仍然是一个难题。

深度学习算法是人工神经网络的进一步发展, 是一种基于无监督特征学习和特征层次结构的学习方法, 其核心思想是通过构建多隐藏层的模型和海量的训练数据, 自适应地学习更多更有用的特征, 最终提高分类或预测的准确性。

卷积神经网络(CNN)就是一种多层感知器深度学习算法, 是源于生物学上感受野的机制而提出的前馈神经网络, 每一层均由多个2维平面构成, 并且, 每个平面上包含多个独立神经元, 有简单神经元C和复杂神经元S, C元聚合构成卷积层, S元聚合构成下采样层。将输入图像与滤波器和可加偏置进行卷积运算, 在C层生成N个特征映射图, 并对这些特征图进行求和、加权值和偏置, 再经过一个激活函数(常用Sigmoid函数)生产S层的特征映射图, 依据设置的C层和S层的数量, 循环进行卷积和下采样过程, 最终, 对最后一层的下采样和输出层进行全连接, 输出结果, 如图 5所示。



图 5 卷积神经网络模型
Fig. 5 Model of convolutional neural network

CNN具有局部感受野、权值共享、时间或空间上的下采样3种结构特性, 使其具有某种程度上的位移、尺度和扭曲不变性。CNN已广泛应用于模式识别、图像处理和计算机视觉领域, 并且具有显著的优势。

2.1.4 K最近邻分类(KNN)

KNN算法的分类思想是从训练样本中选择K个与当前输入样本最相近的样本, 然后判断K个样本中大多数样本的类别, 即为当前输入样本的类别。该算法常用“欧氏距离”作为分类模型, 选择的最近邻样本均已正确分类。

KNN在进行类别决策时, 只与少数相邻样本有关, K的选取需要人为预设, 常用交叉检验确定; 并且, 当样本的数量不平衡时, 如一个类的样本数量很大, 而其他类样本数量非常小, 就有可能导致一个新的输入样本, 其K个最近邻中大容量类的样本占多数, 从而输入样本类别可能误分。但是, 该算法比较简单, 容易理解和实现, 特别适合多分类任务。

除上述学习模型外, 还有概率模型, 融合模型和聚类模型等机器学习模型, 隐马尔可夫模型(HMM)就是用单一的离散随机变量来描述过程状态的一种时序概率模型; Adaboost自适应增强是一种融合学习模型, 通过迭代的思想, 对同一个训练集训练出多个不同的弱分类器, 再把这些弱分类器集合起来, 形成一个最终的强分类器; K means算法是把N个样本根据其属性特征划分为K个分割(K < N)的一个简单聚类算法。

2.2 绘画特征提取与分类研究

2.2.1 笔触特征提取与分类方法

笔触是构成绘画的基本元素, 有许多不同的形式、形状和方向, 不仅能反映画家的绘画技巧, 还可以表达艺术家们的绘画风格、艺术情感及创作想法, 是绘画研究中一个非常重要的可视化特征。

梵高作为后印象主义的先驱, 尤其是野兽派与表现主义, 其绘画笔触强劲而有节奏, 形成他与众不同的独特风格。对梵高作品笔触特征的提取方法已有不少研究[24-25], 但这些笔触提取及笔触相关特征提取方法都未经过论证, Li等人[26]提出一种新的自动笔触提取系统, 并对梵高独特的笔触风格用科学的论据进行笔触特征分析。作者从梵高博物馆和Kroller-Muller博物馆收集了31幅梵高作品和14幅其他画家的数字化作品, 对梵高分别在巴黎时期和阿尔勒时期的作品及与梵高同时期的其他画家的作品进行研究。基于文献[27]边缘检测、聚类和图像分割等综合方法, 实现了笔触自动提取系统, 如图 6, 她们将笔触的特征分为取决于邻域笔触分布的交互式特征(邻域笔触的数量NBS-NB、邻域中具有相似方向的笔触的数量NBS-SO、邻域笔触的方向标准差OSD-NB)和取决于笔触自身几何形状的独立特征(笔触的长度、宽度、大小、宽度均匀性、延长性、平直度和方向), 运用统计分析方法, 比较了大量自动提取的笔触特征, 结果证明梵高作品笔触是强劲而有规律的, 在区分梵高两个时期的作品时, 主要用的是笔触的长度、大小、宽度、OSD-NB、OSD特征, 阿尔勒时期的笔触更长、更宽、更大、笔触的方向变化更多, 并且这两个时期的作品的不同主要是源于绘画主题的不一致; 在区分梵高作品与其同时期其他画家作品时, 主要用的笔触特征是NBS-NB、延长性、平直度和宽度均匀性, 梵高作品笔触邻域中有更多的笔触, 笔触更平直, 有更大的延长度和更大的宽度均匀性, 区分梵高及非梵高作品的关键是绘画的风格而不是绘画主题。这些研究对于梵高作品的准确辨识与分类, 情感分析有重要的应用价值。



图 6 梵高作品笔触提取结果[26]
Fig. 6 Brushstrokes extracted from the paintings of van Gogh[26] ((a) cabbages and onions, Pairs, 1887—1888;(b) a pair of leather clogs, arles, 1889;(c) original image; (d) automatically extracted brushstrokes; (e) manually marked brushstrokes)

吴冠中是我国现代著名水墨画家, Fan等人[15]对吴冠中的作品进行研究, 分析了不同笔触厚度的作品对视觉复杂度的影响, 提出一种通过计算邻域像素的颜色变化估计笔触厚度的方法。该方法将图像由RGB转换到HSV空间, 设定H、S、V的阈值, 按行进行垂直和水平地扫描整幅绘画, 统计邻域像素颜色变化都大于H、S、V的次数, 用统计值与整幅画总像素的比值作为整幅图的笔触厚度, 以此作为指标判断笔触厚度对绘画作品视觉复杂度的影响。

Sun和Zhang等人[21]也分析了中国传统绘画笔触的长度、弯曲度和密度特点, 先用文献[26]的方法提取绘画笔触, 然后提出对笔触的边界长度、平直度和平均笔触密度3个特征直方图综合的方法; 文中还用灰度共生矩阵方法提取绘画组成成分特征, 用文献[28]的方法提取绘画的Ohta颜色直方图特征和纹理特征。由于不同画家绘画风格不同, 每一维特征的分类能力不同, 为了从这些综合的特征中自动地自适应地选择最有效的区分每位艺术家的特征, 文中提出了基于维数修剪的蒙特卡罗凸壳模型来优化综合特征, 用文献[29]的支持向量机(SVM)分类器对特征分类, 区分不同画家。作者对6位中国著名画家的180幅传统绘画进行分类, 并与文献[12]MHMM(multiple hidden markov model)、文献[30]CNN、文献[31]MKL(multiple kernel learning)和文献[32]Sparse lasso等分类器的分类结果进行比较, SVM分类效果很好, 查准率和查全率分别为95%和93%, 与基准测试算法SFFS&CV(sequential forward floating selection & cross validation)和未优化特征分类结果比较, Sun和Zhang等人的方法具有明显优势。

Sheng和Jiang[20]从绘画笔触出发, 对中国传统水墨画进行了详细的特征分析与不同画家艺术风格分类研究, 在像素域内, 作者采用边缘检测算法查找绘画中最具代表性的笔触, 采用加窗函数的方法识别最具代表性的局部区域, 最后分别构建局部和全局直方图提取绘画的局部和全局特征, 提出用加窗和熵平衡融合的方法优化BP神经网络的分类结果, 对5位画家, 每位100幅作品共500幅绘画作品进行分类, 查准率和查全率分别为88%和89%, 分类结果优于基准算法文献[12]MHMM(multiple hidden markov model)和文献[33]C4.5决策树的结果。此外, 文中还分析了中西方绘画分类, 将3位西方画家的作品加入分类数据库后, 用文中方法分类, 结果对前文结果的影响不大, 而用SIFT(scale-invariant feature transform)和SVM方法分类后结果发生改变, 进一步说明中西方绘画风格的不同, 分析方法应该具有针对性。

2.2.2 颜色、形状和纹理特征提取与分类

颜色、形状和纹理都是绘画的可视化特征, 也是形成绘画风格不同的主要因素, 并且是大多数绘画特征研究的切入点, 特别地, 颜色和形状特征在中国敦煌壁画特征分析中占主要地位。

Fan等人[15]分析著名画家吴冠中水墨画中颜色丰富度对视觉复杂度的影响, 提出一种提取绘画作品颜色丰富度的方法, 将像素的颜色放置在6个颜色段上(红、黄、绿、蓝、蓝绿和品红色), 如果一种颜色的像素量与绘画的总像素量的比率大于0.1, 认为绘画中使用了该颜色, 通过计算不同绘画作品中使用颜色的数量, 以此为指标评估绘画的视觉复杂度。

Condorovici等人[18]提出一种自动识别数字绘画不同风格的系统, 运用文献[34]锚定理论和框架提取亮度和形状特征, 用文献[35]3D颜色直方图提取绘画主颜色特征, 用文献[36]Gabor Energy方法提取纹理和边缘信息, 依据提取的特征数据, 分别用7种不同的分类器对3 400多幅6类不同风格的绘画作品进行分类, Bagging方法分类率达到65.28%, 分类结果有效可行, 数据库胜过当前已有研究。在之前研究的基础上, Condorovici等人[37]扩充数据库到4 119幅作品, 包含8个不同的艺术风格, 利用之前的特征提取方法, 采用MLP (multi-layer perception)和SVM融合的新方法进行分类, 识别率达到73.32%。

为方便绘画视觉艺术的计算机分析, Florea和Condorovici等人[16]介绍了一个Pandora7k数据库, 该数据库是与西方艺术发展运动相关的数字绘画集, 由12个艺术运动时期的7 700幅作品组成, 每一时期艺术风格均包含2501 000不等的绘画作品; 作者研究了如何通过图像的局部和全局特征及用何种分类器识别艺术运动, 试验了各种流行的特征提取方法, 采用HOG (histogram of oriented gradients), pHOG(pyramidal HOG), ColorHOG, LPB(local binary pattern), pLPB(pyramidal LPB), local invariant order pattern, edge histogram descriptor, GIST等方法提取纹理特征, 用文献[38]DCN (discriminative color names), 文献[39]CSD (color structure descriptor)提取绘画颜色特征, 同时组合纹理和颜色特征作为新的特征集, 运用SVM、Random Forest和KNN (K-nearest neighbor)3种不同的机器学习分类系统进行分类, pLBP+CSD+SVM组合取得最好的分类性能, 实验结果表明, 通过各种特征与分类器的组合, 可以获得较准确的识别率。

Florea等人[17]在文献[16]Pandora7k数据库的基础上又做了进一步扩展, 建立了18 040幅绘画作品库, 包含18个艺术运动时期; 并提出一种自动分类的新系统, 该系统借助于颜色结构和新的拓扑特征作为绘画描述器, 再用一套合适的增强支持向量机分类特征数据。在准确率方面, 该系统测试结果较经典解决方法有优势, 甚至可以与当前的深度学习方法相匹配。

盛家川[40]在小波域内对中国水墨画进行特征提取和自动分类, 提出定向分块的算法, 进行多层小波变换, 将区域做多个频带上的分解, 利用LL(近似分量), HL(垂直分量), LH(水平分量)和HH(对角分量)频带上对信息分解的不同纹理来表征绘画风格, 运用不同的机器学习方法包括决策树C4.5、BP神经网络和支持向量机(SVM)对提取的绘画特征进行学习和测试, 实验数据库包含5位艺术家共100幅作品, 每位画家20幅, 并且SVM分类器的平均查准率较好, 可达75.1%, 实验表明文中算法能有效提取中国传统水墨画纹理特征, 实现不同画家作品的自动分类。

杨冰[4]分析中西方绘画艺术风格发现, 中国水墨画的主要特点是笔触、色彩和留白, 而西方绘画则是笔触、色彩和光照, 所以, 他以色彩对比值、留白特征和光照一致性为特征, 对中西两类不同的艺术风格提取特征, 并用SVM分类。实验的绘画数据库包含中西方两类绘画风格的作品各100幅, 作者将文中的特征提取算法与空间金字塔匹配(SPM)算法和稀疏编码空间金字塔匹配算法(ScSPM)进行比较, 文中提出的算法识别率为96.25%, 进一步证明文中选择的特征更适合描述绘画艺术风格。

Yang和Xu[22-23]还针对不同朝代的敦煌壁画进行分类研究, 敦煌壁画的艺术风格主要表现为线描变化多端、以色彩表达情感及光影的使用, 作者依据壁画图像的构图、色彩(RGB和HSV空间)和亮度信息来描述, 选取3类属性的16个特征, 用SVM自动地按北周、唐、元3个朝代分类壁画, 构造壁画数据库450幅, 每个朝代150幅, 分类识别率约为79%, 还验证了图像像素值频率分布范围的标准差值、色彩空间变化值、算术平均亮度和Lab空间中的L和b值对描述敦煌壁画风格更有效。

杨冰等人[41]还从人脑认知机制出发, 基于特征向量及相似性原理描述绘画艺术风格, 采用线条的曲率描述绘画中线条的流动性, 用色彩对比度描述绘画色彩风格特性, 用MR8滤波器描述绘画纹理, 通过建立艺术风格相似性规则, 对风格特征量化处理, 运用距离函数计算绘画与其他所有样本绘画间的相似性系数, 从而构造绘画风格相似性矩阵, 最后采用Adaboost分类器对未知样本分类, 分别用3个数据库进行测试, 选取北周和唐代两个朝代的200幅敦煌壁画数据库, 选取200幅中西两大风格的中西方绘画数据库, 选取中国绘画画家代表董其昌作品40幅和张大千作品60幅, 实验结果与文献[42]Gehler等人的方法进行比较, 证明作者提出的基于艺术风格相似性规则提取图像特征具有一定的优越性。

Zou和Cao等人[43]通过描述绘画的外观和形状特征分类中国敦煌壁画, 先采用文献[44]vlFeat工具箱提取SIFT特征描述绘画外观, 用文献[45]对SIFT特征进行4层深度学习网络的精炼, 用文献[46]k-连接分割器生成k-AS形状特征, 然后以非监督式深度学习方法对这些特征进行编码, 最后用视觉词袋(Bag-of-Visual-Words)方式综合这些特征, 用多分类支持向量机进行训练和测试。他们采用660幅来自敦煌莫高窟的飞天壁画, 分别取自飞天壁画早期、发展期和成熟期各220幅, 用文中方法分类3个时期的作品, 平均识别率为84.24%, 比文献[18]的分类结果76.67%具有明显地优势。

2.2.3 其他特征提取与分类方法

除笔触、颜色、形状和纹理特征外, 中国水墨画中的留白也有着特殊的意义, Fan等人[47]研究了我国现代著名画家吴冠中的绘画, 对其绘画中留白进行研究, 分别用文献[48]Itti和Koch’s显著模型计算所选绘画的显著性区域; 用X60 & X120型号眼动仪记录实验者的眼动轨迹, 观察绘画的热点图; 用10位男生, 8位女生共18名大学生做实验, 对7对有相似场景的绘画进行美学评分, 研究结果表明, 中国绘画中的留白并不仅仅是一个空白背景, 它包含了很多信息, 对于赏析者的美学感知非常有意义。Fan等人[15]进一步研究了吴冠中绘画中的留白对视觉复杂度的影响, 应用四叉树分解方法提取绘画作品中的留白区域, 进而分析不同大小留白区域对具象画和抽象画视觉复杂度的影响。

Wu等人[49]在图像分辨率有限的小数据集上用多尺度卷积神经网络进行图像分类实验, 研究了两个尺度上的网络训练。基于文献[49]Wu等人和文献[50]Cirean、Meier和Schmidhuber的研究, Nood和Postma[19]讨论了图像的尺度不变和尺度变化特征的融合, 提出一种新的多尺度卷积神经网络(Multi-CNN)方法, 该方法在4个尺度上(256、512、1 024、2 048)识别具有挑战性的与任务相关的图像中的融合特性, 文中对210位艺术家的58 630幅印刷艺术画的数字照片进行分类实验, 多尺度卷积神经网络的平均类识别率达到82.11%, 远远胜过单一尺度卷积神经网络和Wu等人的实验, 进一步论证了在CNNs中尺度不变和尺度变化特征的融合研究有利于图像识别和分类。

2.3 绘画图像分类模型评价方法及分析

绘画图像分类模型一般将样本数据划分为训练样本和测试样本, 样本容量的大小不同采用的划分方法不同, 样本容量大时常采用K折交叉验证方法, 反之用自助法或留一法实现划分。由文献[51], 分类模型的泛化性能在测试集上进行评价, 评价指标通常包括:错误率与精度、查准率P与查全率R, P-R曲线与F1度量、ROC曲线与AUC。

错误率e是指分类错误的样本数占总样本数的比例, 精度则为1-e, 该指标既适合二分类问题, 也适合多分类任务。

在实际的分类任务需求中, 混淆矩阵可以表示样本的真实结果与预测结果的4种情况:TP(真正例)、FP(假正例)、FN(假反例)、TN(真反例), 所以, 查准率P是指预测为真并且实际也为真的样本个数与预测为真的样本个数的比值, 即P=TP/(TP+FP), 查全率R是指预测为真并且实际也为真的样本个数与实际为真的样本个数的比值, 即R=TP/(TP+FN)。查准率P强调在已经预测为真的结果中, 预测正确的比例大小, 而查全率R则关注在所有为真的样本中, 被预测正确的样本所占的比例大小, 因此, 这两个评价指标一般为相互对立关系, 即查准率高时查全率通常比较低, 反之。

分别用查准率或查全率对模型的预测性能进行评价时会有片面性, 通过P-R曲线可以对模型进行更准确的度量, 如图 7(a)所示。P-R曲线是以查全率R为横轴, 查准率P为纵轴, 根据模型的预测结果对样本进行排序, 把最有可能是正样本的个体排在前面, 而后面的则是模型认为最不可能为正例的样本, 再按此顺序逐个把样本作为正例进行预测并计算出当前的查准率和查全率, 进而得到P-R曲线。度量模型时根据曲线是否覆盖进行判断(如图 7(a)中, B模型优于C模型); 根据平衡点进行判断, 该点的值越大, 则认为模型越优(如图 7(a)中, A模型优于B模型); 根据F1度量来进行判断, F1=2×P×R/(P+R), 该值越大越好, 是查准率和查全率的调和平均数。在不同的任务需求中, 对查准率和查全率的重视程度不同, F1度量的一般式为Fβ, Fβ可以表示对这两个指标的偏好。



图 7 P-R曲线与ROC曲线
Fig. 7 Curve of P-R and ROC ((a) curve of P-R; (b) curve of ROC)

ROC曲线称为受试者工作特征曲线, 如图 7(b)所示, 以假正例率FPR=FP/(FP+TN)为横轴, 真正例率TPR=TP/(TP+FN)为纵轴, 根据样本按照正例的可能性进行排序, 再按顺序逐个把样本预测为正例, 最后, 分别计算FPR值和TPR值, 获得ROC曲线。研究发现, 一个模型的ROC曲线越接近左上角, 则该模型越优, 其泛化能力越好。对于不同模型, 如果A模型的ROC曲线能够完全包住B模型的ROC曲线, 则A要优于B; 如果A与B两个模型的ROC曲线相交, 较合理的判断方法是比较ROC下方的面积, 面积越大, 模型的性能越优, 该面积称为AUC(area under ROC curve)。

在已有文献的研究中, 绘画图像分类的评价主要依据错误率与精度、查准率P与查全率R这两大指标, 大部分研究都取得了较好的分类结果, 西方绘画分类用精度或混淆矩阵进行分类评价, 而中国传统绘画的样本数据总数相对较少, 大多研究用查准率和查全率指标评价。此外, 中西方绘画的各个研究文献中, 所用的图像数据库不相同, 样本总数不相同, 因此, 准确评价分类模型的优劣还有待作进一步的研究。

3 绘画情感分析与思考

目前对图像情感的研究大多是对图片进行情感分析和分类[3], 而对绘画情感的分析较少, 绘画艺术可以反映客观社会生活及绘画者丰富的情感, 运用计算机智能化地分析绘画作品的思想情感, 有助于人类更好地了解各个时期的历史、文化。

绘画的组成能够激发赏析者的情感, 这些组成包括绘画的主题和表达风格, 如颜色、成分和纹理等特征。当前的研究大多是从绘画作品的颜色出发分析, Yanulevskaya等人[52]运用Lab颜色系统和尺度不变特征转换方法构建描述器, 用SVM分类的方法研究一幅绘画的情感。按照从正到负的7级评分法, 通过100个实验者给500幅抽象画打分, 进而训练分类器, 研究结果表明, 对一幅绘画的颜色的过早认知会影响由它所激发的绘画情感。

Kobayashi[53-54]研究了颜色激发的情感形容词, 从颜色的冷暖、软硬和灰度清晰3个心理学因子角度考虑, 运用3维空间量化评估情感的颜色图像比例图, 证明颜色与情感之间存在普遍联系, 颜色组合与情感单词在颜色图像比例图对应位置有等价意义, 但是, 作者只研究了2维颜色图像比例图上的900对三颜色组合与180个情感单词, 未考虑灰度清晰因素, 颜色图中可能的情感范围有局限性。

Nippon颜色与设计研究所(NCD)[13]对文献[54]Kobayashi的工作进行扩展, 在3维颜色比例图中构建了50对三颜色组合和情感单词的映射。基于文献[53-54]的研究, Dongwann等人[13]在3维颜色比例图中, 构建900个颜色组合与50个情感单词的配对, 并合并Kobayashi和NCD两个数据集, 获得950对的颜色组合与情感单词映射数据库, 他们提出一种新的基于颜色比例图提取绘画情感的方法, 对绘画图像生成其颜色谱图, 用双边滤波平滑和标准化方法消除影响谱分析的噪音, 通过在Lab颜色系统中用L2距离计算相似度, 搜索与之最匹配的颜色组合, 提取与颜色谱最相似的前10个最匹配的颜色组合对应的情感单词, 计算这10个情感单词在坐标图中的平均值, 将最接近平均值的情感单词作为该幅绘画作品的情感。作者还通过实验者对100幅绘画样本, 每幅作品100多个人的问卷打分方式, 以此作为参考标准, 对文中方法进行评估, 并且还将文中方法与NCD中的方法进行比较, 文献[13]的方法都获得了较好的效果。

Nascimento等人[55]通过绘画颜色分析赏析者的喜好, 用50位天真单纯的观察者, 对不熟悉的10幅绘画进行实验, 实验者能够旋转绘画的颜色色域范围, 然后选择一幅主观印象最好的, 实验结果表明, 艺术家熟悉匹配赏析者喜好的颜色成分, 并且绘画中较少的自然色彩不会限制绘画作品的美学价值。

Kerjtz等人[56]用香农熵定义了注视转移熵和稳定熵两个模型, 量化研究了个体观看印象派、文艺复兴派和包豪斯建筑学派风格绘画时的熵值, 通过分析每类风格的一幅代表绘画中不同感兴趣区域(规则的1×2和1×3区域)之间的眼动转移数据, 判断个体对绘画作品的熟悉度和好奇度。实验结果分析得出, 低转移熵和高稳定熵表明个体对观看的绘画作品有更大的好奇度和更高的主观审美倾向, 而高转移熵和高稳定熵是个体对观看的绘画熟悉和认识的象征。

当前的绘画情感研究工作中, 更多关注的是由颜色特征激发的绘画情感分析, 但是, 绘画的特征及传达的情感还与纹理、组成成分和绘画主题等等相关, 因此, 未来的研究中可以结合其他特征分析绘画情感, 构造新的绘画特征与情感单词数据库。此外, 研究更多的是西方绘画中蕴涵的情感, 对于中国传统绘画的情感分析很少, 中国绘画有其独特的绘画风格, 水墨画的笔触、用墨的浓淡、绘画中的留白和内容等等特征, 都能传达出不同画家所表达的思想情感, 运用图像特征提取方法, 结合认知和心理学知识可以实现中国水墨画情感的分析和提取。

4 结语

4.1 讨论总结

笔触、颜色、形状、纹理、留白等是绘画中非常重要的可视化特征, 绘画特征提取与分类方法研究可以帮助我们更好地识别绘画风格和绘画作者, 分析绘画语义, 进一步解析艺术家的思想情感, 理解绘画的创作意义, 提高艺术创作, 保护和传承艺术文化。

图像分类与情感分析是计算机视觉研究的关键, 可以帮助人类识别图像及目标, 分析图像语义等, 用计算机视觉技术分类中西方绘画作品和分析绘画情感具有重大的应用研究价值。本文分析了中西方绘画的特点, 概括了常用绘画数据库和绘画分类的机器学习方法, 然后详细讨论了中西方绘画作品中笔触特征、颜色、纹理、形状等特征提取及分类方法的研究进展, 最后, 主要从颜色特征方面出发, 对绘画情感分析研究的现状进行总结和思考, 为中国传统水墨画情感研究提供了进一步的思路, 这对于中国传统文化的深度解析可以起到积极地指导作用。

4.2 存在问题与探讨分析

目前对绘画图像的研究中, 主要是绘图图像的分类和绘画情感分析, 并且绘画图像分类研究结果较好, 但是, 在绘画分类中也存在需要进一步解决的问题。

1) 绘画图像数据比较庞大, 研究文献中使用的绘画图像数据库及数据库大小各不相同, 目前公开的绘画图像数据库比较少, 特别是中国传统绘画数据库, 几乎没有公开的数据库, 各研究文献中所用数据库样本也比较少, 因此, 仅仅依据分类识别率不能充分评价图像分类模型的优劣。未来的研究中, 需要从多方面采集更多传统的有代表性的中国绘画, 进一步分类地构建中国传统绘画图像数据库。

2) 西方绘画分类的主要依据是绘画风格, 基于绘画主题或是绘画作者的分类很少, 对于绘画作者的研究中, 以梵高的绘画作品研究最多, 未来研究中, 分析其他有代表性的绘画作者, 提取其绘画特征, 以绘画作者分类西方绘画作品, 深入了解西方绘画中的文化元素和绘画情感。

3) 中国传统水墨画分类多以作者进行分类, 基于绘画主题的分类也较少, 由于绘画数据库较小, 大部分研究采用支持向量机分类, 因此, 对水墨画特征的选择至关重要, 未来在数据库比较大的情况下, 深度学习方法可以进行更好地自适应分类。

另外, 中国传统水墨画中也蕴涵了绘画者的丰富情感, 当前这一方面的研究非常少, 下一步的研究工作可以从中国传统绘画独有的留白和笔触特征出发, 运用学科交叉分析, 结合美学和认知心理学知识, 分析和研究不同画家及不同主题的水墨画作品的情感。

参考文献

  • [1] Fang L Y. Digital imaging technology used in the research and thinking of contemporary printmaking[D]. Chongqing: Sichuan Fine Arts Institute, 2013. [房丽媛. 数码图像技术应用于当代版画创作的研究及思考[D]. 重庆: 四川美术学院, 2013.]
  • [2] Wang J. Research on image classification algorithm based on color feature[D]. Dalian: Dalian Maritime University, 2008. [王静. 基于颜色特征的图像分类算法研究[D]. 大连: 大连海事大学, 2008.]
  • [3] Lyu P X. Research on image emotion categorization[D]. Qinhuangdao: Yanshan University, 2014. [吕鹏霄. 图像情感分类研究[D]. 秦皇岛: 燕山大学, 2014.]
  • [4] Yang B. Research on painting image classification based on aesthetic style[D]. Hangzhou: Zhejiang University, 2013. [杨冰. 基于艺术风格的绘画图像分类研究[D]. 杭州: 浙江大学, 2013.]
  • [5] Sheng J C. Computerized learning and classification of traditional Chinese IWPs (Ink and Wash Paintings)[D]. Tianjin: Tianjin University, 2013. [盛家川. 中国传统水墨画的计算机分类与算法研究[D]. 天津: 天津大学, 2013.]
  • [6] Shamir L, Macura T, Orlov N, et al. Impressionism, expressionism, surrealism:automated recognition of painters and schools of art[J]. ACM Transactions on Applied Perception, 2010, 7(2). [DOI:10.1145/1670671.1670672]
  • [7] Widjaja I, Leow W K, Wu F C. Identifying painters from color profiles of skin patches in painting images[C]//Proceedings of 2003 International Conference on Image Processing. Barcelona, Spain, 2003: I-845-8.[DOI:10.1109/ICIP.2003.1247095]
  • [8] Khan F S, Van De Weijer J, Vanrell M. Who painted this painting?[C]//Proceedings of the CREATE 2010 Conference, Massachusetts. USA, 2010: 329-333.
  • [9] Gunsel B, Sariel S, Icoglu O. Content-based access to art paintings[C]//Proceedings of 2005 International Conference on Image Processing. Genova, Italy: IEEE, 2005: Ⅱ-558-61.[DOI:10.1109/ICIP.2005.1530116]
  • [10] Zujovic J, Gandy L, Friedman S, et al. Classifying paintings by artistic genre: an analysis of features & classifiers[C]//Proceedings of 2009 IEEE International Workshop on Multimedia Signal Processing. Rio De Janeiro, Brazil: IEEE, 2009: 1-5.[DOI: 10.1109/MMSP.2009.5293271]
  • [11] Arora R S, Elgammal A. Towards automated classification of fine-art painting style: a comparative study[C]//Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, Japan: IEEE, 2012: 3541-3544.
  • [12] Li J, Wang J Z. Studying digital imagery of ancient paintings by mixtures of stochastic models[J]. IEEE Transactions on Image Processing, 2004, 13(3): 340–353. [DOI:10.1109/TIP.2003.821349]
  • [13] Kang D, Shim H, Yoon K. A method for extracting emotion using colors comprise the painting image[J]. Multimedia Tools and Applications, 2018, 77(4): 4985–5002. [DOI:10.1007/s11042-017-4667-0]
  • [14] Shi R L. The thinking of differences between Chinese and Western painting[J]. Journal of Jilin Radio and TV University, 2007(5): 88–90, 104. [史荣利. 中西方绘画的差异思考[J]. 吉林广播电视大学学报, 2007(5): 88–90, 104. ] [DOI:10.3969/j.issn.1008-7508.2007.05.029]
  • [15] Fan Z B, Li Y N, Yu J H, et al. Visual complexity of Chinese ink paintings[C]//Proceedings of ACM Symposium on Applied Perception. Cottbus, Germany: ACM, 2017: #9.[DOI: 10.1145/3119881.3119883]
  • [16] Florea C, Condorovici R, Vertan C, et al. Pandora: description of a painting database for art movement recognition with baselines and perspectives[C]//Proceedings of the 24th European Signal Processing Conference. Budapest, Hungary: IEEE, 2016: 918-922.[DOI：10.1109/EUSIPCO.2016.7760382]
  • [17] Florea C, Toca C, Gieseke F. Artistic movement recognition by boosted fusion of color structure and topographic description[C]//Proceedings of 17th IEEE Winter Conference on Applications of Computer Vision. Santa Rosa, CA, USA: IEEE, 2017: 569-577.[DOI: 10.1109/WACV.2017.69]
  • [18] Condorovici R G, Florea C, Vrnceanu R, et al. Perceptually-inspired artistic genre identification system in digitized painting collections[C]//Proceedings of the 18th Scandinavian Conference on Image Analysis. Espoo, Finland: Springer, 2013: 687-696.[DOI: 10.1007/978-3-642-38886-6_64]
  • [19] Van Noord N, Postma E. Learning scale-variant and scale-invariant features for deep image classification[J]. Pattern Recognition, 2017, 61: 583–592. [DOI:10.1016/j.patcog.2016.06.005]
  • [20] Sheng J C, Jiang J M. Recognition of Chinese artists via windowed and entropy balanced fusion in classification of their authored ink and wash paintings (IWPs)[J]. Pattern Recognition, 2014, 47(2): 612–622. [DOI:10.1016/j.patcog.2013.08.017]
  • [21] Sun M J, Zhang D, Wang Z, et al. Monte Carlo Convex Hull model for classification of traditional Chinese paintings[J]. Neurocomputing, 2016, 171: 788–797. [DOI:10.1016/j.neucom.2015.08.013]
  • [22] Yang B, Xu D Q. Color boosted visual saliency detection and its application to image classification[J]. Multimedia Tools and Application, 2014, 69(3): 877–896. [DOI:10.1007/s11042-012-1148-3]
  • [23] Yang B, Xu D Q, Tang D W, et al. Aesthetic visual style assessment on Dunhuang murals[J]. Journal of Shanghai Jiaotong University (Science), 2014, 19(1): 28–34. [DOI:10.1007/s12204-014-1473-y]
  • [24] Johnson C R, Hendriks E, Berezhnoy I J, et al. Image processing for artist identification[J]. IEEE Signal Processing Magazine, 2008, 25(4): 37–48. [DOI:10.1109/MSP.2008.923513]
  • [25] Shahram M, Stork D G, Donoho D. Recovering layers of brush strokes through statistical analysis of color and shape: an application to van Gogh's Self portrait with grey felt hat[C]//Proceeding of the SPIE 6180, Computer Image Analysis in the Study of Art. San Jose, California, United States: SPIE, 2008: #68100D.[DOI：10.1117/12.765773]
  • [26] Li J, Yao L, Hendriks E, et al. Rhythmic brushstrokes distinguish van Gogh from his contemporaries:findings via automated brushstroke extraction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(6): 1159–1176. [DOI:10.1109/TPAMI.2011.203]
  • [27] Meer P, Georgescu B. Edge detection with embedded confidence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(12): 1351–1365. [DOI:10.1109/34.977560]
  • [28] Jiang S Q, Huang Q M, Ye Q X, et al. An effective method to detect and categorize digitized traditional Chinese paintings[J]. Pattern Recognition Letters, 2006, 27(7): 734–746. [DOI:10.1016/j.patrec.2005.10.017]
  • [29] Cristianini N, Shawe-Taylor J. An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods[M]. Cambridge: Cambridge University Press, 2000.
  • [30] Niu X X, Suen C Y. A novel hybrid CNN-SVM classifier for recognizing handwritten digits[J]. Pattern Recognition, 2012, 45(4): 1318–1325. [DOI:10.1016/j.patcog.2011.09.021]
  • [31] Bucak S S, Jin R, Jain K A. Multiple kernel learning for visual object recognition:a review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(7): 1354–1369. [DOI:10.1109/TPAMI.2013.212]
  • [32] Liu J, Ji S W, Ye J P. SLEP: sparse learning with efficient projections version 4. 1[EB/OL]. (2011-12-28)[2014-09-24]. http://yelab.net/software/SLEP/manual.pdf.
  • [33] Shotton J, Johnson M, Cipolla R. Semantic texton forests for image categorization and segmentation[C]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska, USA: IEEE, 2008: 1-8.[DOI：10.1109/CVPR.2008.4587503]
  • [34] Gilchrist A, Kossyfidis C, Bonato F, et al. An anchoring theory of lightness perception[J]. Psychological Review, 1999, 106(4): 795–834. [DOI:10.1037/0033-295X.106.4.795]
  • [35] Kumar P, Yildirim E A. Minimum-volume enclosing ellipsoids and core sets[J]. Journal of Optimization Theory and Applications, 2005, 126(1): 1–21. [DOI:10.1007/s10957-005-2653-6]
  • [36] Grigorescu S E, Petkov N, Kruizinga P. Comparison of texture features based on Gabor filters[J]. IEEE Transactions on Image Processing, 2002, 11(10): 1160–1167. [DOI:10.1109/TIP.2002.804262]
  • [37] Condorovici R G, Florea C, Vertan C. Automatically classifying paintings with perceptual inspired descriptors[J]. Journal of Visual Communication and Image Representation, 2015, 26: 222–230. [DOI:10.1016/j.jvcir.2014.11.016]
  • [38] Khan R, Van De Weijer J, Khan F S, et al. Discriminative color descriptors[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, Oregon, USA: IEEE, 2013: 2866-2873.[DOI：10.1109/CVPR.2013.369]
  • [39] Manjunath B S, Ohm J R, Vasudevan V V, et al. Color and texture descriptors[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(6): 703–715. [DOI:10.1109/76.927424]
  • [40] Sheng J C. Automatic categorization of traditional Chinese paintings based on wavelet transform[J]. Computer Science, 2014, 41(2): 317–319. [盛家川. 基于小波变换的国画特征提取及分类[J]. 计算机科学, 2014, 41(2): 317–319. ] [DOI:10.3969/j.issn.1002-137X.2014.02.069]
  • [41] Yang B, Xu D Q, Yang X, et al. Painting image classification based on aesthetic style similarity rule[J]. Journal of Zhejiang University:Engineering Science, 2013, 47(8): 1486–1492. [杨冰, 许端清, 杨鑫, 等. 基于艺术风格相似性规则的绘画图像分类[J]. 浙江大学学报:工学版, 2013, 47(8): 1486–1492. ] [DOI:10.3785/j.issn.1008-973X.2013.08.024]
  • [42] Gehler P, Nowozin S. On feature combination for multiclass object classification[C]//Proceedings of the 12th IEEE International Conference on Computer Vision. Kyoto, Japan: IEEE, 2009: 221-228.[DOI：10.1109/ICCV.2009.5459169]
  • [43] Zou Q, Cao Y, Li Q Q, et al. Chronological classification of ancient paintings using appearance and shape features[J]. Pattern Recognition Letters, 2014, 49: 146–154. [DOI:10.1016/j.patrec.2014.07.002]
  • [44] Vedaldi A, Fulkerson B. VLFeat: an open and portable library of computer vision algorithms[EB/OL]. [2010-10-25]. http://www.vlfeat.org/.
  • [45] Hinton G E, Osindero S, Teh Y M. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527–1554. [DOI:10.1162/neco.2006.18.7.1527]
  • [46] Ferrari V, Fevrier L, Jurie F, et al. Groups of adjacent contour segments for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(1): 36–51. [DOI:10.1109/TPAMI.2007.1144]
  • [47] Fan Z B, Sam Zheng X, Zhang K. Computational analysis and eye movement experiments of white space in Chinese paintings[C]//Proceedings of 2015 IEEE International Conference on Progress in Informatics and Computing. Nanjing, China: IEEE, 2015: 301-306.[DOI：10.1109/PIC.2015.7489858]
  • [48] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254–1259. [DOI:10.1109/34.730558]
  • [49] Wu R, Yan S G, Shan Y, et al. Deep image:scaling up image recognition[J]. Computer Science, 2015.
  • [50] Ciregan D, Meier U, Schmidhuber J. Multi-column deep neural networks for image classification[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2012: 3642-3649.[DOI：10.1109/CVPR.2012.6248110]
  • [51] Zhou Z H. Machine Learning[M]. Beijing: Tsinghua University Press, 2016: 24-35. [ 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 24-35.]
  • [52] Yanulevskaya V, Uijlings J, Bruni E, et al. In the eye of the beholder: employing statistical analysis and eye tracking for analyzing abstract paintings[C]//Proceedings of the 20th ACM international conference on multimedia. Nara, Japan: ACM, 2012: 349-358.[DOI：10.1145/2393347.2393399]
  • [53] Kobayashi S. The aim and method of the color image scale[J]. Color Research Application, 1981, 6(2): 93–107. [DOI:10.1002/col.5080060210]
  • [54] Kobayashi S. Color Image Scale[M]. Tokyo: Kodansha International, 1991.
  • [55] Nascimento S M C, Linhares J M M, Montagner C, et al. The colors of paintings and viewers' preferences[J]. Vision Research, 2017, 130: 76–84. [DOI:10.1016/j.visres.2016.11.006]
  • [56] Krejtz K, Duchowski A, Szmidt T, et al. Gaze transition entropy[J]. ACM Transactions on Applied Perception, 2015, 13(1). [DOI:10.1145/2834121]
  • [57] Bao H, Liang Y, Liu H Z, et al. A dataset for research of traditional Chinese painting and calligraphy images[C]//Proceedings of the 2nd International Conference on Information and Multimedia Technology. Singapore: IACSIT Press, 2010: 136-143.[DOI：10.7763/IPCSIT.2012.V42.20]
  • [58] Sheng J C. An effective approach to identify digitized IWPs (Ink and Wash Paintings)[C]//Proceedings of the 5th International Congress on Image and Signal Processing, Chongqing, China: IEEE, 2012: 407-410.[DOI：10.1109/CISP.2012.6469719]