0引言视觉认知心理学的研究范围涉及与视觉信息有关的注意、思维、知觉、信息加工、审美偏好等方面。艺术作品的视觉认知主要研究艺术审美与视觉表象，其中，审美过程主要涉及信息的提取与决策[1]。绘画作为一种表现情感的艺术作品，画家通过对主题的理解和艺术形象的塑造，采用绘画语言把内心情感体现在绘画上，传递给他人。然而，画家情感的传达还受观众审美能力及其综合素养的影响和制约。人们的审美观和鉴赏能力对绘画的评价有直接影响。随着数字化技术和网络的发展及广泛应用，人们可以通过互联网获取数字化绘画，因此大批量绘画图像获取己成为现实，这也使得大规模的绘画研究成为可能。基于数字绘画图像中包含的特性和表现出的艺术形式，研究者们运用多种先进技术对其进行研究，比如眼动跟踪、机器学习、大数据和计算机视觉等。这些研究方法已经在数字图像处理、情感计算和计算机视觉领域中广泛使用。目前研究成果表明[2-30]，运用各种美学研究方法，能够从绘画中提取绘画图像有效信息，对绘画进行审美偏好、复杂度和情感等方面的研究，从而实现对绘画的视觉感知和美学评价，绘画图像美学研究基本框图如图 1所示。整体框架如图 2所示。 图1 绘画图像美学研究基本框图 The study scheme of the painting aestheticsFig 1 图2 本文整体框架 The scheme of the paperFig 21中西方绘画特点和数据集1.1中西方绘画特征分析中西方绘画美学特征不同的根源在于文化背景和思维方式的差异。中国绘画作品的表达主要以含蓄、简洁和委婉为主，注重表现与写意; 而西方绘画作品则以比较直接和直观的绘画手法为主，注重再现与写实。这就决定了中西方绘画表现手法的不同。然而，绘画作为人类情感和艺术表现的一种形式，两者都蕴含着画家对现实世界丰富的真实情感。中国绘画以花鸟、人物、山水为主，分工笔和写意两种表现手法，体现中华民族传统的哲学理念和审美观。绘画风格主要包括两大类：水墨画和壁画。水墨画的风格主要体现为画家的绘画风格，著名的水墨画家有:刘旦宅、吴昌硕、齐白石、徐悲鸿、黄公望、郑板桥和吴冠中等，如图 3(a)所示; 而壁画研究的代表为中国敦煌莫高窟壁画，是一种中国式佛教艺术，具有风格鲜明、内容丰富和形式多样等特点，是人们对美好愿望的集中体现，如图 3(b)所示。 图3 中国绘画作品 Chinese paintingsFig 3((a) ink paintings; (b) Dunhuang murals) 西方绘画大多以人物肖像、宗教画为表现形式，体现出西方人的自主意识和自我价值。绘画风格包括文艺复兴风格、浪漫主义风格、抽象派、印象派等，如图 4所示。 图4 西方绘画作品 Western paintingsFig 41.2绘画图像数据集由于中西方绘画作品特点及风格的不同，研究人员采用多种不同的美学方法，从主观与客观两个方面对绘画图像的美学特性进行了广泛且有针对性的研究，而且也取得了非常好的成效。本文对当前绘画图像美学研究中常用的图像数据集进行了总结，如表 1所示。 表1 绘画图像数据集 类别 绘画图像数据集 简介 来源 西方绘画集 WikiArt[2, 31-34] Wiki Art是一个包含世界各地视觉艺术的艺术百科网站, 该网站意境拥有2.5万位艺术家的15万件作品, 以5种语言来展示。可以按照绘画的作者和风格进行快速检索，并且免费下载。 http://www.wikiart.org Jenaesthetics subjective dataset[3-6, 35] 包含410位画家的1 629幅高质量的西方油画, 这些图片由Wikimedia Commons网页上的艺术博物馆提供。该数据集包括从文艺复兴时期到表现主义时期的传统作品。这些画描绘了各种题材(包括风景、肖像、静物和裸体等)。 http://www.inf-cv.unijena.de/en/jenaesthetics Machajdik创建[8-12] 包括艺术照(807张)和抽象绘画(228张), 所有图片的所属标注都使用8种基本情感，而且图像仅包含颜色和纹理信息, 没有具体的内容信息, 是一个用于情感分类的图像数据集。 http://www.imageemotion.org Web gallery of art[13] 包含8—19世纪绘画作品的虚拟博物馆和可搜索的欧洲美术馆, 该数据库有4 000多位艺术家创作的超过34 000件艺术品, 可以免费下载, 并在统计网页上发布了虚拟馆藏的统计资料。 https://www.wga.hu/index1.html MART[14-17] 该数据集是从Museum of Modern and Contemporary Art of Trento and Rovereto的电子档案中收集到的, 这些艺术品是由意大利、欧洲和美国艺术家在1913—2008年间创作的。 http://disi.unitn.it/~yanulevskaya/mart.html DeviantArt[14, 16-17] DeviantArt是最大的致力于用户生成艺术的在线社交网络, 拥有超过2亿8 000万件艺术品和3 000万注册用户。包括传统艺术、绘画、抽象类的艺术品。 http://www.deviantart.com/ Artyfactory[18] 该网站主要功能包括：1)绘画赏析：鉴赏不同风格、运动、艺术时期等的绘画作品。2)绘画学习：提高用户绘画技能，提升用户艺术内涵; 3)绘画创作：学习绘画创作所需的基本要素，如结构、颜色和纹理等，以及评估这些元素对绘画创作的影响。 http://www.artyfactory.com TICC Printmaking Dataset[19] 该数据集包含58 630幅印刷艺术画的数字化图片, 是由210位艺术家创作的。该数据集中的所有绘画图像都是公开的。 https://auburn.uvt.nl/ 中国绘画集 中国水墨画 文献[20-21]的数据集中包含从元朝到现代时期的500幅水墨画图像, 这些作品由5位中国画家创作而得，每位画家有100幅, 这5位画家分别是刘旦宅、吴昌硕、郑板桥、黄公望、徐悲鸿；文献[36]的数据集中包含6位中国画家(黄胄、戴良文、石金库、黄宾虹、刘旦宅和齐白石)的180幅绘画作品, 该数据集不公开，需与相关文献作者联系。 — 中国敦煌壁画 文献[22-24]的数据集包含450幅敦煌壁画, 取自北周、唐、元3个朝代的各150幅; 文献[37]的数据集包含早期、发展期和成熟期3个时期的660幅敦煌莫高窟飞天壁画，每个时期各220幅。该数据集不公开，需与相关文献作者联系。 — Image databases of paintings in experimentsTable 1除表 1中提到的数据集，其他研究者[25-30, 38]也收集了他们自己的数据集。这些数据是通过扫描高质量的艺术书籍，或从博物馆订购数字样本，或使用他们自己的个人收藏来完成的。但是，由于版权限制，这些数据集没有被其他研究者使用，这使得不同的研究方法彼此无法比较。2绘画图像实验美学实验美学是实验心理学最古老的分支之一，它正式开始于费希纳在1871年出版的《实验美学论》[39]和1876年出版的《美学导论》[40]。实验美学的一个主要研究课题是研究艺术品的具体属性，能够深入了解审美感知是如何与人类视觉联系在一起的，并有助于了解人类如何感知世界。在绘画图像实验美学研究中，研究人员为了得到定量的评价结果，需要设计美学实验，主要包括3个步骤:1)准备绘画图像样本集; 2)由受试者对绘画图像进行观察与评价; 3)对实验结果进行分析研究。目前，实验美学的研究方法主要有问卷调查方法和眼动方法。在实验中，为了能够得到更准确的结果，研究者常采用两者相结合的方法。表 2为2009—2018年公开发表的有关绘画实验美学主要文献汇总。 表2 2009—2018年公开发表的主要文献汇总(实验审美) 绘画图像集 文献 调查问卷 眼动实验 图像数量/幅 实验人数 评分因素 审美等级量化 图像数量 实验人数 眼动指标 中国绘画集 吕晓川(2014)[47] 8 15(9名男性) 审美吸引力(10对形容词) 7级(-3~3) 8 15 注视时间和注视次数 张佳婧(2016)[41] 60 30(15名男性; 年龄:18~27) 整体审美、颜色、构图和纹理 5级(1~5) 无 Fam (2017)[48] (2016)[49] 14 18(10名男性) 审美吸引力、刺激性、复杂度、同一性 7级(1~7) 14 18 热点图和眼动轨迹 Fan (2017)[2] 40 97 复杂度 7级(1~7) 无 西方绘画集 Wallraven (2009)[50] 275 20 复杂度和审美吸引力 5级(1~5) 275 20 注视时间、注视次数和热点图 Li(2009)[28] 100 42(年龄: 21~37) 复杂度(总体、颜色、结构、纹理) 5级(1~5) 无 Yanulevskaya (2012)[15] 500 100(26名男性; 年龄:18~65) 积极/消极 7级(1~7) 110 9 注视时间和注视位置 Guo(2013)[42] 50 32 复杂度 7级(1~7) 无 Amirshahi (2014)[4] 1 628 134 7个属性(美学、漂亮、颜色、内容、构图、作者、熟悉) “no”、“yes” (0~1) 无 Mallon (2014)[29] 150 50(13名男性; 年龄:19~44) 审美吸引力 4级(1~4) 无 Krejtz (2015)[51] 3 49(31名男性; 平均年龄: 24.47) 好奇心和熟悉度 5级(1~5) 3 49 注视轨迹 Park (2015)[52] 20 116 (51名男性; 平均年龄24.26±2.79) 审美吸引力 10级(0~9) 16 16(8名男性; 平均年龄: 23.84± 2.17) 注视时间 Amirshahi (2016)[35] 281 49(13名男性; 年龄:19~44) 审美吸引力 4级(1~4) 无 Pasupa (2016)[12] 无 100 20(10名男性，年龄:18~22) 注视区域 Kang(2018)[44] 100 100 冷暖、软硬和亮暗 7级(-3~3) 无 The summaried literatures that are published among 2009—2018(experimental aesthetics)Table 22.1问卷调查法语义差别法是实现问卷调查的主要手段，是一种重要的心理学研究方法，又称SD法，是上世纪50年代，由美国心理学家C.E.奥斯古德提出的。他指出，人类对词汇或概念的理解不因文化或语言的差异有所不同，而具有共同的情感意义。在社会学和心理学研究中，语义差别量表广泛用于审美、个体和群体间差异，以及人们对周围环境或事物的态度或看法等研究中。这种方法是一种主观评价方法，易于实现，极为灵活，并且便于使用和记分。在绘画图像美学研究中，李克特量表(Likert scale)(https://baike.baidu.com/item/%E6%9D%8E%E5%85%8B%E7%89%B9%E9%87%8F%E8%A1%A8/2282414?fr=aladdin.2019)是语义划分的一种重要测量工具，是一次性集中测试受试者对某幅绘画图像的美学感知的测量手段。该量表通常由一组与绘画图像美学相关的属性组成(例如：复杂性、颜色和情感等)，每一个属性可以有不同的划分等级(例如:“非常复杂，很复杂，一般复杂，不复杂，特别不复杂”，分别记为“1，2，3，4，5”)，即5级李克特量表(5-point Likert scale)，也可以是7级量表或9级量表等。研究者根据评分结果可以了解人类对绘画图像的主观审美感受。本小节分别描述了问卷调查法在中国绘画图像数据集和西方绘画图像数据集上的应用。 2.1.1中国绘画图像数据集张佳婧等人[41]从“谷歌图像搜索”中收集60幅齐白石水墨画作品，邀请30名学生实验，采用5级量表(1—5)对所有绘画图像进行美学评分，评分系统界面如图 5所示。评价属性分别为:“整体审美”、“颜色”、“构图”和“纹理”。实验结果为后面的分类算法提供了数据支持。 图5 文献[41]中的评分系统界面 Scoring system interface in reference [41]Fig 5Fan等人[2]研究中国水墨画的复杂度及其影响因素。实验选取40幅吴冠中的水墨画作为样本，其中抽象画26幅，具象画14幅。邀请97名受试者采用7级量表(1—7)对所有水墨画图像进行复杂度评分，评分结果显示除了1幅具象画(桥梁)外，其余所有具象画的评分都比抽象画低。2.1.2西方绘画图像数据集Li等人[28]招募42名受试者对100幅绘画图像进行1—5级美学评分。评分结果为视觉复杂度分类算法提供数据支持。Guo等人[42]设计了两个实验，第1个实验旨在评估绘画图像的视觉复杂度。实验中，受试者按照1—7级对绘画图像进行复杂度评分，并定义“3”和“5”作为标记图像的阈值。如果得分低于3，则绘画图像被标记为LC(low complexity); 大于或等于5被标记为HC(high complexity); 介于二者之间的被标记为MC(middle complexity)。标记结果如图 6所示。第2个实验的目的是识别影响人类视觉复杂度的因素。受试者从问卷提供的8个因素中，选择他们认为影响绘画图像复杂性的因素。结果表明，“成分分布”、“颜色”和“内容”3个因素对受试者的复杂性评估有重要影响。Amirshahi等人[6]的研究中，所有受试者在实验前需要使用Ishihara color test[43]进行色盲测试，分析中排除色盲受试者的数据。受试者被要求使用位于屏幕底部的滑动条对图像的7个属性进行评级。统计分析结果表明，评估的属性之间是彼此高度相关的。 图6 文献[42]中被标记不同复杂度的绘画图像 Paintings that are labeled in reference [42]((a) low complexity; (b) middle complexity; (c) high complexity)Fig 6Mallon等人[29]研究受试者对抽象绘画图像审美感知的变化。受试者在接触被评价为不美的绘画图像后，对抽象画的审美感知会增加，而在接触被评价为更美的绘画图像之后，对抽象画的审美感知减少。实验结果还表明颜色对抽象艺术品的美学鉴赏有一定影响。Amirshahi等人[35]对西方油画进行了美学评价。实验中，受试者对36名不同艺术家的高质量的彩色绘画图像进行审美评分，然后统计每幅绘画图像的平均分，最后根据评分将这些图像分为两类(高美学和低美学)。Kang等人[44]通过颜色组成提取绘画图像中的情感，构造颜色组合和情感词数据集，为之后的计算美学提供数据支持。Nascimento等人[45]使用颜色特征作为分析受试者对绘画偏好的指标。受试者在旋转绘画图像的颜色色域的过程中，选择一幅主观认为最好的。实验结果表明，绘画的美学价值不会受到自然色彩数量的限制，并且也反映出艺术家对大众喜好的色彩构成的了解。2.2眼动方法眼动方法[46]在视觉心理学中的应用由来已久，近几年，国内外学者又将眼动引入到视觉心理学中，进一步考察视觉认知过程中的眼动特点。眼动可以反映视觉信息的选择模式，对揭示认知加工机制有重要的意义。眼动仪是眼动研究中常使用的重要设备，通过它，研究者可以在受试者观看视觉信息的过程中获得即时数据，便于探究受试者在视觉加工过程中的诸多认知特征。与其他心理学研究方法相比，眼动方法更加客观、自然且干扰较小。本小节分别描述了眼动法在中国绘画图像数据集和西方绘画图像数据集上的应用。目前主要的眼动可视化工具包括BeGaze，TobiiStudio和GazrTracker等。这些工具能导入眼动数据文件，生成热点图、注视轨迹图等可视化结果，支持视频回放，兴趣区(AOI)选取和数据统计等功能，还能将可视化结果以图片的形式保存，能有效提高数据可视化的效率和质量。在眼动研究中，常用的统计指标包括：1) 注视点。当人眼在观看某一物体时，通过眼球对焦和定位后，目光在物体上集中的点。2) 兴趣区域。注视点在物体上表现出的比较集中的区域。3) 注视持续时间。在兴趣区域经过大量的实验后，某个区域中累计的注视时间，而且注视时间越长，表明目标越吸引人。4) 注视点数量。注视点数量越多，表示眼睛搜索效率越低。5) 兴趣区域的注视次数。兴趣区域的注视次数越多，表明该区域更能引起观察者的注意。6) 兴趣区域的注视时间。兴趣区域注视时间的长短体现了观察者对该区域的关注与重视程度。7) 兴趣区域的首次注视时间。目标的首次注视时间，反映了观察者对目标的注意力。2.2.1中国绘画图像数据集吕晓川[47]定义了10对正反两义形容词，使用7级语义差异量表来量化受试者的审美偏好。受试者评级的同时跟踪其眼动轨迹，将每幅绘画图像中的“小鸡”、“小孩”和“女人”做为AOI，并运用统计学方法分析ROI中眼动数据的差异。结果表明，绘画图像中对象的位置是影响受试者眼动的重要因素; 受试者对绘画图像中人物社会关系的无意识判断会影响他们审美时的眼动; 相关性分析证明了受试者的眼动与其心理活动密切相关。Fan等人[48]探讨了中国传统绘画图像中留白对绘画图像感知的影响。实验选取7对水墨画和油画作品，相似的场景分别用油画和带有留白的水墨画进行描绘，如图 7所示。实验结果表明，留白不仅仅是一个无声的背景，它被画家有意设计来传达一定的信息，并会对观众审美体验产生显著影响。结果还发现，当不同类型的绘画图像包含相似或相同的场景时，使用留白的水墨画在构图上更简单，结果更具吸引力。Fan等人[49]进一步研究受试者观看绘画图像的眼动轨迹和热点图(如图 8所示)。结果发现，受试者比较关注的区域有：河流的边缘(留白)、空白的地面(留白)和墙壁周围(留白)。此外，留白的大小在是否吸引观众注意力方面也起到了一定作用。例如，雪山上的雪或玉龙山下的小屋等都采用留白来表现，但是这些大片的白色空间可能不会吸引观众的注意力。 图7 文献[48]中绘画图像 Paintings in reference [48]Fig 7((a)ink painting; (b)oil painting) 图8 文献[49]中眼动图 Result diagram of eye movement in reference [49] Fig 8((a)eye movement trajectory; (b) heat map) 2.2.2西方绘画图像数据集Wallraven等人[50]评价了绘画图像的视觉复杂度和审美吸引力。基于信息理论对评分结果进行统计分析，基于显著模型对眼动数据进行统计分析。结果发现，受试者对不同时期的绘画图像产生不同的注视模式，而且对古典和现实主义绘画图像比20世纪的现代艺术有更高的审美偏好。Yanulevskaya等人[15]研究绘画图像的情感以及影响情感产生的因素。所有受试者被提示如下：“根据你的直觉和第一印象对所有显示的绘画图像进行打分”。根据1—7级的李克特量表给出判断，然后计算每幅画的所有可用分数的平均值，并定义平均分低于或等于4为negative(消极)，平均分高于4为positive(积极)。从已经评分的绘画图像中取出110幅进行眼动跟踪实验，通过注视时间和注视位置两个眼动指标，并结合反向映射(backprojections)算法进行分析。结果表明，暗淡的颜色和粗糙的纹理能够激发人类的消极情绪; 明亮的颜色和垂直光滑的曲线能够激发人类的积极情绪; 人类对绘画图像中积极的部分有明显的审美偏好。Krejtz等人[51]用香农熵定义了注视转移熵和稳定熵两个模型，分析受试者对绘画图像的好奇度和熟悉度。实验结果表明，高稳定熵和高转移熵反映出受试者对绘画图像的熟悉程度；而高稳定熵和低转移熵则反映出受试者对绘画图像有更高的主观审美偏好和更大的好奇度。Park等人[52]设置了5个不同的绘画图像相关信息:“艺术家基本信息”、“标题”、“艺术家的评论”、“评论家的评论”和“拍卖价格”。受试者在观看以上信息前后分别对绘画图像做出审美评价，结果发现艺术家和评论家的评论显著提高了受试者的主观审美。与此同时，采集受试者的眼动数据，通过比较同一欣赏时间(8 s)内每个受试者的眼动注视时间。研究者发现评论家的评论将观众的注意力引向与所呈现的评论高度相关的方向，并且当观众重新评价一幅画时，至少有两种不同的认知机制可能参与了审美判断。Pasupa等人[12]通过使用眼动数据和低级别图像特征(如颜色、形状和纹理)，利用高斯函数对原始图像进行处理，以此来预测受试者对抽象画的情绪感知(高兴、悲伤、愤怒和恐惧)。实验结果发现，与单独使用图像特征相比，使用眼动信息和图像特征能得到更准确的预测结果。综上所述，问卷调查法是一种主观评价方法，易于实现，极为灵活，并且便于使用和记分。眼动方法与问卷调查法相比，更加客观、自然且干扰较小。两者各有其优势，因此，从表 2汇总的文献中能够发现，在实验美学研究中，研究者通常会将问卷调查法和眼动方法进行结合，这样既能体现受试者主观意识的表达，也能通过相对客观的眼动数据表征受试者的审美感知。3绘画图像计算美学目前，在大多数研究中[7, 53]，有关美学与感知评估的探讨除了借助于调查问卷和眼动方法外，通常还借助于计算机可视化特征，采用计算机视觉和机器学习等方法实现美学的自动评判，即计算美学。Hoenig[54]给出了计算美学的定义，“能够以与人类类似的方式做出可应用的美学决策的计算方法研究”。与实验美学中相对主观的分析相比，绘画图像的计算美学本质上是客观的，可以避免主观意志的影响，并且能大量分析绘画图像中的细节特征。计算美学的研究主要是对图像的复杂度(复杂/不复杂)、质量(高质量/低质量)、视觉偏好(美/不美)等的评价。然而，Brachmann等人[55]指出“计算美学还有另一个趋势，它更倾向于关注艺术品而不是摄影图片，也就是说，绘画图像美学不仅从主观审美角度分析，还可以根据绘画的作者或艺术风格等方面进行分类研究”。因此，本文不仅对绘画图像的复杂度、情感、视觉偏好进行了综述，还从绘画的作者、所属的绘画风格及创作时期等角度对绘画图像分类进行综述。为了实现绘画图像的计算美学研究，研究者主要基于图像的颜色、布局、形状、纹理和笔触等特征，同时采用多种应用广泛的分类算法，如决策树、支持向量机、贝叶斯和神经网络等。表 3对常用机器学习分类算法进行了归纳与总结。 表3 常用机器学习算法总结 算法 算法思想 优点 缺点 文献 朴素贝叶斯(naive Bayes) 利用贝叶斯公式计算出某样本先验概率的后验概率，也就是该样本属于某一类的概率，那么该对象的所属类就是后验概率最大的类。 对小规模的数据表现很好，适合多分类任务，适合增量式训练，算法也比较简单。 对数据稀疏问题过于敏感。 [56-58] 支持向量机(SVM) 如果训练样本线性可分，那么分割样本就可以采用一个或多个超平面; 如果训练样本非线性可分，就将线性不可分的样本点从低维特征空间转换到高维，然后再使用线性分割来实现分类。 在解决以下问题时有很好的优势：样本量少、样本维数高和样本数据线性不可分等。 对大规模训练样本难以实施; 解决多分类问题存在困难。 [14-15][17][24][34][36][42][57-69] K最近邻分类(KNN) 计算当前样本到所有已知类别样本的距离；按距离升序排序；选取前K个样本；统计这些样本的所属类别的个数；当前样本的所属类别即为统计个数最多的类别。 更适合于类域的交叉或重叠较多的待分样本集。该算法比较简单，容易理解和实现，特别适合多分类任务。 计算复杂性高; 空间复杂性高; 样本不平衡问题 [9][58][70] 随机森林(random forest) 用随机的方式建立多棵决策树，每棵树都是一个分类器，不同的树对同一个样本有不同的分类结果，综合这些结果，样本的最终类别即为统计次数最多的类别。 易于理解和解释; 对于不平衡数据集来说，随机森林可以平衡误差; 有很强的抗干扰能力。 对于小数据或者低维数据(特征较少的数据)，可能不能产生很好的分类。 [63][68][71] 回归模型 对统计关系进行定量描述的一种预测性模型，它表示自变量对因变量的影响程度。 在分析多因素模型时更加简单和方便；能够准确计算每个因子之间的相关程度与回归方程的拟合度，提高预测准确率。 回归方程中的因子选择只是一种推测，这就使得某些因子具有不可测性，回归分析受到影响。 [2][72] 隐马尔可夫模型(HMM) 该模型表现为一个马尔可夫过程，其中包含很多未知参数，然后通过观察已知参数推断出未知参数，最后在这些参数的基础上进行下一步研究。 对过程的状态预测效果良好。 只与每个状态和它对应的观察对象有关。 [73] 自适应增强(Adaboost) 是一种集成迭代的自适应增强算法，针对同一个样本集训练不同的弱分类器，再将上述训练得到的弱分类器组合成强分类器。 精度高；不容易发生过拟合；该算法提供的是框架，可以采用各种方法构建弱分类器。 难点在于如何选择独立的较弱的学习模型以及怎样把学习结果整合起来。 [74] 卷积神经网络(CNN) 是一种前馈人工神经网络。CNN由不同层次的堆栈组成，对样本进行分类。通常，CNN层包含卷积层、池化层和全连接层。卷积层使用滤波器与输入特性进行卷积。最大池的工作是向下采样输入，并且完全连接的层将前一层的所有神经元与其每个神经元连接起来。 共享卷积核，容易对高维数据处理; 良好的容错能力、并行处理能力、自学习能力和泛化能力。 需要调参，需要大样本量，训练最好要GPU。 [13][33][75][76] Summary of commonly used machine learning algorithmsTable 33.1绘画情感和复杂度分类目前，图像美学的研究大多是对图片进行质量、复杂度、情感或审美吸引力等的分类，而对绘画图像的分类较少，而且训练与测试的标签数据基本来源于实验美学的结果。然而，绘画艺术作品能够反映作者丰富的情感与当时的社会现状，运用先进的计算机智能技术可以有效地研究绘画图像的美学属性，进一步了解中西方不同时期的绘画特点与历史文化。表 4为2012—2018年公开发表的有关绘画图像情感和复杂度分类的主要文献汇总。 表4 2012—2018公开发表的主要文献汇总(绘画情感和复杂度分类) 分类角度 文献信息 绘画图像数量 特征 分类数量 分类算法 准确率 情感 Yanulevskaya(2012)[15] 500 LAB+SIFT 2(积极，消极) SVM 78.00% Sartori(2015)[77] 专业/非专业(500/500) LAB+SIFT、语义 2(积极，消极) SVM 78.3%/80.1% Sartori(2015)[14] 专业/非专业(500/500) LAB+SIFT 2(积极，消极) SVM 76.4%/77.2% Sartori(2015)[78] 500 perlinparameters 2(积极，消极) ELM 73% Sartori(2015)[16] 专业/非专业(500/500) 颜色 2(积极，消极) Sparse Group Lasso 75.1%/74.5% Alameda-Pineda(2016)[17] 500 颜色、CNN特征 2(积极，消极) SVM 69.38% Kang(2018)[44] 100 颜色 冷暖、软硬和亮暗 相似度 相对准确率 李博(2018)[9] 280 颜色、纹理 积极(娱乐、敬畏、满意、激动); 消极(生气、厌恶、害怕、悲伤) 加权K近邻 相对准确率 复杂度 Guo(2013)[42] 50 颜色、内容、布局 3(复杂度) SVM 88.13% Fan(2017)[2] 100 颜色、笔触、留白 2(复杂度) 回归模型 相关系数 Guo(2018)[71] 500 颜色、内容、布局 3(复杂度) 随机森林 86.7% The summaried literatures that are publiced among 2012—2018(emotion and complexity classification)Table 43.1.1绘画图像情感分类Andreza Sartori对抽象绘画图像情感分析进行了一系列研究。文献[15]在受试者对专业抽象绘画图像评分的基础上，使用LAB彩色模型和尺度不变特征变换(SIFT)特征，并采用SVM对绘画图像进行“积极/消极”分类。文献[14]在文献[15]的基础上，绘画图像数据集加入了业余抽象绘画图像，也得到了很好的分类效果。文献[77]在文献[14]的基础上，加入对绘画图像的语义描述作为特征。此外，文献[78]将纹理作为分类的基本特征，文献[16]将颜色作为分类基本特征，都取得了很好的分类效果。Alameda-Pineda等人[17]引入一个新的多标签传导分类器，称为非线性矩阵(NLMC)，结合理论基础模型，提出一种高效的优化求解器。大量实验结果显示，NLMC在抽象绘画图像情感识别中优于其他方法。Kang等人[44]提出了一种基于彩色图像尺度的绘画情感提取算法。通过彩色图像尺度数据集构造了一个颜色组合和情感词对数据集，然后使用Hue & Tone 130颜色系统对输入的绘画进行归一化，生成一个描述绘画的颜色及其比例的色谱。最后，从数据集中寻找颜色组合与色谱最相似的前10个颜色组合，如图 9所示，计算出它们坐标的平均值，绘画图像情感即为与该平均值距离最近的情感词。通过各种实验表明，该方法在预测绘画所引发的情感方面具有较好的性能。李博等人[9]提取图像颜色和纹理特征，采用加权K近邻算法对绘画图像情感离散概率分布进行预测，然后与数据集已知的情感分布进行比较。 图9 文献[45]中从绘画图像中提取前10个颜色组合和情感对的结果 Results of extraction of top 10 color combination and emotion pairs from the images of paintings in reference [45]Fig 93.1.2绘画图像复杂度分类Fan等人[2]研究了绘画图像的视觉复杂度，以笔触为基本特征，并采用吴冠中的绘画作品作为实验样本。将图像颜色空间由RGB转到HSV，分别设置色调(hue)、饱和度(saturation)和明度(value)的阈值，对整幅图像进行水平和垂直方向扫描，并统计某像素的邻域颜色变化大于阈值的次数。整幅图像的笔触厚度表示为统计值与图像像素总数的比值，将该比值作为评价绘画图像视觉复杂度的特征值。Guo等人[42]提出了一个评价绘画图像视觉复杂性的框架。该框架分别提取了绘画图像的全局和局部特征，提供了一种机器学习方案，用于研究人类视觉复杂度感知与低层图像之间的关系。在此基础上，文献[71]发现主观复杂度和客观复杂度之间具有较高的相关性。此外，还采用随机森林回归模型来预测绘画图像的其他特征。结果表明，该方法对Jen美学数据集[4]中涉及的绘画图像美学质量、美感和色彩喜好具有良好的评价能力。3.2绘画作者分类绘画作品是画家对其真实情感的表达，由于画家个性和爱好的差异，作画时笔墨表现事物的手法不同，不同画家会形成其特有的绘画风格与特点。本小节分别描述了在中国绘画图像数据集和西方绘画图像数据集上按绘画作者分类的研究现状。表 5为2002—2018年公开发表的按绘画图像作者分类的主要文献汇总。 表5 2002—2018年公开发表的主要文献汇总(按绘画作者分类) 绘画图像集 文献信息 绘画图像数量 特征 分类数量 分类算法 准确率/% 中国绘画集 Keren(2002)[56] 100 离散余弦变换(DCT) 5 Naive Bayes 86 Widjaja(2003)[59] 10 颜色、轮廓 4 SVM 85 Li(2004)[73] 136 小波变换 5 最大熵隐马尔可夫模型 62 Wang(2013)[61] 120 纹理、边缘尺寸直方图、Gabor小波 6 SVM 74.17 Sheng (2014)[21] 500 笔触 5 BP神经网络 88 Sun(2016)[36] 180 蒙特卡洛凸壳模型 6 SVM 95 李玉芝(2018)[62] 1 000 VGG-F模型 10 SVM 86 西方绘画集 Keren(2002)[56] 100 离散余弦变换(DCT) 5 Naive Bayes 86 Widjaja(2003)[59] 10 颜色、轮廓 4 SVM 85 Tappert (2005)[70] 10 强度、边缘信息、空间频率和颜色 6 KNN 相对准确率 Shen(2009)[79] 1 080 全局视觉特征(颜色、纹理、形状)和局部视觉特征(Gabor小波) 25 RBF神经网络 69.70 Khan(2010)[60] 320 SIFT描述符，颜色 8 SVM 62 Condorovici (2013)[72] 1 896 RGB颜色直方图和Gabor 15 8种不同的分类器，其中多类Logistic回归得到了最好的结果 51.39 Cetinic(2013)[80] 500 图像强度统计、颜色和纹理 20 多层感知器 75.30 Saleh(2015)[34] 81，449 GIST和语义特征 23 SVM 63.06 The summaried literatures that are publiced among 2002—2018(artist classification)Table 53.2.1中国绘画图像数据集Li等人[73]提出了一个基于小波和多解隐马尔可夫模型的艺术家识别系统，并在包含5位中国画家的水墨画的灰度数据集上进行测试。除了对绘画图像进行分类之外，他们的建模方法也可以用做绘画图像相似性度量。王征等人[61]通过提取多种底层异构视觉特征对国画风格进行描述，建立底层视觉向国画高级语义信息的映射; 然后从这些异构特征中选择出最能代表该作者独特风格的特征子集，实现不同画家迥异的绘画风格与国画底层稀疏特征的对应与转换; 最后利用这些特征子集对国画作者进行预测。Sheng等人[21]提取基于直方图的局部特征和全局特征来表征艺术风格的不同方面，并将这些特征应用于驱动神经网络来完成水墨画的分类。同时，提出了一种“加窗”和“熵平衡”的融合方案来进行综合决策，以优化最终的分类和识别结果。实验结果表明，该算法具有良好的性能。Sun等人[36]采用灰度共生矩阵提取绘画图像的布局特征；采用文献[63]的算法提取图像的纹理特征和颜色直方图；采用文献[81]的算法提取图像的笔触特征，对笔触的平均笔触密度、边界长度和平直度3个特征直方图进行综合。最后基于维数修剪的蒙特卡罗凸壳模型来优化以上特征，并用SVM对绘画图像分类。李玉芝等人[62]采用VGG(visual geometry group)模型，基于CNN理论框架提取绘画图像的特征。此外，还提出了一种新的嵌入式机器学习算法，对不同数量的画家的绘画图像进行分析，结果表明该算法优于单纯的SVM、Fusion、MHMM(maximum entropy Markov model)、DEFC(data embedding frameuork for classification)和基于纹理、颜色、形状的传统特征提取算法。算法具有较强的鲁棒性，算法模型如图 10所示。 图10 文献[62]分类模型 The framework of classification model in reference [62]Fig 103.2.2西方绘画图像数据集Keren[56]计算绘画图像上的离散余弦变换(DCT)系数，使用朴素贝叶斯分类器，识别绘画图像的作者(伦勃朗、梵高、毕加索、马格丽特和达利)。Widjaja等人[59]注重裸体绘画图像，运用肤色来识别艺术家。研究者从4位不同画家(鲁本斯、米开朗基罗、Ingres和Botticelli)的绘画图像中提取颜色轮廓，并对其进行SVM训练。Tappert等人[70]提出了一个绘画图像作者分类系统，该系统采用一组描述强度、边缘信息和空间频率信息的低级特征，并提出了一种新的调色板描述算法，实验证明该算法能够以较少的存储开销执行类似的颜色描述技术。Shen[79]结合了一组全局视觉特征(颜色、纹理、形状)和局部视觉特征(Gabor小波)，使用径向基函数(RBF)神经网络区分25位西方古典画家的作品。Khan等人[60]使用视觉词袋包(bag-of-visual-words)方法自动预测8位画家的作品，计算SIFT描述符以及颜色描述符，并在数据集上训练SVM分类器。Condorovici等人[72]提取RGB颜色直方图和Gabor过滤器的边缘信息作为绘画图像特征，用8种不同的分类器进行了实验，其中多类Logistic回归得到了最好的结果。Cetinic等人[80]提取了3种类型的特征，即图像强度统计、颜色特征和纹理特征，并使用一个多层感知器对20位画家的作品分类。3.3绘画风格分类绘画作品的艺术风格，一般指绘画中显现的艺术风貌、格调、作风、特色和气派，是艺术家在创造过程中表现出来的个性与艺术作品的语义、情境交互作用所呈现出来的相对稳定和整体的艺术特色。对不同绘画图像作品的艺术风格及其相似性判断，是艺术研究者们对绘画图像进行分类的一种重要手段。本小节分别描述了在中国绘画图像数据集和西方绘画图像数据集上的风格分类研究现状。表 6为2004—2017年公开发表的按绘画图像风格分类的主要文献汇总。 表6 2004—2017年公开发表的主要文献汇总(按绘画风格分类) 绘画图像集 文献信息 绘画图像数量 特征 分类数量 分类算法 准确率/% 中国绘画集 Jiang(2006)[63] 3 688 颜色、纹理、边缘 2(工笔和写意) 决策树+SVM 87 陈俊杰(2008)[64] 200 颜色、纹理 2(山水和花鸟) SVM 88 Yang(2013)[24] 200 颜色、光照、留白 2(中国和西方) SVM 96.25 Sheng(2014)[68] 100 纹理 5 决策树C4.5、BP神经网络、SVM 71.50 西方绘画集 Icoglu(2004)[58] 134 颜色、纹理 4 Bayes、KNN、SVM 91.66、81.66、90.66 Günsel(2005)[57] 290 颜色、亮度 5 SVM、Bayesian SVM 100 Bayesian 71.88 Siddiquie(2009)[82] 498 纹理、颜色、HOG、边缘 7 EMKL 82.40 Zujovic(2009)[74] 353 颜色、纹理 5 AdaBoost 69.10 Shamir(2010)[65] 513 颜色、纹理 9 SVM 91 Culjak(2011)[66] 693 颜色、纹理 6 SVM 60.20 Ivanova(2012)[83] 600 MPEG-7描述符 7 PGN-1 85 Arora(2012)[67] 490 语义模型 7 SVM 65.40 Karayev(2013)[75] 85 000 统计特征、颜色、纹理、内容 25 CNN 72 Condorovici (2013)[26] 3 400 3维彩色直方图、Gabor 6 LR、MLP、SMO、Ba、LB、DT、RF 64 Bar(2014)[33] 40 724 Low-Level Descriptors、二值化特征 27 CNN 47 Condorovici (2015)[69] 4 119 颜色、纹理、边缘 8 SVM 72.24 Saleh(2015)[34] 81，449 GIST、classmes、picodes、CNN 27 SVM 60.28 Tan(2016)[76] 80 000 颜色 27 CNN 68.25 Karnewar(2017)[13] 3 000 边缘、颜色、形状 10 CNN+DNN 78.83 The summaried literatures that are publiced among 2004—2017(style classification)Table 6 LR为logistics regression; MLP为multi-layer preception; SMO为sequential minimal optimization; Ba为bagging; LB为LogitBoost; DT为decision table; RF为random forest; DNN为deep neural networks; EMKL为elastic mutiple kernel learning。3.3.1中国绘画图像数据集中国绘画风格包括花鸟、人物和山水，或工笔和写意两种表现手法。Jiang等人[63]设计了一个检索中国传统绘画的方法，可以将绘画分为工笔画或写意画。文中使用了颜色、纹理和边缘低层次特征，采用决策树和SVM结合的分类器，获得了较高的分类精度。陈俊杰等人[64]研究了颜色和形状的特征提取算法，分析中国画的低阶多维特征与高阶语义之间的相关性，采用SVM实现语义分类。实验结果表明，该方法提取的特征向量稳定，对山水和花鸟类绘画能得到较高的分类精度。杨冰[24]研究了中西方绘画作品风格的差异：中国水墨画的风格特点主要表现在颜色、留白和笔触，而西方绘画则体现在光照、颜色和笔触。因此，使用光照和留白一致性和颜色对比值作为图像特征，采用SVM算法对图像进行风格分类，算法准确率为96.25%。此外，实验结果还表明，文中的特征提取算法优于稀疏编码空间金字塔匹配算法(ScSPM)，从而进一步证实了文中的特征提取方法更适合绘画艺术风格的鉴别。盛家川[68]提出在小波域内对水墨画按不同分辨率和频段(对角(HH)、近似(LL)、垂直(HL)和水平(LH))进行分解，利用小波变换提取灰度图像的纹理特征。对5位艺术家的200幅绘画作品，采用3种机器学习算法(SVM、BP神经网络和决策树)进行分类，实验结果显示，SVM的平均准确率最好。3.3.2西方绘画图像数据集西方绘画风格主要分为文艺复兴风格、印象主义风格、巴洛克风格、抽象派、浪漫主义风格等。Icoglu等人[58]提出了一种用于表示内容的6维特征集合，并且表明该特征集能够有效地突出艺术作品的特点。Günsel等人[57]提出了一个系统，该系统可以计算包括图像的亮度、梯度信息和灰度直方图统计信息的低层特征，还允许用户查询绘画的相似风格。Siddiquie等人[82]选择纹理、梯度方向、颜色和显著性直方图等特征，使用多核学习来区分7种不同的绘画艺术风格。Zujovic等人[74]采用可操纵滤波器、以Canny边缘检测器提取的边缘信息和HSV直方图作为特征，使用多种不同的分类器对5种不同风格的绘画图像分类。实验结果表明AdaBoost分类器得到最佳精度。Shamir等人[65]采用一组包含频率统计、边缘信息和色彩信息的特征，在9种不同风格分类中达到91%的准确率。Saleh等人[34]通过视觉特征和度量学习相结合，提出一种绘画图像之间的相似性度量方法。该文采用5种度量学习方法：NCA(neighborhood component analysis)、LMNN(large margin nearest neighbor)、Boost Metric、ITML(information-theoretic metric learning)和MLKR(multi-scale location-aware kernel representation)，分别研究了绘画风格、流派和艺术家的相似性，从而实现绘画图像分类，分类模型如图 11所示。 图11 文献[34]分类模型 The framework of classification model in [34]Fig 11Čuljak等人[66]指出纹理和色彩特征与人类感知艺术品的方式密切相关。Ivanova等人[83]使用不同的MPEG-7描述符以区分不同的艺术风格。实验结果还指出色彩特征比纹理特征更适合区分艺术风格和艺术家。Arora等人[67]第一次证实了语义特征对于风格分类的重要性。该文比较了不同特征在SVM上执行的结果，结果显示classeme特征向量[84]得到了比较好的分类精度。Karayev等人[75]使用相对大的100 K绘画图像数据集，选择颜色、GIST描述符、显著性、元类特征和DeCAF编码作为CNN分类模型的特征。Condorovici等人[26]采用3维彩色直方图和Gabor滤波作为艺术描述，基于锚定理论提取模型框架，并分析了7种不同分类器的性能。Bar等人[33]结合低维度描述符、二值化特征和PiCodes描述符，在大规模绘画图像集上显示出极好的分类效果。Condorovici等人[69]使用亮度、形状、纹理、边缘和颜色特征，测试了一组分类器，结果显示SVM获得了最好的结果。Tan等人[76]使用文献[85]提出的框架，微调了在ImageNet数据集上训练的用于对象识别的模型，实验结果显示微调模型在所有任务中得到最好的效果，此外，还发现CNN在某种程度上可以根据不同艺术家的绘画风格将他们联系在一起。Karnewar等人[13]描述了一个将绘画图像进行风格分类的机器学习方法。为了提高分类准确率，文中对两种分类器进行叠加，即CNN和DNN，由此形成的混合模型优于单独的模型。3.4其他美学分析文献[23, 38]按产生时期对敦煌壁画进行分类。Yang等人[23]展示了一种简单而有效的自动识别敦煌壁画时期的方法。该方法基于敦煌壁画的艺术知识，明确地预测了人类可能用来理解壁画审美视觉风格的一些图像属性。这些属性包括：1)与壁画布局或构图有关的构图属性; 2)与描绘的颜色类型有关的颜色属性; 3)亮度，即与明亮条件相关的属性。这些属性为敦煌壁画产生时期的预测提供了科学的方法。Zou等人[37]分别提取SIFT和kAS描述符作为图像的外观和形状特征，然后采用深度学习算法和视觉词袋包(bag-of-visual-words)对这些特征进行编码和组合，最后以监督的方式训练分类器。文中采用3个不同时期(早期、发展期和成熟期)的敦煌莫高窟的飞天壁画作为数据集，各220幅，共660幅。使用多分类SVM对不同时期的作品进行分类，平均分类准确率为84.24%。文献[86-87]从绘画方向的角度对抽象绘画图像进行美学感知研究。Mather[86]将一幅抽象绘画图像分别旋转(0°，90°，180°，270°)后得到不同方向的4幅图像，由受试者去选择他们感觉最舒适的一幅，最终结果显示受试者对绘画图像的原始方向有比较高的审美评价。Liu等人[87]分析抽象绘画图像在没有提示的情况下如何唤起方向感，并在机器学习的框架中建立图像视觉内容与正确方向之间的关系。基于抽象艺术理论提取25个特征，通过贝叶斯算法对500幅抽象画的8方向进行分类(“up”vs “non-up”)，准确率达到74%。结果还显示，颜色、边缘和复杂性特征是影响绘画图像方向检测的主要因素。4绘画图像美学评价方法4.1实验美学评价方法实验美学的测评结果主要是统计数据，如受试者对绘画图像的评分、注视次数与时间等，因此可以采用统计分析方法对这些数据进行分析。统计分析法是运用数学方式，建立数学模型，对通过调查获取的各种数据及资料进行数理统计和分析，形成定量的结论。该方法是目前广泛使用的一种比较科学、精确和客观的测评方法[88]。其中描述性统计分析是最基本的统计分析方法，能较准确地把握数据的总体特征，并根据总体特征的规律选择更适合的分析方法。常用的方法有：方差分析、相关分析、主成分分析等，可借助于SPSS统计分析软件。1) 方差分析(ANOVA)，又称为“F检验”或“变异数分析”，是对两个或两个以上测试样本平均数差异的显著性检验，用来研究一个自变量的不同指标是否对因变量产生显著影响。2) 相关分析是对两个及两个以上的随机变量间的依存关系的研究，并探讨具有依存关系的变量的相关程度和相关方向。3) 主成分分析考察多个变量间的相关性，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中提炼出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关[89]。4.2计算美学评价方法计算美学中的图像分类模型，一般将数据集分为训练数据和测试数据，不同的数据容量采用不同的评价方法，容量小时常使用留一法，反之使用K折交叉验证。预测结果与实验真实结果通常表现为真正例(TP)、真反例(TN)、假正例(FP)、假反例(FN) 4种情况，并且能有效评价分类模型的泛化性能，评价指标[7]包括以下几个：1) 精度，表示分类正确的样本数与样本总数的比值，该指标适用于二分类以及多分类问题。2) 查准率，即准确率，表示预测为正的样本中有多少是真正的正样本，计算为 1 $f_{\mathrm{P}}=\frac{T P}{T P+F P}$ 3) 查全率，即召回率，表示样本中的正例有多少被预测正确，计算为 2 $f_{\mathrm{R}}=\frac{T P}{T P+F N}$ 4) P-R曲线(如图 12所示)，根据分类模型的预测结果对样本进行排序，排在前面的是分类模型认为“最可能”是正例的样本，反之排在最后。按此顺序设置不同的阈值，然后预测正例样本的类别，计算出查准率和查全率。以查准率为纵轴、查全率为横轴作图，就得到了查准率—查全率曲线，简称“P-R曲线”。 图12 P-R曲线 Curve of P-RFig 125) F-measure是综合准确率和召回率的评价指标，较为全面地反映了算法的性能，计算为 3 $F_{\beta}=\frac{\left(1+\beta^{2}\right) \times f_{\mathrm{P}} \times f_{\mathrm{R}}}{\left(\beta^{2} \times f_{\mathrm{P}}+f_{\mathrm{R}}\right.}$ 式中，$ {{\beta ^2}}$强调准确率的作用，$ {F_\beta }$数值越大，说明算法性能越好。6) 混淆矩阵，也称“误差矩阵”，该矩阵中的每一行表示样本的真实类别，每一列表示样本在分类模型中的预测类别。7) ROC曲线，也称为“受试者工作特征曲线”，以真正例率TPR为纵轴、以假正例率FPR为横轴组成坐标图，如图 13所示，公式为 4 $\left\{\begin{array}{l}{f_{\mathrm{TPR}}=\frac{T P}{T P+F N}} \\ {f_{\mathrm{FFR}}=\frac{F P}{F P+T N}}\end{array}\right.$ 图13 ROC曲线 Curve of ROCFig 13如果某个模型的ROC曲线越靠近左上方，即ROC曲线下方的面积越大，该面积称为AUC(area under ROC curve)，则表明该模型的性能和泛化能力越好。从已有文献的研究中发现，绘画图像美学分类的评价主要依据查准率、混淆矩阵和ROC曲线这3大评价指标，大多数研究都达到了比较好的分类效果。其中，中国绘画图像的样本数量较少，分类研究中常采用的评价指标为查准率和查全率；西方绘画图像常采用的评价指标为混淆矩阵或ROC曲线。此外，在中西方绘画图像美学研究中，不同文献所使用的数据集也不同，样本数量不同，因此对分类模型的评价还有待进一步研究。5总结与展望5.1总结绘画图像美学在绘画图像分类、绘画图像审美评价、绘画图像重建与修复和历史文化研究等领域都有广泛的应用，是一个富有创新性与挑战性的研究课题。因此本文主要针对现阶段国内外的绘画图像美学相关文献研究，进行详细地整理与分析，以广泛的文献研究为基础，分析中西方绘画图像的不同表征方式及形成原因，归纳总结了两种绘画图像美学研究方法:实验美学与计算美学。重点围绕问卷调查(SD法)、眼动跟踪和机器学习3个方面，对当前文献进行系统地分析和总结。本文概括了当前绘画图像研究中常用绘画图像数据集; 以绘画图像样本数量、受试者人数、审美等级量化及眼动指标等方面为依据，详细综述了中西方绘画图像实验美学方法的研究现状及发展; 主要从绘画图像分类的角度(包括情感、复杂度、画家和风格等)详细综述了中西方绘画图像计算美学方法的研究现状及发展; 简要梳理了绘画图像美学研究中常用的评价方法，并分析了当前研究中的常用评价指标。综合上述分析，目前绘画图像美学研究的关键问题主要集中在:1)如何选择与人类视觉审美相关的主观描述信息; 2)如何提取绘画图像的美学特征，使其更符合人类对绘画的情感与感知; 3)如何将图像的低层特征映射到绘画的高层美学。5.2问题探讨与展望绘画图像美学研究中，实验美学为计算美学提供了大量的数据标签支持，同时计算美学结果对实验美学设计有一定的参考价值。绘画图像美学的研究模型大致为:在实验美学中，通过对特定属性的理解，来诱导人类观察者对美的判断，然后将得到的美学评价数据作为数据标签，通过计算方法来预测艺术品的审美价值、风格、艺术家和情感等，最后研究人员通过多种评价方法来衡量他们的分类或预测模型的性能。然而，由于个体审美偏好的差异及文化多样性，大众的审美标准很难达成一致，而且对绘画美学模型的研究还处于初级阶段，因此，以下对绘画图像美学研究中出现的问题进行探讨与展望:1) 目前用于绘画美学研究的数据库规模很小。目前，绘画美学研究文献中使用的数据集中的图像数量比较少，特别是，没有对外公开的、统一的中国传统绘画数据集。因此，不能仅仅根据分类准确率来评价分类模型的优劣。因此在今后研究中，可以利用社交网络上的大规模数据，统一绘画图像数据集，特别是需要通过收集更多的有代表性的中国绘画，来构建中国绘画图像数据集。2) 绘画图像美学研究的范畴较窄。目前中西方绘画图像研究多针对于绘画图像的分类，对不同绘画图像之间蕴含的关联性[90-92]研究比较少。因此，未来可以从不同的角度对绘画图像进行研究，比如从绘画图像特征中体现同种画派之间的内在联系; 艺术家之间的相互影响; 一位艺术家不同时期作品的差异等。这些方面的研究能够更好地了解中西方历史文化的发展。特别地，中国传统绘画图像分类多以作者进行分类，基于绘画图像复杂度、审美及情感研究较少，未来可以提取中国绘画图像的语义特征，分析绘画的其他美学内容。3) 从认知科学、心理学及美学理论等学科中借鉴的研究成果很少。美学研究是一个多学科交叉的研究课题，目前美学研究大多从计算机的角度考虑，很少能借鉴认知科学、美学理论及心理学等其他学科的研究成果，因此很大程度上限制了绘画美学研究的推进、发展和完善。尽管实验美学是一种主张用实验法研究美学问题的心理学观点，在绘画图像美学研究中已经取得了一定成就，但它所涉及的大都是一些较简单的问卷设计与眼动观察，要从简单的实验过程中提炼出复杂的审美感知是很难的。因此，今后可以根据不同的绘画图像集，基于心理学、认知科学和美学理论设计问卷问题与眼动实验步骤，更好地将主观问卷数据与客观眼动数据进行结合分析，使得实验结果能更加接近人类复杂的审美感知。4) 对群体化或个性化审美偏好的研究不足。目前，大多数对审美评价的研究都是建立在期望情感的基础之上，即作者创作作品时希望读者产生怎样的美学评价，或者基于大众化的美学评价。这种处理方式虽然利于研究，但是人的审美偏好具有很强的主观性，同一个人在不同时刻对同一图像的美学评价有可能是不同的。因此，这就需要研究每个人的真实情感，为每个人都建立一个数据库。然而，个性化的审美研究可能过于特殊，并且会大大提高计算的复杂性。因此，可以考虑介于以上两者之间的群体情感，即具有相同生活环境或教育背景的人在观看同一幅绘画时会产生相似的情感。今后研究的重点可以是分析不同社会文化、生活环境和教育背景的人对绘画的不同美学评价。5) 所提取的底层特征与绘画美学描述之间存在语义鸿沟。特征提取与算法选择是计算美学非常重要的两个环节。目前绘画图像美学研究提取特征主要是基于图像的底层特征，包括颜色、纹理、布局、内容和笔触等，分类模型的分类准确率也不是很高。因此，今后可以考虑绘画图像的外界语义信息，比如作者对绘画图像的描述或评论家对绘画图像的评价等。另外，机器学习、深度学习和生物启发计算模型等在分类问题上都有很强的优势，这些方法可以作为我们今后进行绘画美学研究的重要方法。6) 计算美学和实验美学之间共享知识变得更加困难。随着深度学习的发展，在计算美学和实验美学之间共享知识变得更加困难。在早期，实验美学为计算美学提供了丰富的知识，实验美学也从计算方法中获得了很大的收益，人们可以对大量的绘画图像进行自动分析。然而，随着深度学习的发展，实验美学追赶计算方法变得越来越困难。深度学习模式主要表现为黑匣子，很难让我们深入了解它的学习特性，以及如何利用它来评价绘画图像的美学质量。因此，在未来的工作中，为了确定影响人类审美偏好的因素，有效建立绘画图像特征到用户审美之间的映射，就必须通过大量的实验美学结果对计算模型的决策边界进行更好的理解和设定。综上所述，绘画图像美学研究由于涉及图像处理、计算机图形学、生理学、认知科学、色彩学和心理学等，目前研究还处于初步探索阶段，未来有很大的发展空间，同时也具有一定的挑战性。因此，希望绘画图像美学研究的两个方法可以进一步融合，利用计算美学中的方法论和实验美学中的感知机制，可以从更多的角度研究绘画图像美学。