Print

发布时间: 2019-12-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190102
2019 | Volume 24 | Number 12




    图像理解和计算机视觉    




  <<上一篇 




  下一篇>> 





中国国画情感-美感数据库
expand article info 湛颖, 高妍, 谢凌云
中国传媒大学媒介音视频教育部重点实验室, 北京 100024

摘要

目的 有关艺术作品审美感受的量化或计算,在心理学上已有许多研究。近年来,人工智能的研究成为热点,而对人类感知的定量分析也随之受到极大关注,例如基于图片或者音乐内容的情感计算等。美感作为一种艺术化的审美情感,与之相关的定量研究有较大潜力。为便于进行中国文化背景下的审美研究,同时为丰富图像情感与审美计算相关研究的数据基础,需建立一个国画美感和情感分析所用的图像数据库。方法 从多种渠道收集筛选511幅国画素材及350个国画美感形容词,通过词汇筛选和因子分析获得国画美感主要因子;采用离散词汇和PAD(pleasure-arousal-dominance)情感连续维度空间这两种描述方式对国画的审美感受进行标注;对数据库进行情感和美感的模式分类,从而验证其实用性。结果 获得5个国画美感主要语义标签:气势、清幽、生机、雅致和萧瑟;标注数据结果满足有效性验证;不同美感的PAD情感分布呈现一定极化;经测试,情感分类精度平均可达0.68,美感分类精度最高可达0.77。结论 本文得到的5个国画美感评价范畴,可基本概括国画的审美感受;所建立的数据库,能为视觉美感及情感的定量研究或者计算机视觉、实验美学等领域的研究提供有效数据基础;PAD分布对美感有较好区分性。下一步将进一步扩充数据库,以解决数据分布不均问题,同时进一步挖掘PAD分布与美感分布之间的关联。

关键词

情感; 美感; 数据库; 中国画

Database for emotion and aesthetic analysis of traditional Chinese paintings
expand article info Zhan Ying, Gao Yan, Xie Lingyun
Key Laboratory of Media Audio & Video(Ministry of Education), Communication University of China, Beijing 100024, China
Supported by: Fundamental Research Funds for the Central Universities (18CUCTJ086)

Abstract

Objective Artificial intelligence has been a popular issue in recent years. Therefore, quantitative analysis of human perception, such as affective computing based on picture or music materials, has elicited much concern. One of the most important events in image aesthetic research is the introduction of experimental psychology methods to establish the relationship between the subjective affective state and objective artworks. Recent developments inempirical aesthetics in the general cultural background have heightened the need for parallel research on single cultural background. Traditional Chinese art is part and parcel of the world culture. Central to conducting quantification research on the art perception and affective computing of Chinese paintings and enriching the database of general aesthetics and emotion is building an image database for aesthetic and emotion analyses of traditional Chinese paintings. To this end, we introduce a new image aesthetic database for aesthetic and emotion analyses of Chinese paintings. The database contains over 500 images of Chinese paintings in five semantic aesthetic categories and quantitative annotations of the three-dimensional emotion score and aesthetic quality of each image. Method To accumulate basic data, 511 traditional Chinese paintings are collected and filtered as digital images from multiple sources(e.g., www.artsjk.com), and 350 adjectives are gathered through extensive provenance(e.g., Historical Dictionary of Aesthetics and classical documents in psycho-aesthetics, art aesthetics, and philosophical aesthetics). Two methods are used in annotating Chinese paintings:the discrete emotion model and the pleasure-arousal-dominance (PAD) scale. Discrete emotion theory claims that a small number of core emotions exists. In the PAD emotional state model, the pleasure-displeasure scale measures how pleasant or unpleasant one feels about something, the arousal-non-arousal scale measures how energized or soporific one feels, and the dominance-submissiveness scale represents how controlling and dominant versus controlled or submissive one feels. The major differences between the two models pertain to the low resolution of the discrete model in discriminating affectively vague examples and the difficulty in understanding part subjects in the PAD scale. Therefore, the combination of the two approaches is necessary. First, to build the basic concepts of our subjective annotation, a questionnaire survey is conducted to select favorable adjectives for describing affective feelings when appreciating Chinese paintings. Participants are asked to answer if they think the adjective is applicable for representing aesthetic feelings when appreciating a Chinese painting (yes or no), and from the adjectives selected, more than 50% are chosen as meaningful. Second, subjective assessment and factor analysis are adopted to conduct a pilot study of the principle factors of aesthetics in Chinese paintings based on the adjectives collected previously. Responses are received from 40 participants who rated each item with regard to how frequently they use it to describe their emotional reaction in Chinese painting appreciation (1 never; 5 very frequently). Two groups of participants, namely, experts (50%) and amateurs (50%), are investigated. With the factor analysis method, 5 aesthetic semantic categories and 25 secondary aesthetic concepts of the principle factors are obtained for annotation in the discrete adjective method. Third, the aesthetic style and affective response of the collected paintings are annotated. The participants are asked to make a judgement of the aesthetic category and rate the aesthetic quality and PAD value of a painting. Fourth, statistical analysis is performed to calculate the distributions of aesthetics and emotions in the annotating experiment. Two parameters, namely, aesthetic membership vector and aesthetic average intensity, are designed to measure the ratings and frequencies of different aesthetics and calculate the distribution of aesthetic judgements. In addition, the distribution of mean values and the standard deviations of PAD scores are computed. Then, an analysis between aesthetic feelings and emotional responses is performed to determine the effects of emotion distribution on aesthetic classification. Finally, to identify the utility of the database, emotion and aesthetic pattern classification is conducted using various methods. Regression analysis using various models is performed between the image feature and PAD value, and pattern classification of five aesthetic categories based on different classifiers is conducted. Result The following five aesthetic categories of traditional Chinese paintings are identified:Qishi(mighty, magnificent, glorious, grandeur, vigorous and firm, precipitous, powerful in strength and impetus, towering, tremendous, boundless, bold and unconstrained, and extremely attractive and impressive), Qingyou(quiet and beautiful, ethereal, distant, solemn, flexible and elusive, tranquil, and extremely delicate and light), Shengji(full of life, vivid, full of vitality, smart, spirited, and characterized by spirit and animation), Yazhi(elegant, refined, pure and classic, layered, and designed well), and Xiaose(bleak, empty and without people, and makes people feel sad or frightened).The test-retest reliability and Cronbach's alpha of the PAD ratings verify the credibility of the database. The distribution of aesthetic categories and PAD emotional ratings shows a selection bias in the perception of Chinese paintings with positive and dynamic feelings. The mean classification accuracy of emotion is 0.68, and the highest classification of aesthetics is 0.77. Conclusion This study identifies five semantic categories of aesthetics of Chinese paintings. Experiments confirm that these categories can cover most paintings in Chinese painting appreciation. A database is established based on the five categories, and the emotional responses and aesthetic style and quality of the collected paintings are confirmed in the subjective assessment. The database shows great diversity in artistic style and emotional expression. By pattern classification of emotion polarity and aesthetic label, the effectiveness of the extra-trees classifier through uneven data is tested and proven. The accuracy of emotion and aesthetic classification illustrates that the regression and classification methods presented in this paper are effective. We believe that this database can be used forthe quantitative study of visual beauty, computer vision, affective computing, and experimental aesthetics. Our future work will include expanding the data of rare aesthetics (e.g., Qingyou and Xiaose) and conducting multi-label aesthetic classification based on the PAD affective model of images in the database.

Key words

emotion; aesthetics; database; Chinese painting

0 引言

艺术感知可激发人的审美感受和情感反应,因此使用实验心理学方法对审美感受进行研究早已有之。如Hevner(1936)采用对专家进行问卷调查,获得音乐作品包含情感的情感环(affective ring),它包含4对语义相反的艺术情感类别;游师庭(2018)采用格式塔方法分析罗赓的音乐作品等。

基于实验心理学,西方对美感展开了一些定量研究。Joshi等人(2011)建立了一个图像美感数据库,标注了10个因子、8个强度等级的美感;Murray等人(2012)建立了大型美感数据库AVA(a large-scale database for aesthetic visual analysis), 对255 000张图片进行了美感强度及超过60个语义标签的语义标注;Luo等人(2012)进行了超过10 000张图片的二元美感标注(binary aesthetic labels), 并进行了7类场景标注;Mohammad等人(2018)建立了艺术情感标注数据库WikiArt Emotions,包含4 000多幅作品的艺术风格、情感和偏爱度等标注。

国画方面,鲍泓(2012)使用山水、花鸟和人物作为分类标签,基于视觉感知,对国画进行了内容标签的模式分类;高峰等人(2017)针对画作技法设计特征,进行了工笔、写意两种技法的模式分类;李玉芝等人(2018)以画家为分类标签,用改进嵌入式学习算法对画作的作者进行分类。这些研究主要集中在艺术表达方面,未考虑观赏者的情感或审美感受。

已有研究中,有两种不同方式衡量观赏艺术作品的感受:离散词汇表述法和情感连续空间表述法(孙晓等,2014)。

离散词汇法用若干个词汇表述情感或美感,给作品打上标签(如使用“忧伤”描述一首音乐),这种方法便于操作,但易出现信号之间的混淆。采用此方法,Hevner(1936)进行了音乐情感分类研究;Israeli(1928)建立美感形容词词表形容绘画的美感。

情感连续空间表述法的经典代表是PAD空间法(Mehrabian,1996李霞等,2018),它将一个信号的主观感受映射到一个连续的3维空间,3个维度定义如下:愉悦度(pleasure),指被试在信号刺激下觉得愉快或不愉快;唤醒度(arousal),指被试在信号刺激下觉得兴奋或提不起精神;优势度(dominance),被试在信号刺激下觉得自己居于支配或被支配的地位。这种方法能较好地进行不同感受之间的区分,但3个维度的概念不容易被理解。使用该方法,陈丽君(2010)进行了绘画、音乐等艺术内容的情感测量;刘烨等人(2009)进行了基于情绪图片的PAD情感状态模型分析,分析离散的情绪范畴与连续情绪空间的对应关系;Lang等人(1997)建立了国际情感图像系统(IAPS),对彩色摄影图片进行语义标注和PAD标注。

相对于西方绘画,“中国画以中国特有的毛笔和宣纸的接触, 通过线来呈现节奏, 表达美感”(邵大箴,1999)。中国绘画理论在提倡研究客观自然的同时, 着重说明画家要具有主观的审美感情,故而国画的艺术表达有自己的特点。除了国画本身的特点以外,近年的研究还发现,不同文化背景的人对本文化和外来文化艺术作品的情感或美感的感知是存在较大差异的,因此,对具有特定文化背景的人群进行有针对性的美感研究有着重要的人类学意义。本文针对中国传统画的视觉情感与美感, 建立了面向量化分析研究的国画情感—美感数据库, 包含超过500张的各种风格的国画,并在美感和情感两个方面对每个数据进行了量化的主观标注;最后,基于回归分析和模式分类,进行了美感和情感自动分类,以验证其有效性。该数据库已公开(https://github.com/leiyu943/Chinese-painting-aesthetic-datab-ase-from-CUC-2019-1),有望对分析研究各类美感对应的绘画风格、寻找适合国画美感描述的客观特征,以及进行国画美感的客观分类与评价等方面的工作起到重要的辅助作用。

1 数据库建立

美感是一个模糊概念,因此它的测量需要制定相对客观的量化标准。相对于西方画作,国画的美感尤其容易混淆和变动,为方便地将国画感知进行量化,在主观评价实验开始前需要先制定评价标准。为结合离散词汇评价与情绪连续空间评价两种方式的优点,采用词频筛选、系列范畴法(孟子厚,2008)和因子分析法(Cattell,1978)建立适合评价国画的审美因子及二级词汇;然后,同时采用离散词汇和PAD情绪空间方法,对收集到的绘画进行主观评价。

1.1 国画收集

本数据库的国画素材收集自《中西艺术导论》、《艺术鉴赏》及中国艺术数据库网站(www.artsjk.com)等。为保证样本完备性,收集共8 000余幅国画作品,针对以下情况对一些作品进行筛选:1)由于保存介质(纸张、织物等)过于老旧,因而破损以致部分画面消失;2)保存介质老化严重,因此影响观感;3)相同作家、相同内容、颜色构图相似的画作,仅保留一幅。

在筛选后剩余的画作中,按照原收集8 000幅画中的作者人数比例,抽取获得用于构建国画美感数据库的511幅图画。表 1列出了数据库包含作品的作者(排名不分先后)。

表 1 收录作者
Table 1 The authors included

下载CSV
安正中 丁观鹏 郭忠恕 李鱓 潘天寿 王诜 袁尚统 陈之佛 傅廷煦 巨然 陆恢 宋高宗 吴永良 赵佶
八大山人 董其昌 何海霞 李照东 齐白石 王武 恽寿平 陈卓 高岑 蓝瑛 陆俨少 宋徽宗 项德新 赵望云
卞文瑜 董寿平 华喦 林风谷 任仁发 王渊 恽向 程璋 高剑父 李成 吕纪 宋珏 项圣谟 赵左
查士标 董希源 黄宾虹 林凤眠 任颐 王云 张伯英 仇英 高奇峰 李迪 马元驭 宋文治 萧云从 郑昶
陈洪绶 董源 黄居寀 林容生 沈铨 文从简 张大千 崔子范 葛稚川 李可染 马远 唐寅 颜辉 周文靖
陈继儒 杜琼 黄君壁 刘国松 沈贞 文徵明 张宏 戴本孝 龚贤 李苦禅 梅清 汪之瑞 杨晋 周之冕
陈少梅 范宽 吴历 刘海粟 沈周 吴冠中 张瑞图 戴进 关山月 李流芳 米万钟 王绂 杨文骢 朱耷
陈师曾 方召麐 黄溱 刘迅 石鲁 吴湖帆 张孝友 担当 郭明堂 李平凡 苗重安 王履 张漾兮 朱瞻基
陈树人 傅抱石 居廉 刘彦水 石涛

1.2 离散词汇评价尺度

收集形容国画美感的词汇共350个,在美学、美感和情感研究相关文献中查阅得到,列于表 2

表 2 美感形容词来源
Table 2 Aesthetic adjectives' provenances

下载CSV
来源 作者 出版年
音乐美学原理 康斯坦丁诺夫 等 1987
哲学大辞典 冯契 2001
美学百科词典 竹内敏雄 1988
中国美术大辞典 邵洛羊 等 2002
美学辞典 别利亚耶夫 等 1993
美学概论 董学文 2004
当代西方美学范畴词典 司有仑 1996
美学与美育词典 顾建华 等 1999
中文情绪形容词检测表 钟杰 等 2005
现代美学体系 叶朗 2000
多模态维度情感预测综述 李霞 等 2018
概念隐喻理解中的美感体验对科学概念理解的作用研究 丁月华 2008
Experimental studies of the elements of expression in music Hevner 1936
Affective reactions to painting reproductions: A study in the psychology of esthetics Israeli 1928
The perception and evaluation of visual art Hagtvedt H 等 2008
Integrating the philosophy and psychology of aesthetic experience: development of the aesthetic experience scale Stamatopoulou D 2004
Openness to experience and awe in response to nature and music: Personality and profound aesthetic experiences Silvia P J 等 2015
Aesthetic experience and the emotional content of paintings Marković 等 2010
Instrument development for esthetic perception assessment Rowold J 2008
Assessing aesthetic appreciation of visual artworks—The construction of the Art Reception Survey (ARS) Hager M 等 2012

Hevner情感环基于对艺术欣赏的调查获得,具有两两相对、逐渐过渡的特性,因此可用来验证美感词集完备性。将收集到的词汇按图 1中Hevner情感环进行分类,以排除与艺术情感无关的词汇,得到容量为264的基本词集。

图 1 Hevner情感环
Fig. 1 Hevner affective ring

在问卷星(https://www.wjx.cn)上进行词汇筛选问卷调查,被试者通过网络填写问卷以供分析。最终调查共40名被试,美术相关专业20名,普通专业20名,平均年龄22岁,男性19人,女性21人,年龄范围17~32岁,标准差为3岁。每人可选词汇个数不限,根据被试自身的背景知识进行选择。

在40人规模的筛选中,统计所有被选择“适合用来形容国画美感”词汇的被选频率。为防止选词过程中的惯性误差,调查期间所有词汇乱序排列。同时提醒被试者:该调查面向所有的国画内容、风格以及技法。

以“多数人所认同的国画形容词”为统计原则,对拥有50%以上被选频率的词汇予以保留,共40个,见表 3

表 3 高频美感词汇
Table 3 Frequent aesthetic adjectives

下载CSV
素雅 写意 旷远 秀美 雄壮 磅礴
生机 萧瑟 大气 质朴 风骨 气韵
清远 豪放 苍郁 空灵 巍峨 明净
飘逸 静穆 静谧 灵动 空旷 灵性
壮丽 雄浑 雄伟 险峻 深邃 质雅
典雅 层次 沧桑 纯朴 古雅 宏伟
洒脱 随性 生动 流畅

通过词频筛选获得的词汇较多,为便于被试者在主观评价时进行分辨,同时为了将国画美感进行语义细分,采用系列范畴法对筛选后的词汇对于“评价国画”合适程度的范畴进行主观评价,并使用因子分析对评价结果进行分析,以提取出国画美感的主要因子。

该部分实验选取50名被试,平均年龄23岁,男性24人,女性26人,年龄范围18~25岁,标准差为1岁,对国画40个审美词汇进行5级尺度评价。评价所采用范畴为:1为很不适合;2为较不适合;3为中立;4为较适合;5为很适合。

先采用克朗巴哈系数(Cronbach’s alpha)(Cronbach,1951)对被试评价结果的内部一致性进行检验。克朗巴哈系数常被用来度量被试整体对于心理指标评价的内部一致性。对于有$n$个题目的量表,每个题之间平均相关系数为$r$,则对该次测试的克朗巴哈系数$α$

$\alpha=\frac{n \cdot r}{(n-1) r+1} $ (1)

本次评价的克朗巴哈系数结果为0.806(对于探索性实验,通常0.6以上认为可信度较高)。词汇主观评价的分布结果见图 2。图中词汇大部分分布在“中立”右边,因此进一步验证了词频筛选部分实验的有效性。

图 2 国画审美词汇评价结果
Fig. 2 Evaluation results of Chinese painting aesthetic adjectives

采用因子分析方法对系列范畴法主观评价结果进行因子提取,以获得国画美感累计方差70%以上的9个因子。为进一步凝练以便于下一步实验,在保证主要因子得以保留的前提下,查阅《现代汉语词典》、《辞海》和《美学辞典》等文献,获得因子下每个词汇的语义,据此将得到的9个因子进一步浓缩整理,得到浓缩后5个国画审美因子对应词集及释意,见表 4。此5个因子将作为美感类别用于国画审美主观评价中。

表 4 国画美感分类因子
Table 4 Factors of Chinese painting aesthetic

下载CSV
名称 释义 词集
气势美 雄壮宏大,浩瀚瑰丽,气势恢弘雄浑。 雄伟,壮丽,宏伟,雄浑险峻,雄壮,巍峨,磅礴大气,豪放
清幽美 清美幽远,意境开阔,禅意。 清远,飘逸,旷远,静穆空灵,静谧
生机美 意态灵活动人,充满生命力。带有灵活的气息,活泼不呆板,富于变化,有灵气。 生动,生机,灵动,灵性
雅致美 高雅而不浅俗,结构有秩序且具有多样性。 典雅,质雅,层次
萧瑟美 冷落荒凉,寂寞又凄凉。 萧瑟

1.3 主观标注实验

实验环境为良好隔音的室内,在DELL 1504FP显示器上完成,屏幕分辨率为1 024×768像素,方向为横向。实验程序使用Psychtoolbox-3工具箱编写,在MATLAB平台运行。

实验正式开始之前,将图像画幅缩放到适配整个屏幕随机播放,显示器校准到令被试者舒适的水平,并将图画无法填满屏幕的部分用纯黑色显示。

每幅画需标注5个参数:所属美感类别、所属美感强度分值、PAD情感空间3个维度的分值。对于所有选择或打分项,其标准见表 5

表 5 主观标注说明
Table 5 Description of subjective annotation

下载CSV
项目 评分等级(整数) 评分说明
美感类别 1~5 用分数表示的5个美感类别
美感强度 1~9 1为最弱等级,9为最强等级
愉悦度 1~9 1为非常不愉悦,9为非常愉悦
唤醒度 1~9 1为非常昏沉,9为非常振奋
优势度 1~9 1为非常有压迫感,9为非常轻松

共20名被试者参与情感—美感主观标注(此部分实验被试者群体包含于第1节的系列范畴法实验中),11名为女性,9名为男性,平均年龄24岁,标准差为1岁。该研究侧重于普通人群体的国画审美感知,所以被试者都为非美术专业背景。

所有20名被试者,每人都参与了所有画作、所有情感及所有美感指标标注。除511幅基础信号外,增设6幅重复的信号,以便检验重测信度,每名被试者将遇到同样的重复信号。

2 实验结果统计与分析

2.1 数据可靠性

使用PAD 3个维度评分的克朗巴哈Alpha系数和重测信度作为数据可靠性度量,见表 6。同样,此处克朗巴哈系数被用来衡量评价结果的内部一致性,重测信度则被用来度量单个样本的可靠程度,如在两次重复测量中同一个样本具有较一致的分布,则证明结果较可靠。重测信度的计算方式为:对两次重复测量的结果求相关系数。

表 6 结果可靠性
Table 6 Reliability of results

下载CSV
项目 愉悦度 唤醒度 优势度
Cronbach’s Alpha 0.903 0.875 0.717
重测信度 0.954 0.934 0.968

从可靠性角度看,实验结果基本符合要求。

2.2 美感分布统计

采用模糊评价中的隶属度概念,对被试者的审美偏好进行度量。对一幅国画样本,定义美感隶属度向量$\mathit{\boldsymbol{M}}$={$M_1, M_2, M_3, M_4, M_5$},元素$M_i$的定义为

$M_{i}=\frac{m_{i}}{n}(i=1, 2, 3, 4, 5) $ (2)

式中,$n$为被试者总人数,$i$为美感类别,$m_i$是选择美感类别$i$的被试人数。美感隶属度向量的5个值,反映被试人群对于这幅画美感的不同选择偏好。

采用模糊评价中的加权平均法对被试审美强度感知进行度量。对一幅国画样本,定义美感强度分布向量$\mathit{\boldsymbol{W}}$={$W_1, W_2, W_3, W_4, W_5$},元素$W_i$定义为

$W_{i}=\frac{m_{i}}{n} \times \sum\limits_{k=1}^{m_{i}} l_{k}(i=1, 2, 3, 4, 5) $ (3)

式中,$i$为美感类别,$m_i$为选择美感类别$i$的被试数,$n$为被试总人数,$k$为被试编号,$l_k$为第$k$名被试对该画在美感类别$i$的美感强度打分。美感强度分布向量的5个值,反映被试人群对一幅画感受到的5类美感的不同强度。

对于同一幅画,计算美感隶属度向量和美感强度分布向量,将二者最大值共同所在的美感类定义为该画的美感类,其他情况归为“无法分类”。

遵照上述原则,样本的美感选择数量分布见表 7,表中分布显示:从“无法分类”数量看,所提出5个国画美感范畴大类可涵盖大部分国画的审美感受;气势、清幽和萧瑟更集中在山水画中,生机和雅致更集中在花鸟画中。

表 7 各美感画作数量
Table 7 Number of paintings in each aesthetic 

下载CSV
/幅
美感 山水 花鸟 样本总量
气势美 110 1 111
清幽美 44 9 53
生机美 54 133 187
雅致美 11 92 103
萧瑟美 30 13 43
无法分类 6 8 14
样本总量 255 256 511

2.3 PAD情感分布统计

依据表 7美感分类情况,按美感类分别统计PAD情感分布,见表 8图 3图 3中的零点在原实验结果中得分为5,由于原情绪维度打分范围为1~9分,因此5为中性情绪的分界点,在此为便于分辨情绪极性,在图中将5分以零点表示。图 3中每个点代表不同画的PAD分布,点的颜色表示画的美感。

表 8 每类美感下PAD各维度均值(标准差)
Table 8 Mean value (standard deviation) of PAD dimensions in each aesthetic style

下载CSV
愉悦度 唤醒度 优势度
气势美 5.05(0.79) 5.43(0.76) 4.12(0.49)
清幽美 5.10(0.70) 5.06(0.68) 4.66(0.48)
生机美 5.97(0.72) 5.93(0.76) 5.39(0.52)
雅致美 5.04(0.83) 4.90(0.89) 5.15(0.46)
萧瑟美 4.06(0.44) 4.32(0.47) 4.29(0.43)
图 3 PAD 3维度的美感分布
Fig. 3 Distribution of aesthetics in PAD emotional dimensions
((a)P-A; (b)A-D; (c)P-D)

可发现:

1) 若以情绪正负来看,可发现生机美和萧瑟美在PAD各维度极性上都相反,是呈现两极分化的一对的美感;

2) 气势和雅致在除愉悦度的其他维度也呈现极化分布,同感性认知一致;

3) 清幽和雅致在各维度的分布模态相似,结合表 7,二者的差别更多体现在内容上,而不是情绪;

4) 从情绪分布来看,生机与萧瑟、雅致与气势是较易区分开的两对美感,除此之外其他两两组合的美感或多或少都有一定交叠。

2.4 美感—情感关联

将美感强度与情感维度得分做相关分析,得相关矩阵列于表 9。由相关性得知:1)PAD 3个维度之间相互有一定正相关性,其中愉悦度与另外两维度都是较强正相关;2)生机美与PAD 3个维度为较强正相关;3)萧瑟美与3个维度都是负相关,且与愉悦度、唤醒度为较强负相关;4)生机美与清幽美为较强负相关;5)气势美与优势度为较强负相关。

表 9 美感强度与情感得分相关性
Table 9 Correlation matrix of aesthetic weighted ratings and emotion ratings

下载CSV
气势 清幽 生机 雅致 萧瑟 P A D
气势 1
清幽 0.111 1
生机 -0.477 -0.548 1
雅致 -0.491 -0.133 0.001 1
萧瑟 -0.063 0.189 -0.465 -0.227 1
P -0.058 -0.228 0.681 0.088 -0.640 1
A 0.114 -0.278 0.611 -0.067 -0.563 0.887 1
D -0.548 -0.222 0.644 0.408 -0.446 0.652 0.455 1

3 数据库应用:情感/美感识别

以验证数据库作为情感计算数据基础的实用性为目的,使用情感和美感识别为基本案例,对数据库进行实际应用的举例说明。

3.1 特征提取

参考已有美感和艺术风格研究,提取图像特征120个,特征文献来源及总维数列于表 10

表 10 PAD各维度重要特征
Table 10 Important features in PAD dimensions

下载CSV
特征 特征文献来源 特征总维数
邻域相似性 高峰等人,2017 25
颜色直方图 Ke等人, 2006 16
亮度直方图 Ke等人, 2006 8
颜色简明度 Ke等人, 2006 1
灰度直方图 16
红色直方图 Ke等人, 2006 10
绿色直方图 Ke等人, 2006 10
蓝色直方图 Ke等人, 2006 10
边界复杂度 10
对比度 Ke等人, 2006 1
显著性区域均值 Koch等人, 1987 1

3.2 情感识别

PAD情感维度空间的每个维度,分别为一种情感反映。同样,以每个维度的分值5为分界线,规定处于该值以上为正性情绪/高情绪,反之为负性情绪/低情绪。根据3个维度情感的正负性,对于表 10中的特征,采用5折交叉验证(周志华,2016),用回归分析对PAD值预测来完成情感分类任务。

本文采用查全率和查准(周志华,2016)。作为分类极度判断依据。设一次训练中真正例数为$TP, $假正例数为$FP, $真反例数为$TN$, 对查全率$R$和查准率$P$

$\left\{\begin{array}{l}{P=\frac{T P}{T P+F P}} \\ {R=\frac{T P}{T P+T N}}\end{array}\right. $ (4)

表 11显示:1)在高唤醒度、高愉悦度和低优势度的分类中有较好鲁棒性,观察图 3中数据分布可发现,这些情感区间的数据分布更为集中;2)相对于PAD各维度间分类结果的横向差异,各类回归算法之间的纵向比较没有呈现显著区别。

表 11 基于回归分析的情感分类
Table 11 Emotional classification based on regression analysis

下载CSV
回归模型 情感维度
P A D
低情绪 高情绪 低情绪 高情绪 低情绪 高情绪
$R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$
k-neighbor(Korn等,2008) 0.62 0.41 0.67 0.82 0.67 0.44 0.70 0.86 0.69 0.74 0.62 0.56
NUSVR(Chih等,2011) 0.75 0.51 0.72 0.88 0.77 0.53 0.75 0.89 0.73 0.77 0.67 0.63
kernel ridge(Murphy等,2012) 0.67 0.54 0.72 0.80 0.70 0.55 0.74 0.84 0.72 0.76 0.65 0.61
gradient boosting(Friedman,2001) 0.69 0.55 0.73 0.83 0.75 0.59 0.76 0.87 0.73 0.77 0.69 0.63
Linear Regression(Cohen等,2003) 0.61 0.51 0.69 0.76 0.64 0.54 0.73 0.80 0.72 0.76 0.65 0.61
Decision-tree(Quinlan等,1986) 0.58 0.56 0.70 0.69 0.54 0.54 0.69 0.72 0.68 0.67 0.56 0.59
SVR(Chih等,2011) 0.63 0.53 0.71 0.75 0.70 0.58 0.76 0.83 0.73 0.77 0.66 0.65
Extra-trees(Geurts等,2006) 0.52 0.49 0.67 0.71 0.58 0.57 0.75 0.73 0.69 0.71 0.61 0.56
ARD(Mackay,1994) 0.69 0.52 0.72 0.83 0.68 0.50 0.72 0.84 0.73 0.74 0.65 0.63
Huber Regressor(Huber,1981) 0.64 0.54 0.71 0.78 0.66 0.54 0.73 0.81 0.73 0.76 0.66 0.61
Bayesian ridge(Bishop,2006) 0.71 0.52 0.72 0.84 0.73 0.46 0.72 0.88 0.73 0.75 0.66 0.63

3.3 美感识别

表 4国画的5个美感分类,进行多个分类算法的模式分类。其查全率和查准率集内测试结果见表 12。由结果可知:

表 12 不同分类器下的美感分类结果
Table 12 Result of aesthetic classification in different classifier

下载CSV
美感 Extra-trees SVM 线性判别分析 随机森林 KNN 梯度提升树 逻辑回归 多元感知机
$P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$ $P$ $R$
气势 0.82 0.90 0.54 0.65 0.55 0.64 0.54 0.62 0.48 0.63 0.51 0.57 0.56 0.68 0.49 0.51
生机 0.84 0.92 0.58 0.66 0.55 0.66 0.51 0.74 0.55 0.66 0.50 0.56 0.56 0.71 0.49 0.71
雅致 0.86 0.84 0.51 0.39 0.56 0.44 0.52 0.36 0.52 0.42 0.39 0.36 0.51 0.41 0.49 0.39
萧瑟 0.90 0.50 0.43 0.21 0.33 0.12 0.10 0.05 0.10 0.02 0.20 0.16 0.36 0.12 0.00 0.00
清幽 0.89 0.66 0.34 0.25 0.47 0.29 0.50 0.23 0.28 0.24 0.20 0.20 0.35 0.12 0.22 0.17
平均 0.86 0.77 0.48 0.43 0.49 0.43 0.44 0.40 0.39 0.39 0.36 0.37 0.47 0.41 0.34 0.35
注:“平均一栏”加粗部分为Extra-trees分类器的分类结果,Extra-trees为训练集集内测试的最佳分类器。

1) 数据库的图像对于美感分类也有一定适用性;

2) Extra-trees算法呈现较好成绩。考虑表 7中的不同美感类数据分布不均的情况,这种优越性应是由Extra-trees自身防止过拟合的特点引起;

3) 从分类精度来看,不同美感类别的查全率与表 7样本数量分布高度一致,分布较多的生机、雅致、气势3类美感的平均查全率,比数量较少的清幽、萧瑟的平均查全率大许多。根据相关分析,表 12中SVM算法的查全率与表 7中样本数量的相关系数高达0.881。

4 结论

该研究采用离散词汇和PAD情感维度空间两种方式,对511幅国画样本进行了美感和情感的量化标注。1)经验证,标注具有一定有效性,且所提出的5个美感范畴可基本概括国画的审美感受;2)从情感与美感分布的关联性来看,不同美感呈现异化的PAD分布,能通过PAD值对生机—萧瑟、气势—雅致两对美感实现较好区分;3)经过情感模式分类,发现数据库中样本在情感分类中有较好表现,即有较好情感区分性;4)美感分类方面,Extra-trees算法有较好表现。

下一步将继续扩充数据库中数量较少的两类美感:萧瑟和清幽,以平衡数据不均导致的分类结果不均现象。同时,进一步挖掘PAD维度空间与美感类别和强度之间的联系。很多中国画表现了作者的愤懑、郁结不平之气,调查中并未体现出这点,因为调查的对象是普通大众的审美能力,对于此类涉及历史背景和专业知识的感受体会不足,未来考虑将专业视角的审美量化纳入研究。

参考文献

  • Bao H. 2012. Research on visual-perception based automatic classification techniques for Chinese painting images. Beijing: Beijing Jiaotong University: 25-26 (鲍泓. 2012. 基于视觉感知的中国画图像语义自动分类研究. 北京: 北京交通大学: 25-26)
  • Belyayev, Novikov and Tolstach. 1993. Dictionary of Aesthetics. Translate by Tang X S. Beijing: Oriental Press: 9-20 (别利亚耶夫, 诺维科夫, 托尔斯特赫. 1993.美学辞典.汤侠生, 译.北京: 东方出版社: 9-20)
  • Bishop C M. 2006. Pattern recognition and machine learning. Berlin Heidelberg: Springer
  • Cattell R B. 1978. The Scientific Use of Factor Analysis in Behavioral and Life Sciences. Boston, MA: Springer
  • Chen L J. 2010. The relationship between aesthetic experience and positive emotion and the impact on change detection. Chongqing: Southeast University: 39-43 (陈丽君. 2010. 美感与积极情绪的关系及对变化觉察的影响. 重庆: 西南大学: 39-43)
  • Chih C C, Chih J L. 2011. LIBSVM:a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(27): 1-27 [DOI:10.1145/1961189.1961199]
  • Cohen P, Stephen G W and Leona S A. 2003. Applied multiple regression/correlation analysis for the behavioral sciences. Third edition. Mahwah, New Jersey: Lawrence Erlbaum Associates & Publishers, 193-194
  • Cronbach L J. 1951. Coefficient alpha and the internal structure of tests. Psychometrika, 16(3): 297-334 [DOI:10.1007/BF02310555]
  • Dong X W. 2003. An Introduction to Aesthetics. Beijing: Peking University Press: 38-65 (董学文. 2003. 美学概论. 北京: 北京大学出版社: 38-65)
  • Ding Y H. 2008. A research on the role of aesthetic experience ofconcept metaphor understanding to the scientific concept understanding. Chongqing: Southwest University: 87-90 (丁月华. 2008. 概念隐喻理解中的美感体验对科学概念理解的作用研究. 重庆: 西南大学: 87-90)
  • Feng Q. 1985. Encyclopedia of philocophy. Shanghai: Shanghai Word Press: 1-35 (冯契. 1985. 哲学大辞典. 上海: 上海辞书出版社: 1-35)
  • Friedman J H. 2001. Greedy function approximation:A gradient boosting machine. Annals of Statistics, 29(5): 1189-1232 [DOI:10.1214/aos/1013203451]
  • Gao F, Nie J, Huang L, Duan L Y, Li X M. 2017. Traditional Chinese painting classification based on painting techniques. Chinese Journal of Computers, 40(12): 2871-2882 (高峰, 聂婕, 黄磊, 段凌宇, 李晓明. 2017. 基于表现手法的国画分类方法研究. 计算机学报, 40(12): 2871-2882) [DOI:10.11897/SP.J.1016.2017.02871]
  • Geurts P, Ernst D, Wehenkel L. 2006. Extremely randomized trees. Machine Learning, 63(1): 3-42 [DOI:10.1007/s10994-006-6226-1]
  • Gu J H, Zhang Z G. 1999. Aesthetics and Aesthetics Educational Dictionary. Beijing: Academy Press: 69-71 (顾建华, 张占国. 1999. 美学与美育词典. 北京: 学苑出版社: 69-71)
  • Hager M, Hagemann D, Danner D, Schankin A. 2012. Assessing aesthetic appreciation of visual artworks-the construction of the Art Reception Survey (ARS). Psychology of Aesthetics, Creativity, and the Arts, 6(4): 320-333 [DOI:10.1037/a0028776]
  • Hagtvedt H, Patrick V M, Hagtvedt R. 2008. The perception and evaluation of visual art. Empirical Studies of the Arts, 26(2): 197-218 [DOI:10.2190/EM.26.2.d]
  • Hevner K. 1936. Experimental studies of the elements of expression in music. The American Journal of Psychology, 48(2): 246-268 [DOI:10.2307/1415746]
  • Huber P J. 1981. Robust Statistics. New York: John Wiley and Sons
  • Israeli N. 1928. Affective reactions to painting reproductions:a study in the psychology of esthetics. Journal of Applied Psychology, 12(1): 125-139 [DOI:10.1037/h0070445]
  • Joshi D, Datta R, Fedorovskaya E, Luong Q T, Wang J Z, Li J, Luo J B. 2011. Aesthetics and emotions in images. IEEE Signal Processing Magazine, 28(5): 94-115 [DOI:10.1109/MSP.2011.941851]
  • Ke Y, Tang X O, Jing F. 2016. The design of high-level features for photo quality assessment//Proceedings of 2016 IEEE Computer Vision and Pattern Recognition. New York: IEEE: 419-426 [DOI:10.1109/CVPR.2006.303]
  • Koch C, Ullman S. 1987. Shifts in selective visual attention:towards the underlying neural circuitry//VainaL M. Matters of Intelligence:Conceptual Structures in Cognitive Neuroscience.Human neurobiology, Dordrecht:Springer, 4(2): 115-141 [DOI:10.1007/978-94-009-3833-5_5]
  • Korn F, Sidiropoulos N, Faloutsos C, Siegel E and Protopapas Z. 2008. Fast Nearest Neighbor Search in Medical Image Databases[EB/OL]. 2008-12-02[2019-03-13]. http://www-db.disi.unibo.it/courses/SI-LS/papers/KFS+96.pdf
  • Konstantinov, Angenov. 1987. Music Aesthetic principles. Beijing: China Federation of Literary & Art Circles Publishing Corp: 23-40 (康斯坦丁诺夫, 安盖诺夫. 1987. 音乐美学原理. 北京: 中国文联出版公司: 23-40)
  • Lang P J, Bradley M M and Cuthbert B N. 1997. International affective picture system (IAPS): Technical Manual and Affective Ratings. Gainesville, FL: University of Florida
  • Li X, Lu G M, Yan J J, Zhang Z Y. 2018. A survey of dimensional emotion prediction by multimodal cues. Acta Automatica Sinica, 44(12): 2142-2159 (李霞, 卢官明, 闫静杰, 张正言. 2018. 多模态维度情感预测综述. 自动化学报, 44(12): 2142-2159) [DOI:10.16383/j.aas.2018.c170644]
  • Li Y Z, Sheng J C, Hua B. 2018. Improved embedded learning for classification of Chinese paintings. Journal of Computer-Aided Design & Computer Graphics, 30(5): 893-900 (李玉芝, 盛家川, 华斌. 2018. 中国画分类的改进嵌入式学习算法. 计算机辅助设计与图形学学报, 30(5): 893-900) [DOI:10.3724/SP.J.1089.2018.16539]
  • Liu Y, Tao L M, Fu X L. 2009. The analysis of PAD emotional state model based on emotion pictures. Journal of Image and Graphics, 14(5): 753-758 (刘烨, 陶霖密, 傅小兰. 2009. 基于情绪图片的PAD情感状态模型分析. 中国图象图形学报, 14(5): 753-758) [DOI:10.11834/jig.20090501]
  • Luo W, Wang X G, Tang X O. 2012. Content-based photo quality assessment//Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona, Spain:IEEE: 2206-2213 [DOI:10.1109/ICCV.2011.6126498]
  • Mackay D J C. 1994. Bayesian nonlinear modeling for the prediction competition. ASHRAE Transactions, 100(2): 221-234 [DOI:10.1007/978-94-015-8729-7_18]
  • Marković and Slobodan. 2010. Aesthetic experience and the emotional content of paintings. Psihologija, 43(1): 47-64 [DOI:10.2298/PSI1001047M]
  • Mehrabian A. 1996. Pleasure-arousal-dominance:a general framework for describing and measuring individual differences in Temperament. Current Psychology, 14(4): 261-292 [DOI:10.1007/BF02686918]
  • Meng Z H. 2008. Experimental Psychological Method of Subjective Evaluation of Sound Quality. Beijing: National Defense Industry Press (孟子厚. 2008. 音质主观评价的实验心理学方法. 北京: 国防工业出版社)
  • Mohammad S M and Kiritchenko S. 2018. WikiArtemotions: an annotated dataset of emotions evoked by art[EB/OL]. 2018-02-26[2019-03-13]. https://svkir.com/papers/Mohammad-Kiritchenko-WikiArt-LREC-2018.pdf
  • Murphy and Kevin P. 2012. Machine learning: a Probabilistic Perspective. MIT press. Massachusetts: The MIT Press
  • Murray N, Marchesotti L, Perronnin F. 2012. AVA:a large-scale database for aesthetic visual analysis//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2408 [DOI:10.1109/CVPR.2012.6247954]
  • Quinlan J R. 1986. Induction of Decision Trees. Machine Learning, 1(1): 81-106 [DOI:10.1023/A:1022643204877]
  • Rowold J. 2008. Instrument development for esthetic perception assessment. Journal of Media Psychology:Theories, Methods, and Applications, 20(1): 35-40 [DOI:10.1027/1864-1105.20.1.35]
  • Shao D Z. 1999. The similarities and differences between Chinese landscape painting and Western landscape painting:on the history, present situation and prospect of the blending of the two. Literature and Art Studies, (4): 57-69 (邵大箴. 1999. 中国山水画与西方风景画的同和异——兼论两者交融的历史、现状与前景. 文艺研究, (4): 57-69)
  • Shao L Y, Ma C Y, Wang B M. 2002. Chinese Fine Arts Dictionary. Shanghai: Shanghai Word Press: 12-16 (邵洛羊, 马承源, 王伯敏. 2002. 中国美术大辞典. 上海: 上海辞书出版社: 12-16)
  • Silvia P J, Fayn K, Nusbaum E C, Emily C, Beaty R E. 2015. Openness to experience and awe in response to nature and music:personality and profound aesthetic experiences. Psychology of Aesthetics, Creativity, and the Arts, 9(4): 376-384 [DOI:10.1037/aca0000028]
  • Stamatopoulou D. 2004. Integrating the philosophy and psychology of aesthetic experience:development of the aesthetic experience scale. Psychological Reports, 95(2): 673-695 [DOI:10.2466/pr0.95.2.673-695]
  • Sun X, Ye J Q, Long R T, Ren F J. 2014. Sentiment analysis of Chinese microblog based on emotional semantic words dictionary and PAD model. Journal of Shanxi University (Natural Science Edition), 37(4): 580-587 (孙晓, 叶嘉麒, 龙润田, 任福继. 2014. 基于情感语义词典与PAD模型的中文微博情感分析. 山西大学学报:自然科学版, 37(4): 580-587) [DOI:10.13451/j.cnki.shanxi.univ(nat.sci.).2014.04.017]
  • Toshio Takeuchi. 1987. Aesthetic Encyclopedia. Translate by Chi X Z. Heilongjiang: Heilongjiang People's Press: 2-8 (竹内敏雄. 1987.美学百科词典.池学镇, 译.黑龙江: 黑龙江人民出版社: 2-8)
  • You S T. 2018. A gestalt analysis of GengLuo's selected works. Northern Music, 38(8): 77-78, 88 (游师庭. 2018. 罗赓音乐的艺术价值初探——以格式塔分析原则为例. 北方音乐, 38(8): 77-78, 88) [DOI:10.3969/j.issn.1002-767X.2018.08.054]
  • Ye L. 1999. Modern Aesthetic System. Beijing: Peking University Publishers: 1-35 (叶朗. 1999. 现代美学体系. 北京: 北京大学出版社: 1-35)
  • Zhong J and Qian M Y. 2005. A study of development and validation of Chinese mood adjective check list 13(1): 9-13 (钟杰, 钱铭怡.中文情绪形容词检测表的编制与信效度研究.中国临床心理学杂志, 2005, 13(1): 9-13[DOI:10.3969/j.issn.1005-3611.2005.01.003])
  • Zhou Z H. 2016. Machine Learning. Beijing: Tsinghua University Press (周志华. 2016. 机器学习. 北京: 清华大学出版社)