中性语音韵律影响语义情绪感知:来自大规模情感评价实验的证据

情绪词是心理语言学研究的重要材料。研究者在实验选材时,多根据视觉模态下文字载体的常模数据平衡情绪词的情感维度,并直接用于多模态、跨通道范式中,忽略了语音载体对词汇情感知觉的影响。因此,本文旨在通过大规模情感评价实验揭示语义情绪感知的跨模态非对称性,同时分析两位发音人的声学参数,探究以中性韵律为基线载体的听觉模态下,情绪语义感知变化的个体差异。首先,本文进行了一项大规模的情感评价实验。实验邀请了361名大学生参加,选取了195个汉语双字情绪形容词,建立了视觉(文字载体)和听觉(语音载体)模态下的3种测试条件,即视觉条件、男性发音人听觉条件、女性发音人听觉条件,并从熟悉度、效价、唤醒度、支配度、强度5个情感维度分别测量各条件下的语义情绪感知数据。行为实验数据表明,作为语音载体的中性韵律导致情绪效价呈现“趋中”现象,而情感强度保持不变。另外,男性发音人听觉条件下的优势度和唤醒度评价与视觉条件存在较大差异,而女性发音人听觉条件与视觉条件的结果相似。因此,不同发音人条件下的情绪语义感知差异的程度不同,存在个体差异。基于此,本文对两位发音人的音频进行了声学分析和主观评价。声学分析表明,男性发音人的倒谱凸显峰值更高,基频范围更窄,发音时间更长,在声学参数上更贴近中性韵律。此外,对男女发音人的音频主观评价表明,男性发音人的嗓音表现更具吸引力,中性韵律特征更强,对情绪语义判断产生的影响更强烈。因此,发音人的嗓音特质及音频的声学特征可能对跨模态情绪语义感知造成不同维度、不同程度的影响。该研究明确揭示出视觉与听觉基线条件下语义情绪感知的非对称性。传统观点认为,视觉的语义情绪感知和中性韵律搭载的基线听觉感知结果相同,即中性韵律对语义情绪感知没有影响。然而,本文采用大规模情感评价实验结合声学分析的方法首次揭示出中性韵律有可能造成语义情绪感知偏移,且这种感知偏移并非一概而论,而是受限于发音人的音质、中性表现程度等声学信息和主观感受上的个体差异。因此,本文对传统的跨模态感知对等观点提出质疑,建议研究者严格控制中性听觉材料并根据听觉模态下得到的情感常模选择并平衡情绪词材料,也呼吁今后建设的情绪词语料库分别报告视觉和听觉模态的常模数据。