结合多种注意力机制的多模态情感识别方法

多模态语音情感识别需要全面理解对讲话者话语的内容(文本信息)以及说话的方式(声学信息),但如何有效融合语音和文本两种模态的特征是一个具有挑战性的问题。为此,提出一种基于双向循环门控单元和多种注意力的多模态情感识别模型。该模型首先使用双向循环门控单元提取语音和文本模态的特征,然后使用由并行的自注意力模块和引导注意力模块组成的多模态特征融合网络捕获模态内及模态间的交互关系,以使模型在训练学习过程中能同时关注到模态间及模态内重要的交互特征,进而增强模型的表示能力。在IEMOCAP数据集上对所提模型进行评估,结果表明该模型的情感分类结果相比其他方法明显提升。

基于多尺度级联注意网络的肺实质分割

针对肺实质分割任务中不同尺度特征的全局上下文信息利用率低、分割精度低、分割细节模糊等问题,提出一种多尺度级联注意网络(multiscale cascaded attention networks,MCANet)。该网络主要由多尺度特征提取网络(multi-scale feature extraction network,MSFENet)、多尺度注意力引导模块(multi-scale attention guidance module,MSAG)、解码特征整合器(decoding feature integrator,DFI)组成。首先,设计MSFENet以提高特征信息在不同通道维度上的空间交互能力,在采样过程中最大限度地保留图像的关键特征,丰富全局上下文信息。然后,设计MSAG提高模型在解码过程中对多尺度特征信息的利用率,并最大限度地融合两种注意力机制的优势。最后设计DFI,重新整合解码器生成的解码特征,以提高模型对边缘信息的分割性能。在LUNA16数据集上对模型性能进行实验验证,得到了0.993的Dice和3.864的HD,实验结果证明了MCANet与其他主流医学分割模型相比有更优异的分割性能,能更准确地分割肺实质。