基于自适应权值融合的多模态情感分析方法

多模态情感分析是利用多种模态的主观信息对情感进行分析的一种多模态任务,探索模态间的有效交互是多模态分析中的一项重要研究.在最近的研究中发现,由于模态的学习速率不平衡,导致单个模态收敛时,其余模态仍处于欠拟合的状态,进而削弱了多模态协同决策的效果.为了能更有效地将多种模态结合,学习到更具有表达力的情感特征表示,提出一种基于自适应权值融合的多模态情感分析方法.所提方法分为两个阶段:第1个阶段是根据不同模态的学习梯度差异自适应地改变单模态特征表示的融合权值,实现动态调整模态学习速率的目的,把该阶段称为B融合(balanced fusion).第2个阶段是为了消除B融合的融合权值对任务分析的影响,提出模态注意力探究模态对任务的贡献,并根据贡献为各模态分配权重,把该阶段称为A融合(attention fusion).用于情感分析的多模态表示由B融合和A融合的结果共同组成.实验结果显示,将B融合方法引入现有的多模态情感分析方法中,能够有效提升现有方法对情感分析任务的分析准确度;消融实验结果显示,在B融合的基础上增加A融合方法能有效减小B融合权重对任务的影响,有利于提升情感分析任务的准确度.与现有的多模态情感分析模型相比,所提方法结构更简单、运算时间更少,且任务准确率优于对比模型,表明所提方法在多模态情感分析任务中的高效性和优异性能.

基于引导滤波的自适应红外图像增强改进算法

在红外图像处理中,细节增强和噪声抑制尤为重要,重点在于将高动态范围的红外图像压缩至低动态范围的同时保留细节信息、抑制图像噪声。以引导滤波的自适应红外图像增强算法为基础,提出一种基于引导滤波的自适应红外图像增强改进算法。通过引导滤波平滑初始输入图像,将初始输入图像与平滑后的图像做差获得包含大动态温度信息的基础层图像和小动态温度信息的细节层图像,分别对基础层图像、细节层图像进行压缩处理和噪声抑制;以不同的融合比例将处理后的基础层图像、细节层图像进行融合获得输出图像。为了减少算法运算时间、突出图像细节信息的同时减小细节层噪声对输出图像的影响且达到自适应场景的效果,利用可用于筛选有效灰度值的自适应门限参数和直方图分布信息设计出一维压缩数组对图像进行压缩,并将图像融合中的定值比例系数更改为自适应融合比例系数。通过直方图分布信息中的最大值、最小值确定自适应门限参数,同时利用直方图分布信息设计出一维压缩数组对图像进行压缩;获取直方图中有效灰度值个数,通过有效灰度值个数与总灰度值个数之间的比值对图像的场景信息进行判断,根据不同的场景信息确定基础层图像与细节层图像的自适应融合比例系数,实现图像融合。实验结果分别与直方图均衡算法、基于引导滤波的高动态红外图像增强算法、基于引导滤波的自适应红外图像增强算法进行比较,选用四种不同的场景从主观、客观两种层面进行分析。对比结果从主观分析得出该算法处理后的图像可突出细节轮廓信息、减少细节层噪声对融合后输出图像的影响。从客观评价得出该算法在四种场景下的平均计算时间为0.753 5 s,低于对比算法计算时间;并且使基础层图像和细节层图像的融合比例系数达到自适应场景的效果。