-
题名拥抱融合的多模态灾害分析算法
- 1
-
-
作者
梅欣
缪梓敬
-
机构
华南师范大学计算机学院
-
出处
《计算机与现代化》
2022年第10期82-87,共6页
-
基金
广东省重点领域研发计划项目(2019B111101001)。
-
文摘
融合文本和图像的多模态信息相对于单模态可以提升灾害事件分析准确率。但是已有的工作多数将文本特征和图片特征进行简单的融合,在提取、融合特征的时候造成特征的冗余,同时忽略了模态之间的联系,没有考虑到图像和文本之间特征的相关性。为此,本文分析和研究目前流行的多模态融合算法,提出一种拥抱融合的多模态灾害事件分析算法。首先将文本特征和图像的特征向量互相对比,考虑文本和图像特征之间的相关性。然后基于多项抽样,剔除冗余的特征,融合文本特征和图像特征。实验结果表明,拥抱融合在Crisis MMD2.0数据集上实验1的2个任务的分类效果准确率分别高达88.2%、85.1%,都明显优于其他多模态融合模型,表明了该模型的有效性。同时第2个实验也验证了拥抱模型对于不同文本和图像深度学习模型的适用性。
-
关键词
多模态融合
拥抱融合
多项抽样
多模态灾害事件
Crisis
MMD2.0
-
Keywords
multi-modal fusion
embrace fusion
multinomial sampling
multi-modal disaster event
CrisisMMD2.0
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多元信息融合的神经机器译文自动评价方法
被引量:1
- 2
-
-
作者
刘媛
李茂西
项青宇
李易函
-
机构
江西师范大学计算机信息工程学院
江西师范大学管理科学与工程研究中心
南京航空航天大学自动化学院
-
出处
《中文信息学报》
CSCD
北大核心
2023年第3期89-100,共12页
-
基金
国家自然科学基金(61662031,61462044)
江西省教育厅科技项目(GJJ210306)
教育部产学合作协同育人项目(220604647062739)
-
文摘
机器译文自动评价对推动机器翻译发展和应用有着重要作用。最新的神经机器译文自动评价方法使用预训练语境词向量提取深层语义特征,并将它们直接拼接输入多层神经网络预测译文质量,其中直接拼接操作容易导致特征间缺乏深入融合,而逐层抽象进行预测时容易丢失细粒度准确匹配信息。针对以上问题,该文提出将中期信息融合方法和后期信息融合方法引入译文自动评价,使用拥抱融合对不同特征进行交互中期融合,基于细粒度准确匹配的句移距离和句级余弦相似度进行后期融合。在WMT’21 Metrics Task基准数据集上的实验结果表明,提出的方法能有效提高其与人工评价的相关性,达到与参加评测最优系统的可比性能。
-
关键词
机器翻译
译文自动评价
信息融合
信息表征
拥抱融合
-
Keywords
machine translation
automatic evaluation of machine translation
information fusion
information representation
embrace fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-