航空安全事件图文关联方法的研究

针对航空安全事件信息管理主要基于文本信息的问题,提出一种航空安全事件图文关联方法(HG-RRF)。针对文本与图像两种不同模态的数据,分别采用混合高斯拉普拉斯模型+高斯模型(HGLMM+GMM)与全卷积网络(Fully Convolutional Network,FCN)进行特征提取,并将提取的特征分别输入到一个部署了循环残差融合模块(Recurrent Residual Fusion,RRF)的网络中。通过双向损失函数计算相似度,从而获得双向的跨模态关联结果。实验结果表明,该方法在公共数据集前K个检索结果的召回率上有所提升,将该方法应用在航空安全事件数据集上,有效实现了图文信息的关联,为航空安全事件多模态数据的融合提供了方法支撑。

基于渐进式双网络模型的低曝光图像增强方法

传统的图像增强方法对低曝光图像进行增强时,通常只考虑到了亮度的提升,忽略了增强过程中带来的噪声放大问题.而当前基于深度学习的方法利用端到端的网络直接学习低曝光图像到正常图像的映射关系,忽略了低曝光图像形成的物理原理,也没有考虑解决噪声放大的问题.针对上述问题,本文通过对图像降质的本质原因进行分析,提出一种基于渐进式双网络模型的低曝光图像增强方法,该方法包含图像增强模块以及图像去噪模块两个部分.对每个模块的构建也采用了渐进式的思想,考虑了图像由暗到亮的亮度变化,以及从粗到细的图像恢复过程,使增强后的结果更接近真实图像.为了更好地训练网络,本文构建了一种双向约束损失函数,从图像降质模型的正反两个方向使网络学习结果逼近真实数据,达到动态平衡.为了验证本文方法的有效性,本文与一些主流的方法从主观和客观两方面进行了实验对比,实验结果证明了本文方法得到的结果更接近真实图像,获得了更优的性能指标.

面向数字文旅的图像文本跨模态检索方法

[目的/意义]图像文本跨模态检索应用对最大化利用数字文旅资源具有重要意义。然而,数字文旅领域的图像文本跨模态检索方法面临长文本挑战、数据缺失、内存资源有限等问题。为此,我们提出了一种新的基于Transformers和MobileNet V3模型的数字文旅图像文本跨模态方法。[方法/过程]首先,提出了基于自注意力机制的双层多组Transformers模型从标题、正文和评论等文本中学习具有互补性的文本特征;其次,设计了FastR-CNN和MobileNet V3模型学习图像局部细粒度特征;最后,提出了多元线性回归方法在共享子空间补全缺失数据。构建以图搜文和以文搜图的双向三元损失函数学习模型参数。[结果/结论]在标准数据集Flickr30k、自建数据集CulTour-Sha和有数据缺失的数据集Flickr30k-1与CulTour-Sha-1上的大量实验结果表明,我们的方法在召回率、内存需求和计算速度等方面优于当前几种先进的跨模态检索方法。