结合门控融合网络和残差傅里叶变换重建太阳斑点图

使用现有深度学习算法重建云南天文台拍摄的高度模糊太阳斑点图像时,出现高频信息丢失、边缘模糊、重建难度大等问题。对此,提出一种结合门控融合网络与残差傅里叶变换的太阳斑点图重建算法,其中门控融合网络由一个生成器和两个鉴别器组成,生成器包含去模糊模块、高维特征提取模块、门控模块和重建模块。去模糊模块采用基于双注意力机制的U形网络框架,获取低分辨率图像去模糊后的特征;高维特征提取模块使用残差傅里叶变换的卷积块,提取包含图像空间细节的高维特征;门控模块将上述两个特征进行融合,得到权重图,与去模糊后的特征进行加权后,再与高维特征融合,得到融合特征;重建模块采用残差傅里叶变换的卷积块和像素混洗层,将门控模块得到的融合特征图进行重建,得到高分辨率图像。利用两个鉴别器分别鉴别去模糊模块产生的去模糊图像和重建模块产生的高分辨率图像的真实性。最后,设计包含像素内容损失、感知损失和对抗损失的组合训练损失函数,指导模型训练。实验结果显示,所提方法与现有深度学习重建方法相比,高频信息的恢复能力更强,边缘轮廓更清晰,结构相似性和峰值信噪比指标更高。

基于自适应门控信息融合的多模态情感分析

多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。

融合源信息和门控图神经网络的谣言检测研究

社交媒体在带给人们便利同时,也为谣言的发布和传播提供了平台.目前,大多数的谣言检测方法都是基于文本内容信息,但在社交媒体场景下,文本内容大多是短文本,这类方法往往会因为数据稀疏性的问题导致性能下降.社交网络上的消息传播可建模为图结构,已有研究考虑消息传播结构特点,通过GCN等模型进行谣言检测.GCN依据结构信息聚合邻居来提升节点表示,但有些邻居聚合是无用的,甚至可能带来噪声,使得通过GCN得到的表示并不可靠.此外,这些研究不能有效的突出源帖信息的重要性.针对这些问题提出了一种融合门控的传播图卷积网络模型GUCNH,在GUCNH模型中,首先利用消息转发关系构建信息转发图,通过2个融合门控的图卷积网络模块来聚合邻居节点信息生成节点的表示,融合门控能够对图卷积之前的特征表示和之后的特征表示进行选择与组合,以得到更加可靠的表示.考虑到在转发图中,任意的帖子之间都可能存在相互影响,而不仅仅是基于邻接关系,因此在2个融合门控的图卷积网络模块之间引入多头自注意力模块来建模任意帖子之间的多角度影响.此外,在转发图中,源帖包含的信息往往是最原始、最丰富的,在生成各节点表示之后,选择性的增强了源节点的信息以增强根源信息的影响力.在3个真实数据集上进行的实验表明,提出的模型优于现有的方法.

基于汉字上下文信息增强词典知识融入的中文命名实体识别

由于中文语言缺少显式的分隔符,使得中文命名实体识别任务面临缺少词语边界信息的难题.为了解决这一问题,现有的主流模型通过引入词典来利用词语边界信息.然而,词典中的词语信息只是根据字词之间的匹配关系融入汉字表示中,忽视了句子信息对于词语选择的影响,与句子语义信息无关的词语不可避免地引入到模型中,使模型感知错误的词语边界信息.为了减少无关词语对于实体识别结果的影响,本文提出了一种新的中文命名实体识别方法 ELKI,通过带有句子语义信息的汉字上下文表示来增强词典知识的融入,从而改善模型感知词语边界的精度.具体地,本文设计了一种新型的交叉注意力网络从词典中挖掘与语义信息相关的词语信息.同时,本文构造了一种门控融合网络来动态地将词典知识融入到汉字的上下文表示中.在Resume、MSRA和OntoNotes三个基准数据集上的实验结果表明本文方法优于其它的基线模型.