一种基于异构图网络的多模态实体识别方法

基于图像信息的辅助,提高从非结构化文本中识别命名实体的准确率,可以有效缓解社交媒体场景中因短文本语义信息不全而产生歧义,图片多却不能发挥作用的问题.尽管现有的研究通常采用跨模态注意力机制合并文本和图像的语义表示,但是大多不能建立一个一致的表示来融合两种模态之间的语义信息,且图像中的冗余信息往往会影响多模态实体识别(Multimodal Name Entity Recognition,MNER)的性能.为了解决这些问题,本文提出了一种基于异构图模型的MNER方法,可以有效利用文本和图像之间的交互信息.具体地,首先,构建了一个基于BERT-BiLSTM-CRF的实体识别模型,识别出文本中可能存在的实体;其次,以文本中可能存在的实体作为两个模态之间的桥梁,设计了一个由Token、实体和视觉对象组成的异构图网络,并定义了两种边来表示相互间的语义关系;最后,基于文本和图像组成的异构图,设计了一种多模态融合模型(MHGT),从而减轻了图像噪声的负面影响.在两个通用的MNER数据集上的实验结果表明,本文提出的多模态实体识别方法在Twitter2015和Twitter2017上分别获得了75.26%和86.51%的F1值,优于基线模型的性能.

融入多特征的篇章级新闻要素关系抽取

随着互联网信息技术高速更新迭代,新闻文本信息在以指数级的速度增多。面对海量的新闻文本信息,如何自动提取长篇新闻文本中要素与要素之间的关系,成为研究的重点。篇章级新闻要素关系抽取是指从篇章级新闻文本中跨句子识别要素之间的关系信息,有助于加速人们对整篇新闻文本脉络的理解。本文以舆情新闻文本为例,提出融入多特征的篇章级新闻要素关系抽取方法,通过异构图模型将句子间的邻接关系、从属关系、句法依赖关系、要素间的多跳关系等多种特征进行融合,充分挖掘文本中潜在的上下文信息。在构建的篇章级舆情新闻要素关系数据集上的实验结果表明,融入的多种特征对要素关系抽取的性能均有明显的提升,F1值最高提升了4.09%,较目前主流方法取得了更好的效果。

融合社交情感分析的股市预测探究

针对现有股市预测研究中所存在的大众情感度量不够全面的问题,提出了一种基于社交情感分析的股市预测模型.该模型首先基于异构图模型的证券情感量化方法对社交媒介的数据进行情感分析,得到量化的情感时间序列;然后,基于自组织神经网络模型对情感序列及行情指数序列进行建模,从而对股票指数进行预测.在国内社交媒介及股市行情数据集上的实验结果表明,本文所建立的模型在预测误差和精度上较BP(Back Propagation)神经网络分别提升了15%和12%,能更好地预测股票指数.