一种新的seq2seq的可控图像字幕的生成方法

针对当前的图像字幕方法只能够用一种黑盒的、从外部难以控制的架构描述图像的问题。创造性地将图像字幕问题转换为seq2seq问题,达到了可控生成图像字幕的效果。设计一个由图像区域构成的实体集合或实体序列作为控制信号,在实体块切换的块哨兵和带视觉哨兵的自适应注意力机制的指导下,将控制信号有规律地输入到双层的长短期记忆网络(long short term memory,LSTM)中,以可控的方式指导模型生成对应的图像字幕;此外,baseline使用cross entropy loss来早停模型的训练,引入强化学习思想来解决训练时的优化目标与评估算法效果时指标不一致的问题,进一步优化模型效果。实验表明:在MSCOCO及Flickr30k数据集上,提出的算法在生成可控图像字幕、字幕质量、多样性上达到了非常好的效果。

融合知识图谱的文本情感分析

目前研究文本情感分类往往只关注文档内容,对文本信息缺失和歧义等特点考虑不够,导致模型性能较低,为此提出一种融合知识图谱的用户和产品层次化注意力网络.首先通过双向长短期记忆网络获取词汇层隐藏表示,利用具有哨兵注意力机制将知识图谱中的知识与文本相结合获取词汇的知识感知状态向量;其次利用注意力机制结合用户和产品信息;最终利用归一化指标函数识别情感极性.结果表明,该方法在Yelp和IMDB数据集上的精确率和均方根误差优于基准方法,验证了模型的有效性.