基于文本增强的共注意机制的多模态标签推荐

针对新型社交平台用户发布帖子时通常会使用标签来标记帖子的关键词或话题来提高自己在社交媒体中参与度的问题,使用了层级结构,从单词、短语和句子三个层级来提取文本特征。并且提出文本内容的汇总注意机制,将每个层级的语义内容总结为一个特征向量,然后提出一个文本增强的共注意模型,将每个层级的语义分别与图像模态进行语义融合。同时,考虑到不同用户使用标签的偏好习惯等各不相同,引入一个外部存储单元来记录每个用户的历史标签习惯,计算当前待推荐帖子与历史帖子之间的相似度影响向量,建立用户的个性化模块。在真实数据集上的实验结果表明,文中基于多模态帖子内容理解和个性化模块分析模型相比与其他模型,在精确率、召回率和F 1分数上都有很大提升;提出的两个关于多模态内容理解的注意力机制和用户的个性化建模都对整体推荐效果有显著的贡献。

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。

基于图文注意力融合的主题标签推荐

为了解决社交媒体平台上的信息超载问题,帮助用户快速捕捉所需信息,对基于多模态内容的标签推荐问题进行研究。针对不同模态间的异质性差异,采用共注意力机制进行跨模态内容的特征建模与融合;针对多标签分类方法只能推荐出数据集标签空间中标签的不足,采用Seq2Seq框架生成新的标签序列,并通过一种聚合策略将分类方法的推荐结果聚合到生成的标签序列中,得到2种方法的统一推荐模型。在大规模数据集上的实验结果表明:多模态方法比单模态方法更具优势,所提出的统一推荐模型的F1值比仅使用单模态的对比模型高9.44百分点;生成新标签序列的方法也优于传统的分类方法,所提出的标签序列生成模型的F1值比对比模型COA高3.41百分点;所提出的统一推荐模型UNIFIED-CO-ATT的F1值比GEN-CO-ATT模型高1.25百分点,其效果优于其他对比模型。所提出的模型综合了分类方法和生成方法的特点,可以使推荐的标签同时具有准确性和新颖性。