基于语义依存和外部知识库的关键词抽取

为提升基于TextRank算法的关键词抽取效果,分析中文语义结构和分词算法的特点,提出一种融合语义依存和外部知识库的方法。使用语义依存图代替共现窗口构建词图,增强词图中各节点间的语义联系;在此基础上引入规范化谷歌距离和领域词典这两个外部知识库特征,结合文档内外部信息对词图中的边进行加权计算,对提取出的文档关键词应用前后向匹配算法做进一步处理,使提取的关键词更具语义完整性。实验结果表明,该方法在数据集上的关键词抽取效果有了显著提升,可读性更强,验证了所提方法的有效性。

结合外部知识库与适应性推理的场景图生成模型

为在场景图生成网络中获得重要的上下文信息,同时减少数据集偏差对场景图生成性能的影响,构建一种基于外部知识库与适应性推理的场景图生成模型。利用结合外部知识库的目标检测模块引入语言先验知识,提高实体对关系类别检测的准确性。设计基于Transformer架构的上下文信息提取模块,采用两个Transformer编码层对候选框和实体对关系类别进行处理,并利用自注意力机制分阶段实现上下文信息合并,获取重要的全局上下文信息。构建特征特殊融合的适应性推理模块,通过软化分布并根据实体对的视觉外观进行适应性推理关系分类,缓解实体对关系频率的长尾分布问题,提升模型推理能力。在VG数据集上的实验结果表明,与MOTIFS模型相比,该模型在谓词分类、场景图分类和场景图生成子任务上的Top-100召回率分别提升了1.4、4.3、7.1个百分点,对于多数关系类别具有更好的场景图生成效果。

融合外部知识和图卷积神经网络的生物医学事件联合识别

利用自然语言处理技术从生物医学文本中抽取药物治疗、疾病诊断等事件以及事件中涉及的疾病、药物等实体,对于生物医学领域相关学术研究以及各类生物医学应用系统具有重要意义。针对生物医学文本中的缩略词及专业术语难以识别和生物医学语义关系难以嵌入的问题,提出了一种融合外部知识和图卷积神经网络的生物医学信息联合识别模型。图卷积神经网络构建了包含实体和语义关系的异构图,能够迭代地融合本地知识图和外部知识图中的交互信息,根据得到的交互信息来进行生物医学实体对之间关系的抽取任务。预训练编码后利用图卷积神经网络构建本地和外部知识两个知识图,获得两个图中每个节点的特征表示,并且通过注意力实体链接的方法将两个图进行融合与信息迭代,进而抽取其最后一层隐藏层来完成最终的分类识别。其中统一医学语言系统(unified medical language system,UMLS)被用作实体消歧的外部知识库,实体链接器根据注意力权重选择对应实体。通过在MLEE语料库上进行的实验表明,联合任务能够实现事件抽取和触发词、元素识别的综合性能。

知识型视觉问答研究综述

视觉问答作为人工智能完备性和视觉图灵测试的重要呈现形式,加上其具有潜在的应用价值,受到了计算机视觉和自然语言处理两个领域的广泛关注。知识在视觉问答中发挥着重要作用,特别是在处理复杂且开放的问题时,推理知识和外部知识对获取正确答案极为关键。蕴含知识的问答机制被称为知识型视觉问答,目前还没有针对知识型视觉问答的系统性调查。面向视觉问答中的知识参与方式和表达形式的研究能够有效填补知识型视觉问答体系中在文献综述方面存在的缺口。文中对知识型视觉问答的各组成单元进行了调查,对知识的存在形态进行了研究,提出了知识层级概念。进一步地,针对视觉特征提取、语言特征提取和多模态融合过程中的知识参与方式和表达形式进行了归纳和总结,并对未来发展趋势及研究方向进行了探讨。

基于知识增强的方面级情感分析方法

方面级情感分析能够准确判断出句子中方面词的情感极性,在社交、电子商务等领域发挥着重要的作用。现有的方法大多通过序列表示或者注意力机制建模上下文和目标词间的关系,忽略了文本的背景知识以及方面词之间的概念链接,导致学习到的语义关系不够充分。针对上述问题,提出一种基于知识增强的方面级情感分析模型(Aspect Based Sentiment Analysis Model Based on Knowledge Enhancement,ABSA-KE)。首先,通过预训练模型BERT提取特征并得到对应的词向量,并使用解析器获取文本对应的依存关系树,利用BiLSTM和图注意力网络联合建模来学习节点嵌入表示并获得文本向量;其次,使用外部知识库引入不同语境下的方面词知识向量来增强方面级情感分析模型;最后,进行情感分类任务。通过与已有模型对比的实验结果表明,本文所提出的模型在方面级情感分析任务上是有效且合理的。

常识增强训练下的中文故事自动生成算法

为解决现有的神经语言生成模型存在生成故事中重复和长程连贯性缺失的问题,设计出一种常识增强训练的中文故事生成算法。该算法使用经SimBert模块降噪训练后的常识语料库,在Transformer架构下对GPT-2模型进行后训练,并使用OutGen故事集对训练好的模型进行微调;它利用外部知识库的常识进行常识增强训练提升生成文本的逻辑性,并使用常识降噪训练加强常识表述的多样性。实验结果表明,与GPT-2等预训练语言模型相比,本文的模型克服了生成故事的逻辑冲突;与ChatGPT等大型预训练语言模型相比,本文的模型在保证生成故事质量的同时,减少了训练资源的消耗。

外部信息引导和残差置乱的场景图生成方法

场景图因其具有的表示视觉场景内容的语义和组织结构的特点,有助于视觉理解和可解释推理,成为计算机视觉研究热点之一。但由于现存的视觉场景中目标和目标之间关系标注的不平衡,导致现有的场景图生成方法受到数据集偏置影响。对场景图数据失衡问题进行研究,提出一种基于外部信息引导和残差置乱相结合的场景图生成方法(EGRES),缓解数据集偏置对场景图生成的负面影响。该方法利用外部知识库中无偏置的常识性知识规范场景图的语义空间,缓解数据集中关系数据分布不平衡的问题,以提高场景图生成的泛化能力;利用残差置乱方式对视觉特征和提取的常识性知识进行融合,规范场景图生成网络。在VG数据集上的对比实验和消融实验证明,提出的方法可以有效改善场景图生成。对于数据集中不同标签的对比实验证明,提出的方法可以改善绝大多数关系类别的生成性能,尤其是中低频关系类别下的场景图生成性能,极大地改善了数据标注失衡的问题,比现有的场景图生成方法具有更好的生成效果。

基于事实和语义一致性的生成文本检测

文本生成技术的恶意滥用问题日益严重,因此生成文本检测技术至关重要.现有的检测方法依赖于基于特定数据集的统计异常特征,从而导致方法的泛化能力较差.本文考虑不同种类生成文本均易出现的事实错误、语义冲突问题,提出了一种基于事实和语义一致性的生成文本检测方法.该方法通过实体将文本和外部知识库进行比较,得到文本的事实一致性特征.另一方面,该方法借助文本蕴含技术对文本上文与下文进行关系推理,得到文本的语义一致性特征.最后将这两类特征与RoBERTa的输出隐藏向量拼接,输入到线性分类层进行预测.实验结果表明,该方法比当前的检测方法具有更高的准确率和泛化能力.

基于深度学习和主题模型的短文本分类方法

为了解决短文本的语义稀疏和特征信息难以提取问题,本文提出了一种基于深度学习的短文本分类方法.首先通过增加自注意机制的双向BiLSTM通道获取短文本特征词向量,引入外部CN-DBpedia知识库KBs来深度挖掘短文本语义,解决语义稀疏问题.其次通过BTM主题模型在短文本数据集上提取主体信息,为了得到准确的词向量拼接引入了超参数δ.最终将所得的特征词向量以及知识向量运用语义余弦相似度计算并拼接向量,将得到的拼接结果与主题信息通过Softmax分类器中进行分类.在中国微博情感分析数据集、产品评价数据集、中文新闻标题数据集、Sogou新闻数据集上进行实验.与TextCNN、TextRNN、TextRNN_Att、BiLSTM-MP、KPCNN算法相比,分类准确性有一定提高.