针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练...针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。展开更多
实体链接是明确文本中实体指称的重要手段,也是构建知识图谱的关键技术,在智能问答、信息检索等领域中具有重要作用,但由于中文文本的多词一义或者一词多义等问题,现有的文本实体链接方法准确率较低。针对这些问题,本文提出了一种基于BE...实体链接是明确文本中实体指称的重要手段,也是构建知识图谱的关键技术,在智能问答、信息检索等领域中具有重要作用,但由于中文文本的多词一义或者一词多义等问题,现有的文本实体链接方法准确率较低。针对这些问题,本文提出了一种基于BERT(Bidirectional Encoder Representations from Transformers)的文本实体链接方法命名为STELM模型,通过将每一对指称上下文和对应的候选实体描述分别输入BERT模型,将输出的结果拼接起来通过一个全连接层然后取得分最高的候选实体作为最终结果。在CCKS2020(2020全国知识图谱与语义计算大会)数据集上的实验结果表明本文提出的模型准确率相较于其他模型有一定的提升,准确率达到了0.9175。展开更多
文摘针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。
文摘实体链接是明确文本中实体指称的重要手段,也是构建知识图谱的关键技术,在智能问答、信息检索等领域中具有重要作用,但由于中文文本的多词一义或者一词多义等问题,现有的文本实体链接方法准确率较低。针对这些问题,本文提出了一种基于BERT(Bidirectional Encoder Representations from Transformers)的文本实体链接方法命名为STELM模型,通过将每一对指称上下文和对应的候选实体描述分别输入BERT模型,将输出的结果拼接起来通过一个全连接层然后取得分最高的候选实体作为最终结果。在CCKS2020(2020全国知识图谱与语义计算大会)数据集上的实验结果表明本文提出的模型准确率相较于其他模型有一定的提升,准确率达到了0.9175。