基于子句抽取的文本摘要自动提取算法

TextRank算法及SWTextRank等改进算法在抽取式摘要生成中得到了广泛的应用,但它们都没有有效地解决抽取式摘要所存在的冗余性问题。为此,提出一种基于子句抽取的文本摘要自动提取算法(PTextRank)。首先,使用Sinica Treebank(STB)对每个句子进行语法标记,进而基于子句设置抽取单元;接着,使用BERT(Bidirectional Encoder Representation from Transformers)构建标题和每个子句的特征向量,并计算子句特征向量间的相似性,将其存放在相似度矩阵中;最后结合子句位置、子句与标题的相似度等调整子句相似度矩阵,迭代计算直至收敛,进而选取得分最高的子句作为最终摘要。实验分析表明,PTextRank算法有效地避免了多个句子中存在的冗余信息,且相比于TextRank和SWTextRank,PTextRank生成摘要的准确率至少提高6%,同时生成的摘要质量更好。

基于文本摘要提取的双路情感分析模型

针对传统文本分类模型存在识别能力受限、训练时间随着输入长度倍增的问题,提出了一种基于文本摘要提取的双路特征情感分析模型(BLAT)。BLAT模型引入Fastformer的加性注意力机制代替Transfomer的自注意力机制,使得模型能够在不损失精度的情况下,面对长文本训练能够有较为出色的训练速度。模型通过对原始文本数据做摘要提取处理形成双路特征,融入长短期记忆网络与卷积神经网络组成双路特征提取网络,实现对文本情感倾向的高效识别。通过实验在中文电商评论数据集上进行验证,准确率可以达到92.26%,相较当下主流模型能够达到较好的效果。

基于改进的TextRank的自动摘要提取方法

经典的TextRank算法在文档的自动摘要提取时往往只考虑了句子节点间的相似性,而忽略了文档的篇章结构及句子的上下文信息。针对这些问题,结合中文文本的结构特点,提出一种改进后的iTextRank算法,通过将标题、段落、特殊句子、句子位置和长度等信息引入到TextRank网络图的构造中,给出改进后的句子相似度计算方法及权重调整因子,并将其应用于中文文本的自动摘要提取,同时分析了算法的时间复杂度。最后,实验证明iTextRank比经典的TextRank方法具有更高的准确率和更低的召回率。

监控视频的摘要提取方法研究

分析了监控视频的特点,提出了一种基于帧运动量计算和运动片段分割的监控视频摘要提取方法。实验结果表明,该方法具有快速、准确的特点,具有较高的实用价值。

基于改进TextRank算法的中文文本摘要提取

为提高中文文本摘要提取的准确度,融合Doc2Vec模型、K-means算法和TextRank算法,提出一种中文文本摘要自动提取算法(DK-TextRank)。使用Doc2Vec模型进行文本向量化,采用改进的K-means算法实现相似文本聚类,在每个聚类簇中应用加入权重影响因子的TextRank算法对文本语句进行排序,并提取主题句生成摘要。实验结果表明,DK-TextRank算法在摘要语句数量为7时F值达到79.36%,相比传统TF-IDF、TextRank算法提取的摘要质量更高。

一种基于Word2Vec的M-TextRank文本摘要模型

针对传统TextRank摘要提取算法导致大量的冗余数据的问题,提出了一种改进后的Word2Vec+M-TextRank模型。首先通过使用神经网络预训练模型Word2Vec将文本数据编码得到具有高相关性、高抽象型和高概括性特征的词向量,然后使用改进后的M-TextRank算法依据句权重构建句向量图,最后使用共现关系构造任两点之间的边,迭代传播各节点的权重进行文本摘要提取。实验结果表明,提取方法对于中文数据在保证内容的全面性的同时,尽可能地减少冗余信息,提高摘要的可读性和可用性,同时提高了模型的准确性和效率。

基于遗传算法的非监督摘要提取

摘要提取的一大难题是如何在不丢失关键信息的情况下简约地描述整个文档。监督模型因通常需要大量的训练语料而在实际使用中受限。子集选择算法是无监督自动文档摘要的有效方法。在该类模型中,摘要提取被建模为求解某个目标表达式的最优值。然而,优化子集选择表达式是一个NP问题,当前普遍采用贪婪式算法来求解。基于此,提出了一种新的基于遗传算法的非监督摘要提取框架,并充分考虑了中文中段首句和段尾句的重要性。实验结果表明,该方法具有较好的提取性能。

基于LSTM的时政新闻摘要提取研究

本文针对时政新闻观点提取的核心问题,在深入研究当前文本挖掘领域研究成果的基础上,提出了基于深度学习的时政新闻摘要提取方法,构建了基于LSTM的计算模型,并通过编程试验证明,该方法有效的解决了时政新闻实体多样性问题,取得了良好的工程应用效果。

TextRank抽取摘要技术在公文服务(OA系统)中的应用

技术能够帮助人们快速掌握原文内容,在办公自动化方面有良好的应用前景。针对抽取式摘要技术存在的关键句寻找错误、句子语序不通顺等问题,本文提出了在TextRank算法基础上的改进算法。此改进考虑了句子位置对累加权重的影响、句子长度的影响、词性过滤、摘要句输出顺序。测试结果证明,改进后的算法在公文摘要抽取中有较好的效果,其生成的摘要具有更高的相关性和多样性,句子通顺程度也得到了提升。

基于TextRank的自动摘要优化算法

在对中文文本进行摘要提取时,传统的TextRank算法只考虑节点间的相似性,忽略了文本的其他重要信息。针对中文单文档,在现有研究的基础上,使用TextRank算法并考虑句子间的相似性,使TextRank算法与文本的整体结构信息、句子的上下文信息等相结合,如文档句子或者段落的物理位置、特征句子、核心句子等有可能提升权重的句子来生成文本的摘要候选句群。对得到的摘要候选句群作冗余处理,以除去候选句群中相似度较高的句子,得到最终的文本摘要。最后通过实验验证,该算法能够提高生成摘要的准确性,表明了该算法的有效性。

基于主题的SVM与MMR融合的会议摘要技术

为获得较高质量的会议摘要,提出一种基于主题的MMR与SVM相融合的会议摘要提取方法。以会议文本记录为处理对象,以SVM(support vector machine)和MMR(maximal marginal relevance)摘要提取算法为基础,针对当前的会议围绕某个主题进行讨论、交流的特点,以主题关键词为依据进行打分。实验结果表明,将所提系统分别与SVM摘要系统、MMR摘要系统以及SVM与MMR相结合摘要系统进行对比时,前者提取的摘要效果更好。

基于长短期记忆网络的电网数据自动摘要研究

出于在混合大数据中准确且高效地提取电网相关价值性信息的目的,研究基于长短期记忆网络与人工蜂群优化算法的电网数据自动摘要算法。进行双向LSTM学习目标词语前后文信息的设计,增加注意力机制,对电力范畴词汇及术语进行提取,借助条件随机场模型执行对嵌入序列的训练任务,预测句子是否可划归至电力范畴,在改进人工封群优化算法的支持下,优化处理大数据电力摘要提取问题,从混合大数据中将价值最高的电力相关数据确定下来。基于实际电网数据对本文算法进行验证,结果显示该算法获得了较好的效果。

Seq2Seq中文文本摘要在金融知识引擎系统中的应用

针对一个基于中文文本摘要的金融知识引擎系统,研究了Seq2Seq模型在系统中的应用。首先构建Seq2Seq模型,将研报等重要的数据输入模型的Encoder端,从Decoder端输出摘要。在seq2seq模型中加入了Attention(注意力)机制,也就是在产生输出的时候,对关系较大的输入输出数据赋以较大权重,再根据关注的区域产生下一个输出。最后通过LawRouge评价器对生成的金融数据进行效果评价。

基于广播电台数字音频资料库元数据项的智能分析与检索

本文介绍了广播电台数字音频资料库在音频检索方面的管理现状,并对基于资料库元数据项进行智能分析及音频检索涉及的几个主要关键技术进行了研究,提出了实现方法,试图缓解人工标注工作量问题,尽量提高检索准确性。

一种网页自动保存和链接推荐方法

本文提出一种基于信息内容特征和用户行为特征的自动提取信息摘要、保存信息和主动推荐信息的方法,即在用户授权的情况下,根据信息的内容特征和用户的行为特征对信息进行保存价值度量和摘要提取,对达到事先确定的价值阈值的信息和摘要进行自动保存和主动推荐。

档案智能管理系统设计

以档案智能管理系统为主题,调研了档案智能管理产生的背景,分析了档案智能系统要解决的具体问题,重点研究了关键技术如内容摘要提取、智能化分析处理;档案智能管理系统的设计理论基础,如元数据管理等,阐述了档案智能管理系统的功能设计方案。

基于预训练语言模型的健康谣言检测

当前大多数谣言检测主要面向社交媒体数据,所处理文本序列较短,然而面向包含多个句子的段落或长序列文本篇章输入时,因不能提取有效特征进而影响模型识别效果.为获取谣言检测的有效信息,文章提出基于I-BERT-BiLSTM (Improved-BERT-BiLSTM)的健康类谣言检测方法,通过提取文档级长序列文本的摘要,并输入到以多层注意力机制为框架的深层神经网络进行特征提取,最后输入到BiLSTM进行谣言分类.实验结果表明:文章提出的I-BERT-BiLSTM模型在自建健康类谣言数据集与公开数据集上达到了97.75%和91.15%的准确率.