基于改进TextRank的科技文本关键词抽取方法

针对科技文本关键词抽取任务中抽取出现次数少但能较好表达文本主旨的词语效果差的问题,提出一种基于改进TextRank的关键词抽取方法。首先,利用词语的词频-逆文档频率(TF-IDF)统计特征和位置特征优化共现图中词语间的概率转移矩阵,通过迭代计算得到词语的初始得分;然后,利用K-Core(K-Core decomposition)算法挖掘KCore子图得到词语的层级特征,利用平均信息熵特征衡量词语的主题表征能力;最后,在词语初始得分的基础上融合层级特征和平均信息熵特征,从而确定关键词。实验结果表明,在公开数据集上,与TextRank方法和OTextRank(Optimized TextRank)方法相比,所提方法在抽取不同关键词数量的实验中,F1均值分别提高了6.5和3.3个百分点;在科技服务项目数据集上,与TextRank方法和OTextRank方法相比,所提方法在抽取不同关键词数量的实验中,F1均值分别提高了7.4和3.2个百分点。实验结果验证了所提方法抽取出现频率低但较好表达文本主旨关键词的有效性。

TextRank在多模态教学资源关键词提取中应用

为提高多模态教学资源的利用率,本文提出一种利用TextRank算法提取多模态教学资源关键词的方法。首先从非文本模态中提取合适的特征,将其转化为可以计算的文本单元,然后采用TextRank算法将多模态教学资源进行归类,并利用三方工具把多模态资源转化为文本资源。实验结果表明,TextRank算法能有效地从多模态教学资源中提取关键词,具有较高的有效性和准确性。

一种基于Word2Vec的M-TextRank文本摘要模型

针对传统TextRank摘要提取算法导致大量的冗余数据的问题,提出了一种改进后的Word2Vec+M-TextRank模型。首先通过使用神经网络预训练模型Word2Vec将文本数据编码得到具有高相关性、高抽象型和高概括性特征的词向量,然后使用改进后的M-TextRank算法依据句权重构建句向量图,最后使用共现关系构造任两点之间的边,迭代传播各节点的权重进行文本摘要提取。实验结果表明,提取方法对于中文数据在保证内容的全面性的同时,尽可能地减少冗余信息,提高摘要的可读性和可用性,同时提高了模型的准确性和效率。

基于多特征融合的TextRank新闻自动摘要模型

随着互联网的发展,如何快速地从海量新闻中获取核心信息,减少浏览负担,是信息部门目前急需解决的问题.现有的TextRank及其改进算法在新闻摘要抽取任务中,考虑文本特征不全面.在摘要句选择时,只考虑到摘要的冗余度,忽略了摘要的多样性及可读性.针对上述问题,本文提出了融合多特征的文本自动摘要方法MF-Text Rank(multi-feature TextRank).根据新闻的结构、句子和单词总结了更全面的文本特征信息用于改进TextRank算法的权重转移矩阵,使句子权重计算更准确.采用MMR算法更新句子权重,通过集束搜索得到候选摘要集,在MMR得分的基础上选择内聚性最高的候选摘要集作为最终的摘要输出.实验结果表明,MF-TextRank算法在摘要抽取任务中摘要Rouge得分优于现有改进的TexRank算法,有效提高了摘要抽取的准确性.

基于元易创新和TextRank-RFM的技术创新路径识别与评价研究--以工业机器人为例

[目的/意义]旨在精准识别技术创新路径,为企业进行研发创新和攻克关键部件的技术问题提供科学参考。[方法/过程]基于元易创新理论,通过创新维度与创新法则耦合进行技术创新路径识别,提出TextRank-RFM算法对技术创新路径进行评价,根据专利创新要素的新颖性、出现频度与组合能力三个指标衡量潜在技术创新路径的实用价值,并以工业机器人领域为例验证该技术创新路径识别与评价模型的可行性。[结果/结论]构建的技术创新路径识别与评价模型可为企业创新发展提供一定的理论指导,且具有较强的实践意义。

基于改进TextRank的关键句提取方法

在进行文本挖掘时,通常根据关键词分析文本,这种方式容易忽略词语之间的关联性,影响文本挖掘的准确性。TextRank算法是提取关键词或者摘要的主要方法,该算法基于网络图考虑了句子间相似性,但是忽略了词语的特征。基于此,提出了一种改进TextRank算法,将相似语句合并后,考虑多种词特征进行关键句选取。首先,计算语句相似度,并且去除文中相似性较高的语句;然后,根据词频、词义、词位置对词语打分,构建有向图;最后,计算语句平均得分进行排序,选出关键句。实验结果表明,改进后的算法准确性优于其他算法,算法的时间复杂度降低,并且解决了关键词对文本描述片面和摘要烦琐的问题。

基于TF-IDF和TextRank结合的中文文本关键词提取方法——以体育新闻为例

利用文本挖掘技术进行体育热点分析,可以为体育领域的发展提供更多有用的信息。文中提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)和TextRank(文本排序)的中文文本关键词提取方法,该方法首先采用分词、去除停用词等对文本进行预处理;其次使用TF-IDF算法计算每个词的重要性并进行归一化处理,同时使用TextRank算法权衡单词之间的关系并计算每个单词的得分以进行归一化处理;最后将TF-IDF值和TextRank得分进行加权和得到每个词的综合权重值,最终获得权重值最高的N个关键词。应用TF-IDF和TextRank结合的方法在F1值上选择5个关键词时取得了更好的结果,相较于只使用TF-IDF方法或TextRank方法,其关键词提取准确率分别提高约40%和32%。该方法有效提高了关键词提取的准确性和提取效率。

基于TextRank的空管特情案例特征提取技术

针对目前空管特情处置过程中案例记录利用不足的问题,提出了空管特情案例利用框架,并重点研究了其中的案例特征提取方法。基于TextRank算法提出了融合空管特情领域知识与数据分析的特情案例特征提取算法(Special Situation Case TextRank,SSC TextRank)。所提方法利用空管特情领域知识构建领域词典,以提升分词效果,依据风险知识及文本数据分析结果,同时结合层次分析法赋权原理对文本中的特征词进行赋权,以优化各词的初始重要度以及词语重要度权重的计算方法。利用某地区空管局提供的2000年—2019年特情案例验证算法的有效性。结果表明:模型较传统自然语言处理中的关键词提取算法准确率提高了约40%,体现了所提方法在特情案例特征提取方面的有效性和优越性。

融合新词发现和改进TextRank算法的农业领域关键词提取算法

针对农业领域文本中专业术语类关键词提取困难的问题,提出了一种融合新词发现和改进TextRank算法的农业领域关键词提取方法。该算法利用信息熵对文本中的词进行成词概率计算,以此发现领域专有名词和新词,通过人工审核扩充分词字典;在分词字典基础上,改进TextRank算法在词图构建中节点值的计算方法,添加词语位置和词性权重,利用词语综合权重提取文本关键词。对比结果表明,该算法的F值比传统的TF-IDF算法平均提高7.5%,比TextRank算法平均提高9.8%,具有一定的实用性。

基于Transformer和TextRank的微博观点摘要方法

针对已有研究没有考虑微博文本之间情感关联的问题,本文提出基于Transformer和TextRank的微博观点摘要方法。首先通过Transformer中的编码器和量化空间部分对文本的字向量进行编码和量化;然后根据量化结果实现语义聚类来划分微博文本集的观点类别,并选取重要的类别进行摘要抽取;之后将情感特征向量和微博文本的特征向量进行拼接;接着在每个类别中使用融入情感特征的TextRank算法,将抽取出的权重最高的微博文本作为摘要文本;最后将所有类别下最具有代表性的摘要文本相结合,得到最终的微博观点摘要。实验结果表明:在加入情感极性影响因子后,相比于基线方法,本文方法的各项ROUGE值均有明显地提升,Rouge-1、Rouge-2和Rouge-SU4的F-measure值最高达到0.4937、0.2555、0.2706,证明本文方法对于微博观点摘要抽取任务是有效的。

一种基于共现关键词的TextRank文摘自动生成算法

传统TextRank算法在生成摘要时只考虑句子间的相似度,忽略了文章本身间的相似度,且生成的摘要往往包含重复的信息表达。为此,提出一种基于共现关键词的TextRank算法,用word2vec模型将文章表示为句向量,考虑到文章的类别,将该类文章的共现关键词作为参数参与句子权值的迭代计算,然后,通过句子长度、关键词数量等信息对迭代得到的句子权重加以修正。实验结果表明,所提算法能够提高生成摘要的全面性和准确性。同时,所提算法使用MMR对抽取得到的摘要进行去除冗余处理,改善了摘要的重复表达情况。

一种改进的TextRank多文档文摘自动抽取模型

多文档自动文摘通过自然语言处理技术从多篇同主题的文档中提取概述性信息,可有效缓解信息负载问题,有助于用户迅速准确获取原文核心内容。针对中文文本特点,构建一种基于TextRank算法改进的多文档文摘自动抽取模型。首先通过预训练Word2Vec词向量模型与SIF方法融合,在中文维基百科语料库上进行预训练,获取文档中所有句子的句向量;然后借助余弦相似度构造TextRank句子间的边关系;最后使用MMR算法对文摘句进行冗余处理,得到全面又多样的文摘。通过ROUGE-N评价指标对模型进行性能评价,实验结果表明,所提模型的ROUGE-1、ROUGE-2、ROUGE-L指标值分别为0.549、0.322、0.357,均优于传统TextRank方法和Word2vec(实验样本语料)+TextRank+MMR模型,文摘质量更高。

基于词向量与TextRank的政策文本关键词汇抽取方法研究

通过对政策文本进行分析,设计了一种基于机器学习的关键词汇抽取方法,该方法可以自动从政策中提取关键性词语或短语。首先,从互联网采集相关政策文本并与维基百科数据融合,利用fastText构建词向量;其次,综合考虑词语的位置信息和词语之间的语义相似度,共同构建转移矩阵;最后选择得分最高的K个词语作为政策关键词。结果表明提出的方法抽取效果较好,实用性较高。

基于Word2Vec及TextRank算法的长文档摘要自动生成研究

近年来,如何从大量信息中提取关键信息已成为一个急需解决的问题。针对中文专利长文档,提出一种结合Word2Vec和TextRank的专利生成算法。首先利用Python Jieba技术对中文专利文档进行分词,利用停用词典去除无意义的词;其次利用Word2Vec算法进行特征提取,并利用WordCloud对提取的关键词进行可视化展示;最后利用TextRank算法计算语句间的相似度,生成摘要候选句,根据候选句的权重生成该专利文档的摘要信息。实验表明,采用Word2Vec和TextRank生成的专利摘要质量高,概括性也强。

基于改进TextRank的关键词抽取算法

为了解决TextRank算法的初始权值问题,提高关键词的抽取质量,在TextRank算法的基础上,引入了G1赋权法对TF-IDF算法的词语位置、词语长度和词性等3个属性赋予不同的权重,设计并实现了综合权重法的关键词抽取算法——TextRank-CM算法。将TextRank-CM算法、TextRank+TF-IDF算法和TextRank算法分别应用于中文关键词的抽取,结果表明:TextRank-CM算法在中文关键词抽取中的准确率和召回率明显优于另两种算法。

基于改进TextRank算法的大数据语义智能分析

随着时代的发展,信息也变得与时俱进,我们进入了一个信息爆炸的新时代。从浩瀚的信息中快速准确地获取自身最需要的信息变得非常困难。由此本项目基于文本分析做相关的研究,采用改进的TextRank算法,研究大数据语义智能分析来解决人工对关键信息摘要出现的一系列问题。

Tag-TextRank:一种基于Tag的网页关键词抽取方法

关键词抽取是从文本中抽取代表性关键词的过程,在文本处理领域中具有重要的应用价值.利用一种近年来受到广泛关注的新的信息源——社会化标签(tag)——来提高网页关键词抽取的质量.通过对Tag数据进行统计分析,发现用户往往对多个在话题上相关的网页使用同样的标签词,一个特定的文档可以通过其标注信息找到相关文档.在此基础上,提出了利用Tag进行关键词抽取的框架,并给出了一种具体的实现方法Tag-TextRank.该方法在TextRank基础上,通过目标文档中的每个Tag引入相关文档来估计词项图的边权重并计算得到词项的重要度,最后将不同Tag下的词项权重计算结果进行融合.在公开语料上的实验表明,Tag-TextRank在各项评价指标上均优于经典的关键词抽取方法TextRank,并具有很好的推广性.

融合多特征的TextRank关键词抽取方法

[目的/意义]关键词提取在自然语言处理领域有着广泛的应用,如何快速准确地实现关键词的提取已经成为文本处理的关键问题。目前关键词提取方法非常多,但准确率仍有待提升。为此,提出一种结合单一文档内部结构信息、词语对于单文档和文档集整体的重要性的关键词抽取方法。[方法/过程]首先,根据词语的平均信息熵特征计算词语对文档集整体的重要性,利用词语的词性、位置特征计算词语对单文档中的重要性。然后,通过神经网络训练的方式优化三个特征的权重分配实现特征的融合。最后,利用三个特征计算得到词语的综合权值来改进TextRank模型词汇节点的初始权重以及概率转移矩阵,再通过迭代法实现关键词的抽取。[结果 /结论]该研究方法结合了文档集整体信息和单文档自身信息,其关键词提取的准确率较传统TextRank方法、TFIDF-TextRank方法有了明显的提高。

基于加权TextRank的新闻关键事件主题句提取

为了在大量的新闻中快速找到自己感兴趣的内容,提出在单文档中基于加权TextRank算法提取主题句的方法,以得到新闻关键事件信息。通过计算新闻文本句子关键词的互信息值,对新闻报道进行事件句和非事件句的分类,过滤出非事件句。基于TextRank算法的思想,构建一个事件句有向图,引入句子位置、句子相似度和关键词覆盖频率3个影响因子,以此计算句子之间的影响权重,利用TextRank模型对图中的每个点计算权重,并选取排序最靠前的句子作为关键事件的主题句。实验结果表明,该方法的抽取效果优于基于词频-逆文档概率和新闻标题的主题句抽取方法。

基于改进的TextRank的自动摘要提取方法

经典的TextRank算法在文档的自动摘要提取时往往只考虑了句子节点间的相似性,而忽略了文档的篇章结构及句子的上下文信息。针对这些问题,结合中文文本的结构特点,提出一种改进后的iTextRank算法,通过将标题、段落、特殊句子、句子位置和长度等信息引入到TextRank网络图的构造中,给出改进后的句子相似度计算方法及权重调整因子,并将其应用于中文文本的自动摘要提取,同时分析了算法的时间复杂度。最后,实验证明iTextRank比经典的TextRank方法具有更高的准确率和更低的召回率。