基于多特征融合的TextRank新闻自动摘要模型

随着互联网的发展,如何快速地从海量新闻中获取核心信息,减少浏览负担,是信息部门目前急需解决的问题.现有的TextRank及其改进算法在新闻摘要抽取任务中,考虑文本特征不全面.在摘要句选择时,只考虑到摘要的冗余度,忽略了摘要的多样性及可读性.针对上述问题,本文提出了融合多特征的文本自动摘要方法MF-Text Rank(multi-feature TextRank).根据新闻的结构、句子和单词总结了更全面的文本特征信息用于改进TextRank算法的权重转移矩阵,使句子权重计算更准确.采用MMR算法更新句子权重,通过集束搜索得到候选摘要集,在MMR得分的基础上选择内聚性最高的候选摘要集作为最终的摘要输出.实验结果表明,MF-TextRank算法在摘要抽取任务中摘要Rouge得分优于现有改进的TexRank算法,有效提高了摘要抽取的准确性.

基于元易创新和TextRank-RFM的技术创新路径识别与评价研究--以工业机器人为例

[目的/意义]旨在精准识别技术创新路径,为企业进行研发创新和攻克关键部件的技术问题提供科学参考。[方法/过程]基于元易创新理论,通过创新维度与创新法则耦合进行技术创新路径识别,提出TextRank-RFM算法对技术创新路径进行评价,根据专利创新要素的新颖性、出现频度与组合能力三个指标衡量潜在技术创新路径的实用价值,并以工业机器人领域为例验证该技术创新路径识别与评价模型的可行性。[结果/结论]构建的技术创新路径识别与评价模型可为企业创新发展提供一定的理论指导,且具有较强的实践意义。

基于改进TextRank的关键句提取方法

在进行文本挖掘时,通常根据关键词分析文本,这种方式容易忽略词语之间的关联性,影响文本挖掘的准确性。TextRank算法是提取关键词或者摘要的主要方法,该算法基于网络图考虑了句子间相似性,但是忽略了词语的特征。基于此,提出了一种改进TextRank算法,将相似语句合并后,考虑多种词特征进行关键句选取。首先,计算语句相似度,并且去除文中相似性较高的语句;然后,根据词频、词义、词位置对词语打分,构建有向图;最后,计算语句平均得分进行排序,选出关键句。实验结果表明,改进后的算法准确性优于其他算法,算法的时间复杂度降低,并且解决了关键词对文本描述片面和摘要烦琐的问题。

融合新词发现和改进TextRank算法的农业领域关键词提取算法

针对农业领域文本中专业术语类关键词提取困难的问题,提出了一种融合新词发现和改进TextRank算法的农业领域关键词提取方法。该算法利用信息熵对文本中的词进行成词概率计算,以此发现领域专有名词和新词,通过人工审核扩充分词字典;在分词字典基础上,改进TextRank算法在词图构建中节点值的计算方法,添加词语位置和词性权重,利用词语综合权重提取文本关键词。对比结果表明,该算法的F值比传统的TF-IDF算法平均提高7.5%,比TextRank算法平均提高9.8%,具有一定的实用性。

基于TextRank的空管特情案例特征提取技术

针对目前空管特情处置过程中案例记录利用不足的问题,提出了空管特情案例利用框架,并重点研究了其中的案例特征提取方法。基于TextRank算法提出了融合空管特情领域知识与数据分析的特情案例特征提取算法(Special Situation Case TextRank,SSC TextRank)。所提方法利用空管特情领域知识构建领域词典,以提升分词效果,依据风险知识及文本数据分析结果,同时结合层次分析法赋权原理对文本中的特征词进行赋权,以优化各词的初始重要度以及词语重要度权重的计算方法。利用某地区空管局提供的2000年—2019年特情案例验证算法的有效性。结果表明:模型较传统自然语言处理中的关键词提取算法准确率提高了约40%,体现了所提方法在特情案例特征提取方面的有效性和优越性。

一种改进的TextRank多文档文摘自动抽取模型

多文档自动文摘通过自然语言处理技术从多篇同主题的文档中提取概述性信息,可有效缓解信息负载问题,有助于用户迅速准确获取原文核心内容。针对中文文本特点,构建一种基于TextRank算法改进的多文档文摘自动抽取模型。首先通过预训练Word2Vec词向量模型与SIF方法融合,在中文维基百科语料库上进行预训练,获取文档中所有句子的句向量;然后借助余弦相似度构造TextRank句子间的边关系;最后使用MMR算法对文摘句进行冗余处理,得到全面又多样的文摘。通过ROUGE-N评价指标对模型进行性能评价,实验结果表明,所提模型的ROUGE-1、ROUGE-2、ROUGE-L指标值分别为0.549、0.322、0.357,均优于传统TextRank方法和Word2vec(实验样本语料)+TextRank+MMR模型,文摘质量更高。

基于Word2Vec及TextRank算法的长文档摘要自动生成研究

近年来,如何从大量信息中提取关键信息已成为一个急需解决的问题。针对中文专利长文档,提出一种结合Word2Vec和TextRank的专利生成算法。首先利用Python Jieba技术对中文专利文档进行分词,利用停用词典去除无意义的词;其次利用Word2Vec算法进行特征提取,并利用WordCloud对提取的关键词进行可视化展示;最后利用TextRank算法计算语句间的相似度,生成摘要候选句,根据候选句的权重生成该专利文档的摘要信息。实验表明,采用Word2Vec和TextRank生成的专利摘要质量高,概括性也强。

一种基于共现关键词的TextRank文摘自动生成算法

传统TextRank算法在生成摘要时只考虑句子间的相似度,忽略了文章本身间的相似度,且生成的摘要往往包含重复的信息表达。为此,提出一种基于共现关键词的TextRank算法,用word2vec模型将文章表示为句向量,考虑到文章的类别,将该类文章的共现关键词作为参数参与句子权值的迭代计算,然后,通过句子长度、关键词数量等信息对迭代得到的句子权重加以修正。实验结果表明,所提算法能够提高生成摘要的全面性和准确性。同时,所提算法使用MMR对抽取得到的摘要进行去除冗余处理,改善了摘要的重复表达情况。

基于改进TextRank算法的大数据语义智能分析

随着时代的发展,信息也变得与时俱进,我们进入了一个信息爆炸的新时代。从浩瀚的信息中快速准确地获取自身最需要的信息变得非常困难。由此本项目基于文本分析做相关的研究,采用改进的TextRank算法,研究大数据语义智能分析来解决人工对关键信息摘要出现的一系列问题。

基于AI算法的自然语言信息提取-翻译-校对系统设计

自20世纪90年代起,随着人工智能(AI)的飞速发展及其与深度学习等机器学习方法的广泛融合,自然语言处理(NLP)作为人工智能的核心,也取得了令人瞩目的进步。而随着国际学术交流、世界文化交融愈加频繁,人们搜寻、阅读他国网络信息的现实需求也随之增多。当信息搜寻者在搜寻非母语信息时,不仅会出现语言障碍问题,还会因错综复杂、层次不齐的各色信息而产生诸多不便。为了便于信息搜寻者快速高效地获取有用信息,文中基于人工智能算法(PageRank/TextRank)设计一种信息提取-翻译-校对(ETP)系统。系统通过AI自动搜索阅读页面上的重要信息和文本摘取,生成摘要,并基于机器翻译API模块完成翻译;其次,采用智能校对系统完成校对审核后,将信息呈现给搜寻者,以供其对全部信息高效且准确地进行预筛选,从而节省阅读时间和精力。最后对系统算法所实现的功能进行实验测试,结果达到预期。

融合多特征的TextRank关键词抽取方法

[目的/意义]关键词提取在自然语言处理领域有着广泛的应用,如何快速准确地实现关键词的提取已经成为文本处理的关键问题。目前关键词提取方法非常多,但准确率仍有待提升。为此,提出一种结合单一文档内部结构信息、词语对于单文档和文档集整体的重要性的关键词抽取方法。[方法/过程]首先,根据词语的平均信息熵特征计算词语对文档集整体的重要性,利用词语的词性、位置特征计算词语对单文档中的重要性。然后,通过神经网络训练的方式优化三个特征的权重分配实现特征的融合。最后,利用三个特征计算得到词语的综合权值来改进TextRank模型词汇节点的初始权重以及概率转移矩阵,再通过迭代法实现关键词的抽取。[结果 /结论]该研究方法结合了文档集整体信息和单文档自身信息,其关键词提取的准确率较传统TextRank方法、TFIDF-TextRank方法有了明显的提高。

基于加权TextRank的新闻关键事件主题句提取

为了在大量的新闻中快速找到自己感兴趣的内容,提出在单文档中基于加权TextRank算法提取主题句的方法,以得到新闻关键事件信息。通过计算新闻文本句子关键词的互信息值,对新闻报道进行事件句和非事件句的分类,过滤出非事件句。基于TextRank算法的思想,构建一个事件句有向图,引入句子位置、句子相似度和关键词覆盖频率3个影响因子,以此计算句子之间的影响权重,利用TextRank模型对图中的每个点计算权重,并选取排序最靠前的句子作为关键事件的主题句。实验结果表明,该方法的抽取效果优于基于词频-逆文档概率和新闻标题的主题句抽取方法。

基于改进TextRank的关键词抽取算法

为了解决TextRank算法的初始权值问题,提高关键词的抽取质量,在TextRank算法的基础上,引入了G1赋权法对TF-IDF算法的词语位置、词语长度和词性等3个属性赋予不同的权重,设计并实现了综合权重法的关键词抽取算法——TextRank-CM算法。将TextRank-CM算法、TextRank+TF-IDF算法和TextRank算法分别应用于中文关键词的抽取,结果表明:TextRank-CM算法在中文关键词抽取中的准确率和召回率明显优于另两种算法。

Title加TextRank抽取关键句的情感分类研究

考虑到不同句子对判断文档情感倾向的重要程度不同,因而区分文档的关键句和细节句将有助于提高情感分类的性能。同时,考虑到Title 和上下文信息,提出了一种基于Title 和加权TextRank 抽取关键句的情感分析方法SKTT,实现了高效的情感分析。根据文档Title 的情感权重计算Title 贡献度,考虑到标点和语义规则对情感倾向的影响;根据加权TextRank 算法思想,在文档正文中构建了一个情感句有向图来提取关键句;计算所有关键句的情感倾向进行情感分类。在4 个领域上进行实验,实验结果表明,该SKTT方法性能明显优于Baseline,具有高效性。

基于主题的SE-TextRank情感摘要方法

技术的目的是以简洁的形式准确表达文章的核心情感内容。为解决不同的文档结构及内容特征等问题对摘要结果的影响,提出了一种基于主题的SE-TextRank情感摘要方法。通过LDA模型自动获取收敛后的文本主题,利用余弦距离算法进行主题句子分组,使用传统多特征融合以及SE-TextRank情感摘要算法对组内中心句抽取,最终获取目的摘要。实验表明,采用此方法能够更为高效的获取新闻文本摘要结果。

一种改进的TextRank关键词提取算法

关键词提取在自然语言处理领域有着广泛的应用,如何准确、快速地从文本中获取关键词信息已经成为文本处理的关键性问题。现有的关键词提取方法很多,但是这些关键词提取方法的准确率和通用性有待提高。因此,提出了一种改进的TextRank关键词提取方法,该方法使用TF-IDF方法与平均信息熵方法计算文本中词语的重要性,然后根据计算结果得到词语的综合权重。利用词语的综合权重改进TextRank算法的节点初始值以及节点概率转移矩阵,通过迭代的方式计算各个节点的权重,直至收敛,从而得到词语的权重信息,选择top N个词语作为关键词输出,实现关键词的提取功能。实验结果表明,相较于传统的TF-IDF方法和TextRank方法,提出的改进后的TextRank关键词提取方法有更好的通用性,提取的关键词的准确率更高。

一种基于景区评论的静态热词提取模型

热词提取对于景区的发展具有重要意义,目前热词提取方法仍存在分词效果不佳、训练模型耗费大等问题,文中提出一种基于景区评论的静态热词提取模型CRF+TBTT。该模型利用新型算法流程过滤非关键词,分析高频词和特色词,提取候选词,最后得到准确的静态热词。通过对59107条景区评论数据进行实验,结果表明,CRF+TBTT模型的性能均明显优于比较模型,对景区前20个热词提取准确率达到90%,说明该模型对静态热词提取的效果较好,有助于旅游部门对景区进行有效管理和规划。

一种基于TextRank的中文自动摘要方法

自动摘要技术能够快速掌握原文关键内容,在数据安全防护领域具有广阔的应用前景。在TextRank摘要算法的基础上,提出一种融合了BERT模型、典型摘要特征修正和冗余消除的中文摘要算法SummRank。SummRank算法通过使用自然语言预训练模型BERT进行句向量编码,考虑了句子位置、线索词等典型摘要句特征带来的累加权重修正,并使用最大边缘相关MMR算法去除摘要中的冗余。实验证明,SummRank摘要算法提取的摘要具有更高的相关性和多样性,能够用于多种数据安全防护应用。

基于上下文关系和TextRank算法的关键词提取方法

为了从海量文本中高效提取知识,提出了一种基于上下文关系和TextRank算法的中文文本关键词提取方法.首先使用传统方法提取出初始关键词,然后利用互信息筛选出在上下文中对关键词依赖程度大的词,将其作为候选关键词,最后利用TextRank算法计算出最能表达文本主题思想的特征关键词.实验结果表明,与传统方法相比,所提算法在查准率、查全率等相关指标上均有提高.

面向风电机组运维的知识图谱构建研究与应用

规模化风机高频运维信息愈发呈现数据高维、类间互联、规模攀升的特点,传统人工孤岛式故障检修运维模式难以适应人机料法环一体式发展进程。针对风机全环节、全要素的主动运维要求,提出知识规则、主从设备、规范条例一体融合的风电机组运维知识图谱构建方法。利用图论文本关键词提取算法(TextRank)完成对风电专业运维文本的实体识别与关系抽取,用以提高特征词的提取精度。采用Neo4j图数据库构建风电安全管理规程图谱及风电设备运维图谱,实现多元数据的互联与可视,进而实现风电运维信息的智能化查询。应用上述方法构建了629个实体、742条关系类型的风机知识图谱。数据查询试验表明:该方法的精确率及召回率等主要指标均在89%以上,较传统数据库方法平均提升了6.5%。该方法建立了运维要求可视表达和类间任务关联。运维大数据的有效查询,将有助于节省双碳战略风电运维力量,提高运维智能化水平。