融合新词发现和改进TextRank算法的农业领域关键词提取算法

针对农业领域文本中专业术语类关键词提取困难的问题,提出了一种融合新词发现和改进TextRank算法的农业领域关键词提取方法。该算法利用信息熵对文本中的词进行成词概率计算,以此发现领域专有名词和新词,通过人工审核扩充分词字典;在分词字典基础上,改进TextRank算法在词图构建中节点值的计算方法,添加词语位置和词性权重,利用词语综合权重提取文本关键词。对比结果表明,该算法的F值比传统的TF-IDF算法平均提高7.5%,比TextRank算法平均提高9.8%,具有一定的实用性。

基于Word2Vec及TextRank算法的长文档摘要自动生成研究

近年来,如何从大量信息中提取关键信息已成为一个急需解决的问题。针对中文专利长文档,提出一种结合Word2Vec和TextRank的专利生成算法。首先利用Python Jieba技术对中文专利文档进行分词,利用停用词典去除无意义的词;其次利用Word2Vec算法进行特征提取,并利用WordCloud对提取的关键词进行可视化展示;最后利用TextRank算法计算语句间的相似度,生成摘要候选句,根据候选句的权重生成该专利文档的摘要信息。实验表明,采用Word2Vec和TextRank生成的专利摘要质量高,概括性也强。

基于改进TextRank算法的大数据语义智能分析

随着时代的发展,信息也变得与时俱进,我们进入了一个信息爆炸的新时代。从浩瀚的信息中快速准确地获取自身最需要的信息变得非常困难。由此本项目基于文本分析做相关的研究,采用改进的TextRank算法,研究大数据语义智能分析来解决人工对关键信息摘要出现的一系列问题。

基于上下文关系和TextRank算法的关键词提取方法

为了从海量文本中高效提取知识,提出了一种基于上下文关系和TextRank算法的中文文本关键词提取方法.首先使用传统方法提取出初始关键词,然后利用互信息筛选出在上下文中对关键词依赖程度大的词,将其作为候选关键词,最后利用TextRank算法计算出最能表达文本主题思想的特征关键词.实验结果表明,与传统方法相比,所提算法在查准率、查全率等相关指标上均有提高.

基于TextRank算法的微博个人关键词云提取的设计与实现

如今互联网已经成为民众表达个人态度的大平台,微博凭借其独特的传播方式对人民生活和社会舆论传播产生了极其重要的影响。面对海量的微博数据,获取文本关键词可以提高舆论监控效率,更快速、更准确地筛选出重要的文本信息并分析特征。实验利用网络爬虫获取个人微博数据,经过文本预处理后根据TextRank算法提取出大量微博数据中的关键字词,显示在可视化的关键词云中,分析个人关注点及标签特征。

基于改进TextRank算法的中文文本摘要提取

为提高中文文本摘要提取的准确度,融合Doc2Vec模型、K-means算法和TextRank算法,提出一种中文文本摘要自动提取算法(DK-TextRank)。使用Doc2Vec模型进行文本向量化,采用改进的K-means算法实现相似文本聚类,在每个聚类簇中应用加入权重影响因子的TextRank算法对文本语句进行排序,并提取主题句生成摘要。实验结果表明,DK-TextRank算法在摘要语句数量为7时F值达到79.36%,相比传统TF-IDF、TextRank算法提取的摘要质量更高。

基于TextRank算法的未知网络协议帧定位方法

针对未知网络环境下比特流形式的通信数据难以进行帧定界的问题,提出一种基于TextRank算法的帧定位方法。通过统计数据中的序列出现频率获得比特流中的节点权重,利用基于TextRank的BitstreamRank算法确定未知协议数据中的关键序列,并根据关键序列对比特流进行切分并计算得到各段比特流间的序列相似度,从而定位未知协议数据的帧头位置。仿真结果表明,该方法能实现未知网络协议数据的快速分析,准确定位出比特流数据中各帧的位置,并且帧定位准确率高于90%。

基于TextRank算法和互信息相似度的维吾尔文关键词提取及文本分类

针对维吾尔语文本的分类问题,提出一种基于TextRank算法和互信息相似度的维吾尔文关键词提取及文本分类方法。首先,对输入文本进行预处理,滤除非维吾尔语的字符和停用词;然后,利用词语语义相似度、词语位置和词频重要性加权的TextRank算法提取文本关键词集合;最后,根据互信息相似度度量,计算输入文本关键词集和各类关键词集的相似度,最终实现文本的分类。实验结果表明,该方案能够提取出具有较高识别度的关键词,当关键词集大小为1250时,平均分类率达到了91.2%。

融合TextRank算法的中文短文本相似度计算

传统的VSM向量空间模型忽略了文本语义,构建的文本特征矩阵具有稀疏性。基于深度学习词向量技术,文中提出一种融合改进TextRank算法的相似度计算方法。该方法利用词向量嵌入的技术来构建文本向量空间,使得构建的向量空间模型具有了语义相关性,同时采用改进的TextRank算法提取文本关键字,增强了文本特征的表达并消除了大量冗余信息,降低了文本特征矩阵的稀疏性,使文本相似度的计算更加高效。不同模型的仿真实验结果表明,融合改进的TextRank算法与Bert词向量技术的方法具有更好的文本相似度计算性能。

结合拓扑势与TextRank算法的关键词提取方法

传统的TextRank算法进行关键词提取时词语之间的连接边采用权值均分的形式进行加权,未考虑词语的语义信息。针对这种情况,提出结合拓扑势与TextRank算法的关键词提取方法。方法使用词频和词语在文中的分布情况对词语加权作为词语的全局影响;使用拓扑势的思想结合词语全局影响计算词语间的转移概率作为词语的局部影响;将转移概率矩阵应用于传统TextRank算法中。实验表明,考虑词语全局及局部重要性等语义信息可有效提升TextRank算法的准确率和召回率。

基于TextRank算法的项目标签智能化生成技术研究

为提高项目标签生成质量,研究基于TextRank算法的项目标签智能化生成技术。首先对项目文本进行预处理,包括括分词、去停用词、词性标注等三部分,然后通过计算各个节点之间的相似度,构建TextRank词图模型,最后通过迭代计算节点的权重(重要性得分),选出前K个关键词作为项目文本标签。结果表明:所研究技术应用下,提取出的关键词标签准确率、召回率、F值均要更高,由此说明所研究技术生成的标签质量更好,具有广泛的应用前景。

基于TextRank算法的联合打分文本摘要生成

自动文本摘要生成是自然语言处理领域中颇具挑战性的问题之一,其任务是为书籍、篇章、新闻或者微博等某一文本资源生成简洁而又具有意义的文本摘要。TextRank算法是一种基于图的文本摘要生成算法,只利用当前文档即可实现关键词提取和文摘生成,因其简洁有效而得到广泛应用。本文在TextRank算法的基础上提出一个无监督抽取式联合打分模型。一方面,结合词频逆句频余弦相似度与词向量余弦相似度共同计算句子得分;另一方面,采用最大边缘相关度算法(Maximal Marginal Relevance,MMR)将抽取得到的摘要去除冗余。实验表明,改进后的方法生成的摘要具有更高的质量,尤其具有更好的梗概性和多样性。

基于MapReduce并行计算提取文档特征Textrank算法研究

Textrank相比词袋模型有独特的优势,但需要进行多轮迭代和递归运算,常规串行化算法无法满足大数据环境下文档处理的需求。必须借助大数据的分布式处理、并行化计算技术来应对这一挑战。本文学习研究了大数据平台Hadoop的分布式处理方式,并在MapReduce框架下实现并行了Textrank并行提取文档特征的算法。同时,本文就Textrank中关键的投票算法提出了MapReduce迭代实现。经在Hadoop集群上验证,在计算节点增加的情况下,该模式可有效提升Textrank算法效率。

基于AI算法的自然语言信息提取-翻译-校对系统设计

自20世纪90年代起,随着人工智能(AI)的飞速发展及其与深度学习等机器学习方法的广泛融合,自然语言处理(NLP)作为人工智能的核心,也取得了令人瞩目的进步。而随着国际学术交流、世界文化交融愈加频繁,人们搜寻、阅读他国网络信息的现实需求也随之增多。当信息搜寻者在搜寻非母语信息时,不仅会出现语言障碍问题,还会因错综复杂、层次不齐的各色信息而产生诸多不便。为了便于信息搜寻者快速高效地获取有用信息,文中基于人工智能算法(PageRank/TextRank)设计一种信息提取-翻译-校对(ETP)系统。系统通过AI自动搜索阅读页面上的重要信息和文本摘取,生成摘要,并基于机器翻译API模块完成翻译;其次,采用智能校对系统完成校对审核后,将信息呈现给搜寻者,以供其对全部信息高效且准确地进行预筛选,从而节省阅读时间和精力。最后对系统算法所实现的功能进行实验测试,结果达到预期。

算法嵌入政府治理:逻辑、风险与规制

伴随着现代信息技术的迅猛发展,智能算法在推动经济社会不断发展的同时也成为推动国家治理现代化的重要驱动力。现阶段如何推进算法技术更有效地嵌入政府治理,在充分发挥技术效益的同时反制技术滥用,实现公共价值最大化目标是亟须关注的时代命题。从“技术—权力—规则”三个维度搭建研究算法嵌入政府治理的分析框架,探索算法技术赋能政府治理的价值意蕴与运作逻辑。聚焦算法技术黑箱阻滞公共责任认定、算法权力削弱政府与民众自主性、算法规则偏好导致治理正义性减损等风险与挑战,提出在实践中要推进技术适度透明化以明晰责任关系链条、规范算法权力运作并坚持人本主义治理理念、明确算法规则决策限度以强化治理正义性等实践进路。

算法解释制度的体系化构建

算法解释在算法治理中举足轻重。算法解释承载着权益保障、社会交往和风险治理三重意义,其在技术层面上的障碍正在逐渐被突破,可以通过多种技术机制实现。在算法治理活动中,应根据常规场景、关键场景和争议场景分别限定选择解释的路径选择和技术方案,通过冻结机制、抽样机制和镜像机制固定算法解释,并使之接受外部的验证与审查,确保算法解释真实、有效。算法解释的系列机制应被进一步构建为体系化的算法解释制度,在这一制度框架内,对解释路径与精度、解释时限、解释瑕疵责任等要素的合理配置,可以实现社会效益与规制负担的精细平衡。

基于改进TextRank的科技文本关键词抽取方法

针对科技文本关键词抽取任务中抽取出现次数少但能较好表达文本主旨的词语效果差的问题,提出一种基于改进TextRank的关键词抽取方法。首先,利用词语的词频-逆文档频率(TF-IDF)统计特征和位置特征优化共现图中词语间的概率转移矩阵,通过迭代计算得到词语的初始得分;然后,利用K-Core(K-Core decomposition)算法挖掘KCore子图得到词语的层级特征,利用平均信息熵特征衡量词语的主题表征能力;最后,在词语初始得分的基础上融合层级特征和平均信息熵特征,从而确定关键词。实验结果表明,在公开数据集上,与TextRank方法和OTextRank(Optimized TextRank)方法相比,所提方法在抽取不同关键词数量的实验中,F1均值分别提高了6.5和3.3个百分点;在科技服务项目数据集上,与TextRank方法和OTextRank方法相比,所提方法在抽取不同关键词数量的实验中,F1均值分别提高了7.4和3.2个百分点。实验结果验证了所提方法抽取出现频率低但较好表达文本主旨关键词的有效性。

教育数字化转型中的算法权力及其规制

依托框架优势、机器优势和嵌入优势的全新算法,将会随着数字平台的搭建、数据资源的挖掘、“人–机”交互的设计,由单纯的计算工具向事务运行规则转变,进而演变为教育数字化转型中不容回避的权力议题。教育数字化转型中的算法权力既有益于管理风险、规范行为和辅助决策,也可能由于自身的局限以及它与教育之间的冲突,导致教育的风险异化、行为降格和决策失衡。要将算法权力规制到安全、可靠的“笼子”之中,除借助算法目标的教育审查、算法设计的教育解释、算法运行的教育监管、算法应用的教育鉴别、算法信息的教育备案、算法责任的教育认定,以构建从背景、过程到结果的规范机制;还应诉诸教育之于算法的祛魅、平衡与扬弃,以凸显“入乎其内却又出乎其外”的制衡思想。

算法赋能政府规制:逻辑、限度与发展方向

在算法治理时代,算法既是需要规制的对象,也是赋能政府规制以实现更好规制的治理工具。社会高度计算化和算法的规则属性给予了算法赋能的技术逻辑,数字化转型引致的规制困境和私人算法滥用奠定了算法赋能的现实逻辑,提升规制效能增进民生福祉形塑了算法赋能的价值逻辑。但是,算法运行本身存在的内在局限,以及规制者能力不足或不当运用,导致算法赋能政府规制存在着复杂性难以化约、被动规制俘获、规制权力泛化、可问责性和算法偏差等限度。发挥算法赋能政府规制的积极作用,促进算法与政府规制融合发展,必须坚持规制者的主体地位,完善政府规制的体制机制,强化制度建设,保障算法在可控和可信赖的轨道上运行。

基于改进人工蜂群算法的船舶管路路径寻优算法分析

[目的]人工蜂群(ABC)算法具有控制参数少、局部寻优能力强、收敛速度快的特点,但在解决路径寻优问题方面,存在容易陷入局部最优的缺陷。为解决船舶管路系统中的管路路径规划问题,提出一种改进的人工蜂群(IABC)算法。[方法]在传统人工蜂群算法的基础上,在跟随蜂的更新机制中引入遗传算子中的交叉操作,并对交叉算子的交叉概率采用自适应的策略;通过对种群进行的交叉操作寻找全局范围内的新解,并改进侦察蜂寻找新路径的方式,由原来的对路径经过的点进行更新改为对路径中的“路段”进行更新;随后,提出一种适应于解决分支管路路径寻优的改进人工蜂群协同进化算法。[结果]实例验证表明,改进后的人工蜂群算法相比标准人工蜂群算法其路径布置效果能够提升32.3%~37.4%,收敛速度能够提升17.7%~29.9%。[结论]无论是解决单管路还是分支管路,改进后的人工蜂群算法相比传统的人工蜂群算法求解质量更高、收敛速度更快、稳定性更好。