基于改进TextRank的关键词抽取算法

为了解决TextRank算法的初始权值问题,提高关键词的抽取质量,在TextRank算法的基础上,引入了G1赋权法对TF-IDF算法的词语位置、词语长度和词性等3个属性赋予不同的权重,设计并实现了综合权重法的关键词抽取算法——TextRank-CM算法。将TextRank-CM算法、TextRank+TF-IDF算法和TextRank算法分别应用于中文关键词的抽取,结果表明:TextRank-CM算法在中文关键词抽取中的准确率和召回率明显优于另两种算法。

基于改进的TextRank的自动摘要提取方法

经典的TextRank算法在文档的自动摘要提取时往往只考虑了句子节点间的相似性,而忽略了文档的篇章结构及句子的上下文信息。针对这些问题,结合中文文本的结构特点,提出一种改进后的iTextRank算法,通过将标题、段落、特殊句子、句子位置和长度等信息引入到TextRank网络图的构造中,给出改进后的句子相似度计算方法及权重调整因子,并将其应用于中文文本的自动摘要提取,同时分析了算法的时间复杂度。最后,实验证明iTextRank比经典的TextRank方法具有更高的准确率和更低的召回率。

融合语义特征的TextRank关键词抽取方法

TextRank使用共现窗口代替PageRank网页超链接以判断词语关系,但共现窗口机制下的词汇图是无向图,且实际中文文本中词语与其共现窗口内的词语之间在多数情况下没有认知上的指向性链接关系,导致共现窗口机制下的词语关系与PageRank网页超链接关系存在较大差别。为此,提出一种融合语义特征的关键词抽取方法S-TextRank。在TextRank方法的基础上以依存关系代替共现窗口判断词语关系,以模拟PageRank网页指向性超链接。对不同词性词语赋予相应的权重系数,从而模拟不同性质网页的重要程度。在此基础上,使用IDF方法结合汉语语法规则构建非关键词表,排除无关词语以降低其对抽取结果的影响。实验结果表明,S-TextRank方法在测试集上的准确率达到74%,比TextRank方法高19.4个百分点。

基于TextRank的关键词提取改进方法研究

基于TextRank的关键词提取方法主要考虑文档的语义信息,没有考虑到文本的结构信息,导致关键词提取的准确率较低。为了得到更好的关键词提取效果,论文对新闻语料库关键词提取方法进行了研究,提出将文本的结构信息和语义信息相结合。基于TextRank算法,利用文本的结构信息(词语位置、词语跨度)和词语相似度改变词语权重计算方式,进而提取文本关键词。将论文提出的算法与TF-IDF、TextRank、Word2vec+TextRank进行了对比实验,结果表明,从准确率P、召回率R、测量值F三个方面都取得了良好的实验效果。具体表现为当关键词个数相同K=3时,TextRank算法评价指标准确率P、召回率R、测量值F分别为22.21%、19.78%、20.92%;加入文档的词语位置信息和词语跨度信息以后评价指标准确率P、召回率R、测量值F分别为29.83%、31.34%、30.56%。

基于LDA和Word2Vec模型的学位论文评阅意见主题挖掘与分析

选取某高校部分硕士学位论文评阅意见为研究对象,使用自然语言处理和机器学习技术进行自动化的硕士学位论文评阅意见主题挖掘与分析。首先,采用LDA(latent dirichlet allocation)模型对评阅数据进行主题建模,提取文本中的潜在主题,并将评阅意见转化为主题分布向量;其次,结合Word2Vec模型将评阅意见的关键词转化为向量表达;最后,采用TextRank方法提取关键词,以揭示评阅专家的关注核心主题。实验结果表明,所提方法能为高校管理人员提供切实有效的分析工具,有助于他们更好地分析总结评阅意见,同时也为硕士研究生撰写高质量学位论文提供有益借鉴。

基于用户标签的微博推荐算法

为了解决推荐算法中用户标签稀疏、推荐准确度不高的问题,提出了一种基于用户标签的微博推荐算法。利用TextRank排序方法提取用户发布微博中的关键词,并对该关键词进行扩展,将其作为表示用户兴趣的标签;再根据微博的效应函数和生命周期形成待推荐的微博列表,计算用户标签及其同义词在待推荐微博列表中出现的次数,将出现次数较多的TOP-k条微博推荐给用户。通过实验验证,该算法能够有效地解决用户标签的稀疏性问题,并能提高推荐算法的准确性。

融合BERT语义加权与网络图的关键词抽取方法

结合文档本身的结构信息与外部词语的语义信息,提出一种融合BERT词向量与TextRank的关键词抽取方法。在基于网络图的TextRank方法基础上,引入语义差异性并利用BERT词向量加权方式优化TextRank转移概率矩阵计算过程,同时通过迭代运算对文档中的词语进行综合影响力得分排序,最终提取得分最高的Top N个词语作为关键词。实验结果表明,当选取Top3、Top5、Top7和Top10个关键词时,与基于词向量聚类质心与TextRank加权的关键词抽取方法相比,该方法的平均F值提升了2.5%,关键词抽取效率更高。

目前大学生就业难问题的解决方案探讨

近年来,我国毕业生就业形势严峻,毕业生自身能力与岗位要求存在差距,导致企业人才短缺与大学生就业困难的双重问题。为解决上述问题,将从职位供给方的人才偏好分析入手,为在校学生指明学习与发展方向,进一步分析供给方人才需求信息与社会职位需求变动趋势,给予在校生理想职位的就业前景分析与职业规划建议,并为在校生提供理想职位与公司的实习机会,建立学生与企业双向评价机制,为后期招聘的职位供需双方了解彼此情况提供有价值的参考信息,同时也为毕业生提供企业招聘信息。为实现以上目标,构建了下述四个模型:首先,通过TextRank方法建立关键词提取模型,用于提取学生建立中的关键信息和了解企业用人偏好;其次,通过共词分析、聚类分析的方法和构建聚类分析谱系图建立匹配与储存优化模型,将学生与适合的企业配对;第三,通过BP神经网络的思想建立就业率预测模型,为学生就业指导;第四,通过PageRank模型思想建立学生企业双向评价选择模型,实现学生与企业的双向评价目标。