基于TF-IDF算法的运营商客户投诉原因研究

针对运营商人工处理客户投诉工单高成本低效率问题,提出了一种基于TF-IDF算法的定量研究方法,旨在高效精准地识别客户投诉原因。选用Jieba分词,导入自定义词典和停用词列表,对运营商客户投诉工单进行关键词抽取,获取各类问题中TF-IDF值排名前6的关键词,输出关键词集。提高了关键词抽取的准确性和效率。此外,对比仅对文档集使用TF进行统计和使用TextRank算法的情况,突显了IDF的重要性及算法原理的差异。实验结果表明,光猫、路由器、机顶盒问题广泛存在于各类投诉中。针对这三类问题,为运营商提供了改进产品、服务的相关建议,对运营商集中治理、解决问题具有一定的实用价值。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

长三角一体化发展特征与动力探究——基于TF-IDF算法与格兰杰检验

从政策观念视角出发,深入探讨长三角区域一体化发展进程,有助于洞察区域内生发展动力和经济增长潜力。应用话语制度主义和间断-均衡框架,结合TF-IDF(词频-逆文档频率)算法与格兰杰检验,揭示长三角一体化发展特征与动因。研究发现:建设主体对5个发展目标的注意力分配不均衡;在创新共建目标方面,地方主体的注意力变动会引起中央主体的注意力变动;长三角一体化发展呈现小间断大均衡特征,体现“自下而上”的地方主导模式。

基于改进TF-IDF算法的毕业生就业推荐算法研究

针对传统就业推荐算法不能够对每一个毕业生进行精准的推荐的局限性,论文提出一种结合TF-IDF算法和K-means++算法的双向推荐系统,一方面对毕业生信息使用K-means++算法进行聚类,对新用户根据其初始信息与行为信息进行用户画像建模,并计算与往届毕业生的相似度;另一方面使用TF-IDF算法对各个招聘网站所发布的招聘信息中的关键词进行统计转换词频等操作。实验结果表明,该双向就业推荐系统比起之前单向就业推荐提高了毕业生就业推荐的满意度,提升推荐效率。

基于TF-IDF和TextRank结合的中文文本关键词提取方法——以体育新闻为例

利用文本挖掘技术进行体育热点分析,可以为体育领域的发展提供更多有用的信息。文中提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)和TextRank(文本排序)的中文文本关键词提取方法,该方法首先采用分词、去除停用词等对文本进行预处理;其次使用TF-IDF算法计算每个词的重要性并进行归一化处理,同时使用TextRank算法权衡单词之间的关系并计算每个单词的得分以进行归一化处理;最后将TF-IDF值和TextRank得分进行加权和得到每个词的综合权重值,最终获得权重值最高的N个关键词。应用TF-IDF和TextRank结合的方法在F1值上选择5个关键词时取得了更好的结果,相较于只使用TF-IDF方法或TextRank方法,其关键词提取准确率分别提高约40%和32%。该方法有效提高了关键词提取的准确性和提取效率。

融合条件熵和TF-IDF的过采样方法

针对非均衡数据带来的分类器对少数类样本学习不充分的问题,提出融合条件熵和TF-IDF的过采样方法。该方法首先指定参数,组合数据特征,然后计算每种组合方式下的条件熵,判断每种组合条件下类的不确定性,同时为了避免低词频带来的噪音数据,将条件熵结果乘上1/TF-IDF因子,再将结果按升序排序,最后结合参数选定过采样依据的特征组合,用以构造新数据,使正负样本平衡。将所提方法在7个不均衡数据集上进行实验仿真,结果表明,所提方法比其他方法在F-measure、G-mean和AUC等评价指标上均有一定提高。

基于TF-IDF和VOSviewer的我国应急救援现状可视化分析

为有效利用消防救援队伍的实战记录资料挖掘应急救援战例成功经验,结合词频-逆文档频率(TF-IDF)算法和VOSviewer文献可视化分析技术,构建战例资料分析模型,分析战例成功与失败的共性规律和特点,总结我国应急救援现状及发展趋势。模型以2007—2019年间共185起应急救援典型战例为数据库,按照自然灾害、交通事故、建筑坍塌、危化品泄漏、火灾扑救等应急救援行动类型展开分析。结果表明:我国应急救援行动的影响因素主要表现在人(救援队伍)、机(装备技术)、环(环境)、管(管理)4个方面。其中,环境因素的影响几乎都是负面的,其他3个因素均有正负面影响。此外,不同应急救援行动类型的主导影响因素存在差异,自然灾害突出“机”;交通事故突出“管”;建筑坍塌突出“机”“环”;危化品泄漏在“人机环管”4个方面均有突出问题;火灾救援突出“机”。

一种结合TF-IDF和Simhash的科技项目文本相似性度量方法

为了提高科技项目文本相似性度量的准确性和性能,将TF-IDF和Simhash相结合,提出了一种新的科技项目文本相似性度量方法。首先,该方法对科技项目文本进行预处理得到词项集合,再使用TF-IDF计算词项集合中每个词项的权重值,并选取具有较高权重值的重要词项;其次,使用Simhash把重要词项映射为固定长度的二进制串,并求和得到文本的Simhash签名;最后,使用汉明距离计算两个Simhash签名间的相似性。实验结果表明,所提方法在查准率、召回率和F度量值方面优于传统的Simhash算法和TF-IDF方法。

基于差异化建模与TF-IDF算法的城市功能区识别及混合度测算

基于POI性质、特点的不同,本文构建了一个融合统计分析法、核密度分析法的城市功能区定量识别模型,有效地识别出了广州市中心四区的功能区类型。利用耦合TF-IDF算法和信息熵算法测算城市功能混合度并进行面积加权,使得城市功能混合度测算更加符合实际情况。研究结果表明:广州市中心城区呈现出混合用地为主的特征,总体混合程度高。混合用地主要分布在研究区中心,单一类型用地零星分布在研究区外围,呈现出显著的“核心-外围”式的圈层化分布格局。城市功能混合度呈现“中心高,四周低”“多中心,组团式”、空间梯度差异显著的分布特征,并且功能混合程度与发展水平有一定正相关关系;功能分区结果与混合密度情况分布较为一致,表明本研究方法可行、研究结果合理。

基于异构信息网络与TF-IDF的核心药物发现算法

提出一种基于异构信息网络和TF-IDF的核心药物发现算法。其核心思想是建立包含症状、方剂等多种类型对象的异构信息网络,并使用PathSim算法得到方剂之间的相似度来完成方剂聚类。以此为基础使用综合了剂量因素与TD-IDF算法原理的药物重要性系数计算方法完成核心药物发现。本文从《伤寒论》的方剂中划分出9个主要聚类并给出了各个聚类上重要性排名前5的药物,该算法可以考虑到多方面的信息,合理地挖掘出核心药物。

基于LDA-TF-IDF和Word2vec文档表示

针对自然语言处理中传统文档表示方法上下文语义信息不全,干扰词多等问题,提出了一种基于LDA-TFIDF和Word2vec的文档表示方法。首先对数据集进行分词、去停用词等预处理;其次,利用LDA主题模型和TF-IDF抽取文档中具有表征性的特征词,并计算对应权重;最后,应用数据集训练Word2vec模型获取词向量,并将抽取的特征词权重融入Word2vec词向量构建文档语义向量。通过分类任务对该方法进行验证,实验结果表明,与已有方法相比该方法在垃圾短信数据集上表现效果更佳,验证了方法的有效性。

基于情感指数和TF-IDF词频分析的高客单价商品物流影响因素研究

随着数字经济的发展和生活水平的提高,电商平台中高客单价商品的销量不断增加,在线评论成为影响消费者购买决策的关键要素之一。针对京东平台的在线评论数据,提出一种基于情感指数和TF-IDF词频分析的高客单价商品情感指数计算模型来量化消费者情感指数,采用灰色关联分析法探索消费者物流服务情感指数与消费者总情感指数的相关性,结果表明消费者物流服务情感指数与消费者总情感指数之间的关联度极高,挖掘出对高客单价商品消费者情感影响较大的五个关键物流因素:配送、安装、服务态度、售后服务以及包装。

基于TF-IDF与Word2vec的新闻热点分析

新闻节目是信息传播和舆论引导的重要载体。互联网时代,新闻数量急速增长,从海量的新闻数据中高效挖掘热点,掌握社会最新动态,成为当今媒体从业人员研究的热点。以影响力最大的34套电视上星综合频道实际新闻节目数据为实验对象,应用新闻条目智能分割技术,实现新闻报道切分,基于TF-IDF技术对新闻语音文本、新闻标题字幕内容进行关键词提取,并采用Word2vec工具实现新闻条目的向量化,并基于single pass算法实现新闻条目聚类从而拆分各个新闻话题并计算话题热度,初步实现新闻热点分析。

基于TF-IDF加权文本语义相似度算法的变电站一键顺控测试方法研究

针对一键顺控实际测试工作中工作时间长、效率低、人力投入大等问题,自主可控新一代变电站一键顺控规范提出了不停电校核方法,通过主辅一体化监控主机模拟测试完成顺控操作票测试,可以较好地解决上述问题。提出一种自主可控新一代变电站一键顺控测试方法,通过构建基于标准一键顺控操作票中信号定义的中间数据库形成一键顺控测试库所需的配置信息点,基于标准一键顺控操作票和典型接线方式下的间隔定义,使用中间数据库中的信息点构建一键顺控测试库,基于优化TF-IDF加权的文本语义相似度算法实现测试库的实例化,解决一键顺控仿真测试问题。通过实际仿真测试实例验证了所提方法的有效性。

基于TF-IDF和SGTM模型的标准技术地图构建及实证研究

在关键领域技术研发加快和标准竞争加剧的背景下,亟需一种有效的工具对标准的技术内容进行深入分析,为标准创新活动提供决策支持。本文将文本挖掘方法和知识地图绘制思路引入标准化领域,提出一种基于TF-IDF和SGTM模型的标准技术地图构建方法,实现了对标准文本内容的挖掘、聚类与可视化呈现,可以全面细致地揭示一个技术领域的标准布局现状和特点。在此基础上以V2X技术为例进行实践应用,验证了该方法的可行性和有效性,也为V2X标准研究提供了理论指导和政策启示。

基于词频差异的特征选取及改进的TF-IDF公式

文档向量化的质量对于文本分类的速度和准确度有着很大的影响。对文档向量化中常用的TF-IDF公式,互信息量公式以及信息增益公式进行了分析。提出一种基于词频差异的特征选取方法和改进的TF-IDF公式,以提高特征选取质量和文本分类的速度及准确度。

基于TF-IDF相似度的标签聚类方法

社会标签系统是Web2.0中提出的新概念,旨在更好地表达用户的兴趣和意愿。标签聚类是社会标签数据挖掘中一个非常重要的研究课题。标签相似度的计算是标签聚类的关键技术。主要工作包括:(1)提出了一种基于TF-IDF的标签相似度计算方法和基于该相似度的聚类算法;(2)分析了影响标签相似度的条件;(3)通过实验表明:与已有方法相比,新方法的准确性更高。

融合TF-IDF和LDA的中文FastText短文本分类方法

FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocation, LDA)的中文FastText短文本分类方法.该方法在FastText文本分类模型的输入阶段对n元语法模型处理后的词典进行TF-IDF筛选,使用LDA模型进行语料库主题分析,依据所得结果对特征词典进行补充,从而在计算输入词序列向量均值时偏向高区分度的词条,使其更适用于中文短文本分类环境.对比实验结果可知,所提方法在中文短文本分类方面具有更高的精确率.

移动机器人闭环检测的视觉字典树金字塔TF-IDF得分匹配方法

针对移动机器人视觉闭环检测中,基于视觉字典本的场景外观表征性能受制于有限单词个数以及算法效率低的不足,本文对机器人视觉特征分层量化,构建视觉字典树,计算树节点的TF-IDF熵作为对应视觉单词的权重,生成图像–单词逆向文档索引.为消除视觉字典本的单尺度量化误差,并克服基于字典树投影路径的平面匹配模式中不区分不同层次节点的区分度对闭环检测的影响,本文融合字典树低层单词的强表征性和高层单词的强鲁棒性,提出由下而上逐层计算图像间相似性增量的金字塔得分匹配方法.将不同时刻相似性大于阈值的图像位置提取为候选闭环,通过后验确认操作剔除误正闭环.在移动机器人视觉闭环检测实验中,本文算法提高了图像相似性计算的效率和准确性,提高了闭环检测的准确率和召回率.