一种基于词频-逆文档频率和混合损失的表情识别算法

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。

长三角一体化发展特征与动力探究——基于TF-IDF算法与格兰杰检验

从政策观念视角出发,深入探讨长三角区域一体化发展进程,有助于洞察区域内生发展动力和经济增长潜力。应用话语制度主义和间断-均衡框架,结合TF-IDF(词频-逆文档频率)算法与格兰杰检验,揭示长三角一体化发展特征与动因。研究发现:建设主体对5个发展目标的注意力分配不均衡;在创新共建目标方面,地方主体的注意力变动会引起中央主体的注意力变动;长三角一体化发展呈现小间断大均衡特征,体现“自下而上”的地方主导模式。

基于词频-逆文档频率和法律本体的相似案例检索算法

智慧检务是近年来研究的热点问题,而相似案例检索是智慧检务中公共法律服务模块的基本需求。传统的基于关键词的检索方式使案例的相似性仅局限在浅显的词语层面上,无法满足用户在文章和语义层面上的检索需求。针对公共法律服务中的相似案例检索问题,该文以公共法律服务案例为研究对象,引入能够突出法律语义的案例要素,并以其为依据为案例建模,提出了一种基于语义的相似案例检索算法。该算法首先结合词频-逆文档频率和法律本体,提取出语料库中全部案例要素,再基于向量空间模型,通过欧氏距离计算出用户输入案例和语料库中各案例的相似程度,从而实现语义层面上的相似案例检索。通过对12348中国法网司法行政(法律服务)案例库中案例的分类实验可知,与传统的词频-逆文档频率提取关键词方法相比,该算法在监狱教改类案例分类上,其F1值提高了36.36%。

基于词频-逆文档频率(TFIDF)算法的公文处理智能推荐技术研究

随着人工智能技术的发展,越来越多的信息获取方式改变了我们的生活。这也给传统的OA(Office Automation)带来了新的发展方向。为助力OA智能化,本文将TFIDF(Term Frequency–Inverse Document Frequency)算法融合于传统OA系统。通过TFIDF算法挖掘办公人员处理过的历史公文构建用户画像,采用基于内容的文档推荐算法,将待办公文经过TFIDF算法处理后计算其与用户画像的余弦相似度来推荐办公人员。该算法能够有效解决公文办理中由于办公人员无相关公文办理经验造成的公文退回问题,从而提高公文的流转效率。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

文本分类TF-IDF算法的改进研究

中国互联网环境的发展,让大量蕴含丰富信息的新词得以普及。而传统的特征词权重TF-IDF(Term Frequency and Inverted Document Frequency)算法主要考虑TF和IDF两个方面的因素,未考虑到新词这一新兴词类的优势。针对特征项中的新词对分类结果的影响,提出基于网络新词改进文本分类TF-IDF算法。在文本预处理中识别新词,并在向量空间模型表示中改变特征权重计算公式。实验结果表明把新词发现加入文本预处理,可以达到特征降维的目的,并且改进后的特征权重算法能优化文本分类的结果。

基于TF-IDF分类算法的雷达情报分发技术

为了提高情报分发的效率,解决雷达组网上信息过载的问题,提出了一种利用个性化推荐技术过滤情报用户感兴趣的情报信息的技术。根据情报用户兴趣多样性的特点和雷达情报的格式化特征,对情报用户兴趣的类别进行划分,并设计出基于层次向量空间模型;在此基础上,利用用户的历史情报信息和定制信息,运用TF-IDF算法挖掘用户兴趣,建立用户兴趣模型,通过实时情报与用户兴趣模型的匹配,将用户感兴趣的情报分发给用户。仿真实验结果表明,该算法能够较好地实现雷达情报的按需分发。

基于TF-IDF和VOSviewer的我国应急救援现状可视化分析

为有效利用消防救援队伍的实战记录资料挖掘应急救援战例成功经验,结合词频-逆文档频率(TF-IDF)算法和VOSviewer文献可视化分析技术,构建战例资料分析模型,分析战例成功与失败的共性规律和特点,总结我国应急救援现状及发展趋势。模型以2007—2019年间共185起应急救援典型战例为数据库,按照自然灾害、交通事故、建筑坍塌、危化品泄漏、火灾扑救等应急救援行动类型展开分析。结果表明:我国应急救援行动的影响因素主要表现在人(救援队伍)、机(装备技术)、环(环境)、管(管理)4个方面。其中,环境因素的影响几乎都是负面的,其他3个因素均有正负面影响。此外,不同应急救援行动类型的主导影响因素存在差异,自然灾害突出“机”;交通事故突出“管”;建筑坍塌突出“机”“环”;危化品泄漏在“人机环管”4个方面均有突出问题;火灾救援突出“机”。

基于TF-IDF分类算法的电磁态势情报分发

为了提高电磁态势情报分发的灵活性,提出利用个性化推荐技术进行电磁态势情报分发。根据电磁态势情报用户兴趣多样性特点和电磁态势情报的格式化特征,对情报用户兴趣的类别进行划分,并设计层次向量空间模型。在此基础上利用情报用户的历史情报信息和定制信息,运用TF-IDF算法挖掘用户兴趣,建立用户兴趣模型,通过电磁态势情报与用户兴趣模型的匹配完成情报推荐。仿真实验结果表明,该算法能够较好地实现电磁态势情报分发,满足情报分发灵活性要求。

结合TF-IDF的企业生产隐患关联预警及可视化研究

为有效利用企业在日常管理中积累的大量生产事故隐患记录,实现隐患预警,解决人工分析数据效率低、主观性强等问题,构建结合词频率-逆文档频率(TF-IDF)的企业生产隐患关联预警可视化模型。首先,运用先验(Apriori)关联规则算法挖掘各隐患间的潜在联系,获取信息中的隐藏价值;然后,引入TF-IDF算法优化关联规则,找出隐患间的关键规则;最后,运用可视化技术直观地展现挖掘结果。研究表明:可视化模型能快速、准确地实现隐患预警;对关联规则的优化,解决了Apriori算法支持度依赖性强的问题;挖掘结果能为企业安全管理者提供整改方向与依据。

基于改进M-ORB的视觉SLAM直接-闭环检测算法

直接法SLAM不在前端提取图像特征点,使得后端无法生成视觉词袋,这导致大部分直接法SLAM无法使用带有词袋模型的闭环检测来消除系统的累积误差。针对此问题,提出一种基于改进M-ORB的视觉SLAM直接-闭环检测算法,生成闭环检测所需的词袋模型,然后采用词频-逆文档频率算法对视觉词典树各个子节点中的视觉单词进行自适应分配权重,得到场景信息的准确表述。在TUM、KITTI两种公开数据集上进行了对比实验,实验结果表明,所提出的算法能够有效检测到闭环,并在不降低准确性的同时,提高SLAM的实时性与鲁棒性。

一种改进型TF-IDF文本聚类方法

针对传统词频-逆文档频率(TF-IDF)算法对具有特定属性的文本分类存在的不足,尤其是词汇在特定分类中具有特殊意义情形下准确率较低的问题,提出一种改进的TF-IDF文本聚类算法.采用2015—2019年吉林省科研机构发表论文数据进行对比实验,分别用改进TF-IDF算法和传统TF-IDF算法先统计论文中的关键词词频,再通过K-means++算法进行聚类,最后使用随机森林算法分别评估聚类的准确性.实验结果表明,改进TF-IDF算法提高了分类的准确率.

基于TF-IDF与word2vec的台词文本分类研究

为提高文本分类的准确性,针对健康节目台词文本各类别之间样本数量及各样本之间词数不平衡的特点,提出了一种基于word2vec均值算法及改进的词频-逆文本频率(TFIDF)算法的分类方法.该方法通过引入信息熵及修正因子,缓解了数据不平衡对分类准确率及召回率造成的不良影响.实验结果表明:所提出的分类方法在准确率及召回率上与word2vec均值模型相比,分别提高7.3%及10.5%.

基于改进TF-IDF可疑人员文本表示方法

为解决重大安保任务中,情报人员在进行可疑人员情报研判时效率低下的问题,提出一种面向情报研判的可疑人员文本表示方法。针对可疑人员信息库的特点,将文本分类领域的文本表示方法应用到情报研判领域,引入文本类别参数,改进TF-IDF算法,提升算法提取分类特征的能力;通过属性加权的文本表示方法将可疑人员信息制作成特征向量,使用支持向量机实现可疑人员情报研判。实验验证了该方法的可行性,其研判精确率达到98.8%,满足实际研判任务要求的标准,为情报人员提供了高质量的研判参考。

基于朴素贝叶斯算法的信息过滤研究

随着信息量的快速增长,获取和筛选相关信息变得越来越重要。文章研究了基于朴素贝叶斯算法的信息过滤方法。首先,介绍了朴素贝叶斯算法的基本原理,包括贝叶斯定理、朴素贝叶斯分类器及该算法的优缺点。其次,探讨了朴素贝叶斯算法在信息过滤领域的应用,包括信息过滤的分类、文本表示方法、基于朴素贝叶斯的信息过滤模型构建。最后,通过实验评估了该方法在文本分类任务上的性能,包括不同特征表示方法的对比以及与其他分类算法的性能对比。实验结果表明,基于朴素贝叶斯算法的信息过滤具有较好的性能,可以有效分类不同主题的文本。

基于检索器-鉴别器架构的电力地址匹配模型研究

为解决电力地址库与外部地址库地址的匹配问题,保证电力地址准确性,实现电力系统与外部系统间数据信息共享互通,本文提出一种基于检索器-鉴别器架构的地址匹配模型。首先介绍地址匹配模型的详细结构,包括用于缩小地址检索范围的地址检索器和最终分辨地址是否匹配正确的地址鉴别器,其中地址检索器基于词频-逆文档频率算法构建,地址鉴别器基于中文预训练语言模型NEZHA构建。还提出了一种负样本训练方法提升地址鉴别器辨别效果。详细介绍了实验分析所使用的两个数据集。实验结果表明基于检索器-鉴别器架构的电力地址匹配模型能够准确从外部地址库中找出与电力地址匹配的地址,其中,地址鉴别器能够非常准确地从多个候选地址中找出准确匹配地址,其F1分数达0.99以上。

统计与规则相融合的领域术语抽取算法

针对领域术语抽取问题,采用基于规则和多种统计策略相融合的方法,从词语度和领域度两个角度出发,提出一种领域术语的抽取算法并构建出相应的抽取系统。系统流程包括基于左右信息熵扩展的候选领域术语获取、基于词性搭配规则与边界信息出现概率知识库相结合的词语度筛选策略以及基于词频—逆文档频率(TF-IDF)的领域度筛选策略。运用此算法不但能抽取出领域的常见用词,还可以挖掘出领域新词。实验结果显示,基于该方法构建的领域术语抽取系统的准确率为84.33%,能够有效支持中文领域术语的自动抽取。

基于集成学习技术的恶意软件检测方法

近年来,低级别微结构特征已被广泛应用于恶意软件检测。但是,微结构特征数据通常包含大量的冗余信息,且目前的检测方法并没有对输入微结构数据进行有效地预处理,这就造成恶意软件检测需要依赖于复杂的深度学习模型才能获得较高的检测性能。然而,深度学习检测模型参数量较大,难以在计算机底层得到实际应用。为了解决上述问题,本文提出了一种新颖的动态分析方法来检测恶意软件。首先,该方法创建了一个自动微结构特征收集系统,并从收集的通用寄存器(General-Purpose Registers,GPRs)数据中随机抽取子样本作为分类特征矩阵。相比于其他微结构特征,GPRs特征具有更丰富的行为特征信息,但也包含更多的噪声信息。因此,需要对GPRs数据进行特征区间分割,以降低数据复杂度并抑制噪声。本文随后采用词频-逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)技术从抽取的特征矩阵中选择最具区分性的信息来进行恶意软件检测。TF-IDF技术可以有效降低特征矩阵的维度,从而提高检测效率。为了降低模型复杂度,并保证检测方法的性能,本文利用集成学习模型来识别恶意软件。实验表明,该集成学习模型具有99.3%的检测准确率,3.7%的误报率,优于其他现有方法且模型复杂度低。此外,该方法还可以用于检测真实数据中的恶意行为。

基于BM25的勘察设计企业科研项目重复性检测方法研究

中国勘察设计企业的科研重复投入情况日益凸显,这是对资金、人力、信誉乃至科研精神的损耗,不利于尖端技术的孵化,因此通过智能化手段自动识别科研课题重复性,最大化复用科研成果势在必行。结合BM25算法的基础理论,融合勘察设计企业的数据属性,引入领域、专业、负责人等特征值,提出一种聚焦企业内部的科研项目重复性检测方法。该方法涉及4个步骤,包括文本预处理、建立匹配库,根据词频-逆文档频率(TF-IDF)算法、BM25算法分别计算输入课题与匹配库中课题的相似度,最后分析计算结果。相较于TF-IDF算法,BM25算法通过词语饱和度和字段长度规约实现权重控制,针对新能源、工程数字化和信息化领域的研究课题中的计算结果有较高的区分度,有利于挖掘不同领域下高相似性的文本,最大程度避免潜在重复课题的遗漏;同时该算法的计算时间小于0.1 s,可满足商用,在科研课题立项重复性校验、成果重合度判定中发挥支撑作用,计算结果经技术研发人员复验,准确性满足业务管理需要,在勘察设计行业具有推广价值。

基于微博扩展的用户兴趣主题挖掘算法

为解决基于微博的用户兴趣建模存在建模不全面的问题,提出一种基于微博扩展的用户兴趣主题挖掘算法。通过结合用户自身兴趣及用户关注人的兴趣来扩充微博用户兴趣,将兴趣分为长期兴趣、过期兴趣、近期兴趣,利用改进的TF.IDF算法分析相关微博内容,利用基于时间及文档频率加权的主题词重要度计算兴趣主题词得分,得出综合全面的用户兴趣。实验结果表明,综合分析用户及用户关注人的兴趣,可以有效得到真实、全面、包含潜在兴趣的用户个人兴趣。