基于TF-IDF和jieba分词的交通运输综合执法语音文件和文本文件关联匹配技术

在交通运输综合行政执法听证环节中,传统听证环节均是线下举行的,听证记录员需要对整个听证环节的笔录进行详细记录。由于会后需要与整个案件的证据材料进行归档整理,对于执法人员的工作强度要求很高。因此,针对交通运输综合执法办案流程中的听证业务环节提供一定的技术支撑,利用TF-IDF算法对听证内容进行关键词提取,和jieba分词进行优化开发语音文件和文本文件关联匹配技术,实现听证语音文本与案件关键要素信息的精确关联匹配,构建完整证据链确保行政处罚有据可依,整体提升交通运输综合行政执法针对听证案件的处罚判决的充分与准确,助力政府治理系统和治理能力现代化建设。

基于Jieba分词的医疗设备信息查询一站式服务系统设计

目的:设计基于Jieba分词的医疗设备信息查询一站式服务微信平台,以方便临床一线人员查询与梳理医疗设备信息相关资料、标准及各种资讯。方法:建立基于Jieba分词的微信平台系统架构,采用Python的Wxpy模块进行系统设计。使用Jieba分词进行消息处理,设计基于微信的聊天机器人,利用Python语句进行资料反馈和数据库查询。结果:基于微信的聊天机器人可提供设备管理相关资料的精准查询,能够在临床自然语言要求下,进行同质化答复管理。医疗设备资产库备有1万余条数据集,设定文件大小最大<10 M,查询设备资产的返回时间<2 s。结论:医疗设备信息查询一站式服务微信平台系统的设计,能够针对临床文字需求进行同质化答复,既可方便临床一线人员查询设备信息相关资料,还可有效提高医疗设备的管理效率。

基于Jieba分词的青城旅游景点本体构建研究与应用

针对游客在旅游网站上查询旅游景点不准确的问题,以青城为例研究了基于Jieba的旅游景点本体构建工作。首先,采用七步法结合“V”形开发过程构建本体;其次,基于每个景点实例进行相关文本数据收集,采用Jieba分词和基于词性的词频统计方式选择属性特征词,根据属性特征词对实例属性进行赋值;最后,根据相关评价指标对构建好的旅游景点本体进行评价。实验结果表明,与传统关键词匹配法相比,基于Jieba的青城旅游景点本体的查询方法提高了查询性能,使查准率、查全率和综合指标F_(1)值的均值分别提升了9%、7.6%和8.5%.

基于jieba分词搜索与SSM框架的电子商城购物系统

随大数据、云计算等计算机技术的发展,拥有实时检索功能的购物商城系统也越来越重要。笔者利用jieba分词对商城用户的搜索输入进行分词以便于检索商品,同时,利用最新的电子商城框架SSM搭建了购物商城系统,较好满足了大众实时检索和购买商品的需求。

基于jieba中文分词的在线医疗网站医生画像研究

以在线医疗网站患者对医生的评价数据为基础,基于jieba分词技术从医生基本信息、医生所在医院、患者评价信息3个维度构建用户画像,借助PowerBI实现用户画像可视化,分析患者对医生的关注侧重点,为智能医生推荐奠定基础。

基于历史事故案例的瓦斯爆炸情景要素提取及情景构建方法研究

为深入探究煤矿瓦斯爆炸事故发展规律,提出一种基于中文分词技术对瓦斯爆炸事故情景要素进行分析和提取的方法。通过煤矿安全网等途径搜集统计了1978—2020年间的733起瓦斯爆炸事故报告,在此基础上进行数据预处理,剔除不完整的事故报告,最终选取255起瓦斯爆炸事故报告进行要素分析与提取;将事故等级、事故经过、事故原因等内容进行整理储存,形成待挖掘文本语料库;基于Jieba分词算法提取瓦斯爆炸事故情景关键词,并采用TF-IDF算法进行权重计算,将情景划分为事故体、致灾体、承灾体、抗灾体4个维度和24个要素,为后续瓦斯爆炸事故的情景表示和事故未来的可能性组合提供了参考依据。

水利水电行业专用中文分词方法研究

为改善对当前水利水电行业中大量以自然语言文本形式存在的相关资料挖掘不充分和利用率偏低的现状,在分析水利水电行业文本资料数据特点的基础上,构建水利水电行业的基本词典库,并对Jieba分词器进行算法改进,生成一种水利水电行业专用中文新分词方法,并利用新分词方法对1988-2007年的全国水利工作会议报告进行分析。分析结果表明:提出的新分词方法可以准确地进行语句切分,有利于相关行业研究人员从大量现存文本资料中挖掘出更多潜在的高价值信息。

中文分词技术研究

中文分词是自然语言处理的基础任务。随着文本数据量的增长,对中文分词进行研究具有十分重要的意义。jieba分词是较为常用的中文分词技术,分词的准确率较高,面向jieba分词技术研究加快分词速度的方法,该方法采用Cython实现分词技术的核心算法,对中文文本进行分词处理。在ICC中文数据集上进行实验,实验结果表明,该分词加速方法能够提高63.9%的分词速度。

基于电影网站短评数据的网络舆情文本挖掘与情感分析

对电影短评数据进行情感分析的目的是为了获取观众对某部电影的情感倾向,同时还可帮助电影制作者通过了解观众的情感倾向,从而改善电影的制作。文章采用的方法是通过Python代码爬取电影网站上的评论数据,对爬取的数据进行多项数据预处理技术得到较为规范的评论数据,再利用TF-IDF算法计算出短评数据的关键词及权重并给关键字词云图,然后使用SnowNLP库计算出短评数据的情感分值,并运用LDA模型对电影网站短评数据主题分类,最终给出电影网站短评数据情感分析的可视化评价结果。

基于TextCNN融合模型的离散情感分析

在自然语言分析中,情感分析通常是在分析一段文字所表现的情感状况。情感分析的使用场景非常宽泛,比如旅行平台、电影评论平台等所进行的评价,分为积极评论与消极评价;又或者为了研究客户对某一商品的总体使用感觉,对商品的整体使用评价并做出情感判断等。本文数据使用的是阿里云天池的电商评论的数据,分为积极消极两种情感,并将它改成6种情感,本文使用Jieba分词,决策树,lda主题模型,对文本进行挖掘,深入挖掘评论背后隐藏的问题。使用TextCNN,TextRCNN,TextRCNN-Attention模型对情感进行分类,并对模型进行对比。

基于Word2Vec及TextRank算法的长文档摘要自动生成研究

近年来,如何从大量信息中提取关键信息已成为一个急需解决的问题。针对中文专利长文档,提出一种结合Word2Vec和TextRank的专利生成算法。首先利用Python Jieba技术对中文专利文档进行分词,利用停用词典去除无意义的词;其次利用Word2Vec算法进行特征提取,并利用WordCloud对提取的关键词进行可视化展示;最后利用TextRank算法计算语句间的相似度,生成摘要候选句,根据候选句的权重生成该专利文档的摘要信息。实验表明,采用Word2Vec和TextRank生成的专利摘要质量高,概括性也强。

患者评价视角下在线医疗网站先天性心脏病服务现状分析

基于“好大夫在线”网站先天性心脏病医疗服务数据和患者评价数据,采用数据分析和可视化方法,阐述在线医疗网站先天性心脏病医疗服务现状,并针对平台机制完善提出建议。

基于机器学习的文本情感倾向性分析

为实现对网络上电影评论的情感倾向性分析,通过对电影影评数据进行爬取,获取热门的电影评论,利用文本预处理和机器学习算法,完成对数据的训练以及测试,最终构建最优情感分类模型。实验结果表明,在所有词与双词结合并进行jieba的TF-IDF及卡方统计的特征提取下,得到的效果较好,BP神经网络以及多项式贝叶斯算法比较适用于这类文本的分析,尤其以BP神经网络的效果最佳,准确率达到86.2%。

基于Python的网页数据分析及可视化应用

随着互联网平台的大量应用,各种网络数据呈现出多、杂、乱等现象,如何高效地获取有效网络数据问题显得尤为突出。本文基于Python语言,使用Scrapy网络爬虫框架实现网页信息的抓取,进而针对数据进行Pandas数据处理和jieba分词统计分析出有效数据,并使用Matplotlib和Pyecharts可视化工具展现出分析数据,便于人们快速掌握网络信息中的有效数据。

兼顾语义的地图注记智能换行方法研究

提出了一种兼顾语义的互联网地图注记智能换行标注方法,解决了互联网地图中长注记标注不美观、人工处理工作量大的问题,提升了地图注记的可读性。该方法已应用于“天地图·福建”的电子地图生产中,并发挥了重要作用。

基于SVM的网络不良信息识别方法

当前用户在互联网中发布的一些文本信息中包含色情、暴力、政治敏感或恶意广告等不良信息,对网络生态环境造成破坏,特别对广大青少年网民的健康成长影响较大。本文提出一种基于SVM的不良信息识别方法,该方法包括文本标记、文本分词、Doc2Vec文本向量化、SVM不良信息分类器训练、SVM不良信息测试5个步骤。实验结果表明该方法能有效识别网络不良信息,为网络不良信息的甄别提供了一种方法参考。

基于贝叶斯决策的极短文本分类模型

为了有效提取极短文本中的关键特征信息,提出一种基于贝叶斯决策的极短文本分类模型。首先对原数据进行数据清洗并利用Jieba分词对清洗过的数据进行处理;然后利用Kettle工具提取分类所需关键词,并将处理后的数据存入数据库;最后利用贝叶斯决策对极短文本进行分类。通过(1-0)检验,验证模型的有效性。以一批极短文本数据作为样本进行实验,结果显示出该方法能够有效提高匹配效率,误分度与精确度指标的匹配结果更加均衡。

基于支持向量机的中文极短文本分类模型

为了有效提取极短文本中的关键特征信息,提出了一种基于支持向量机的极短文本分类模型。首先对原数据进行数据清洗并利用jieba分词将清洗过的数据进行处理;再将处理后的数据存入数据库,通过TF-IDF进行文本特征的提取;同时,利用支持向量机对极短文本进行分类。经过1-0检验,验证了模型的有效性。实验以芜湖市社管平台中的9906条极短文本数据作为样本进行算法检验与分析。结果表明在分类准确率方面,该方法相比于朴素贝叶斯、逻辑回归、决策树等传统方法得到有效提高;在误分度与精确度指标上匹配结果更加均衡。

基于聚焦型网络爬虫的影评获取技术

随着"互联网+"概念的普及,网络上的资源随之成倍增长.面对庞大的数据资源,传统的搜索引擎Baidu、Google等已经不能满足人们对于特定信息的获取需求.作为搜索引擎抓取数据的重要组成部分,网络爬虫的作用非常重要.本文主要介绍了网络爬虫的概念、组成模块以及工作流程,在通用爬虫的基础上提出一种聚焦型网络爬虫系统,以python和相应的第三方库为主要工具,通过定义采集函数和给定豆瓣网最新上映电影的网址,快速搜索该网址某电影的影评信息,对页面内链接和外链接进行有效爬取.然后,再对获取到的数据进行分词处理,根据关键词的出现频率生成词云.实验结果表明,该聚焦型爬虫系统能够将所有影评信息以JSON格式存储到本地,并通过词云直观的展示出来.

面向XGBoost的课程评价文本智能分类模型

对数据量大的评价文本内容进行分类分析较困难,为解决这一难题,提出面向XGBoost的评价文本智能分类模型,在样本不均衡问题下采用随机欠采样方法进行处理,对文本内容使用jieba分词和停用词进行词向量表示,使用PCA(主成分分析)进行特征降维,使用交叉验证方法寻找XGBoost最优参数。为验证模型的有效性,分别在1647条数据以及9994条数据上进行实验。实验结果表明,XGBoost模型在评价文本分类时精准率、召回率、F1值分别达到了87.62%、87.73%、87.67%。面向XGBoost的评价文本智能分类模型不仅能快速对数量大的评价文本内容进行分类,而且能有效降低人工分类误差。