一种融合改进TF-IDF与词典模型的情感分类算法

针对传统情感文本分类算法存在情感特征词的极性偏好区分度较低和稳定性较差等问题,提出了一种改进词频-逆文本频率(TF-IDF)模型与词典模型相融合的情感文本分类算法。首先,通过情感特征词在不同情感类型语料中的频率分布和离散系数,度量情感特征词极性偏好所包含的区分度和稳定性,生成情感特征词极性指标;然后,使用该指标改进TF-IDF模型的情感特征词权重;最后,基于改进的TF-IDF模型,使用带决策函数的有监督分类算法计算情感文本的极性得分,并与词典模型所得的极性得分进行调和平均,得到情感文本综合极性得分。

网络舆情意见挖掘中极性词典构建和极性识别方法研究

本研究通过对网络新词的构造规律分析,对表达情感的网络新词进行识别算法的设计,提出基于HowNet和网络情感词的极性词典的人工构建方法,引进了同义词表减少手工构建的工作量,并抓住网络新词往往是现有情感词的其他形式这一特点,设计了针对表达情感的网络新词的自动识别方法,进一步扩展极性词的收录范围。

基于极性等级法的观点词词典自动扩展研究

在大多数与观点挖掘和情感分析相关的任务中,都必须计算某些观点表达的语义倾向(比如正面或负面评价)。最近的一些研究表明语义倾向依赖于应用领域,文章认为语义倾向更依赖于特定的目标--特征。介绍了一种以半监督方式在特定领域中构建特征级观点词词典的方法:从一小部分已标注的文档开始归纳词汇,然后使用一种新的基于排序算法(极性等级法)的图,从更大部分未标注的文档中自动将观点词词典进行扩展。选择了两个不同领域(手机和婚纱摄影)的评论集进行了构建方法的效果评估。最后得到的方法仅使用少量已标注的文档,产生的特征级的观点词词典领域独立,并具有更好的查准率和查全率。

基于情感词典和集成学习的情感极性分类方法

当前情感极性分析时使用机器学习方法进行褒贬分析需要完备的语料库,但对特定领域的语料库构建困难,而只使用情感词典的分类方法准确率低。针对以上缺点提出了一种改进的机器学习方法和情感词典结合的集成学习情感极性分类方法。首先,使用Word2Vec特征提取方法将每条评论表示成固定维度向量,使用常见的机器学习分类方法进行分类,找出效果最好的分类方法;然后使用基于情感词典的朴素贝叶斯分类方法进行情感极性分类。最后将基于情感词典和集成学习的方法相结合,使用谭松波公开的数据集酒店评论数据进行实验。理论分析和实验表明,使用Word2Vec作为特征提取方法的支持向量机(SVM)分类方法结合基于情感词典的朴素贝叶斯分类方法的集成学习方法可以将积极类的准确率和宏平均分别提高6. 9个百分点和3个百分点,将消极类的召回率和宏平均分别提高8. 8个百分点和5. 1个百分点,有效提升了情感极性分类效果。

基于Word2Vec和HowNet的情感词典构建方法

基于情感词典对文本进行情感倾向分析是一种行之有效的途径,提出一种基于Word2Vec和HowNet构建情感词典的方法。该方法首先利用Word2Vec训练语料得到词向量进而获得与候选词最接近的10个词,根据这10个相近词确定情感倾向,而用Word2Vec无法确定情感倾向时,则用HowNet方法进行判定,即通过计算候选词与种子词的语义相似度确定极性。实验结果表明,该情感词典构建方法在餐饮评论情感词典构建中具有较高的准确性和可利用性。

SentiWordNet情感词标注及其对我国语文词典的启示

在观点挖掘研究中,SentiWordNet是一部非常有影响力的英文电子情感词典。它基于情感词的义项进行“三性合一”的极性标注,并采用机器学习的方法自动计算极性的强度。借鉴SentiWordNet,当前《壮汉英词典》可以增补壮语情感词极性标注的方法;《现代汉语词典》的褒贬因子计数法存在局限性,并在逻辑起点、同义词集等方面也可以进一步修改。这两个有代表性的个案说明,SentiWordNet对于改进我国语文词典的情感词标注具有一定的参考与借鉴价值。

应用语义关系自动构建情感词典

构建英文情感词典研究相对成熟,形成了丰富可靠的词典资源。而针对中文的研究时间短,中文情感分析词典资源较少。借鉴现有可靠的英文词典资源,提出了基于语义关系的情感词典自动构建算法,算法先从HowNet的概念中进行中文义原和词语抽取及语义分析,再利用HowNet概念中DEF中英文属性值,在英文情感词典SentWordNet中进行义原和词语情感值查询,最后根据词语和义原之间的语义关系进行词语的情感值计算。算法直接利用现有的英文情感词典,无须人工标注,生成的情感词典记录了词语的语义关系、情感极性值等多种信息,弥补了现有词典的不足。评测实验结果表明,根据算法实现的情感词典相比其他词典在准确率接近的情况下,召回率和F值最高,取得了较好的评测性能。

基于Word Net和How Net建设双语语义词典

针对当前语义信息往往需要手工获取的现状 ,探讨了利用英语义类词典Word Net和汉语概念词典HowNet资源 ,为双语机读词典ECDic2K的英语词条添加概念和语义类的自动方法 ,以改善手工添加语义类带来的低效率和不一致性等问题。实验表明 ,该方法向英汉双语机读词典ECDic2K的 35 84 8词条译文项自动添加语义信息 ,而改造后的双语语义词典为单语语义分析中的成熟技术用于跨语言研究提供了方便 ,这在机器翻译和跨语言检索等自然语言处理领域具有很高的实用价值。

基于微博表情符号的情感词典构建研究

基于微博表情符号,提出一种自动构建情感词典的方法.从微博平台抓取大量带有表情符号的微博文本,并依据表情符号对微博文本进行情感倾向标注,生成情感语料库.对语料库进行分词、去重等预处理工作,根据词性规则抽取微博文本中情感词,统计每个情感词在正向和负向语料库中出现的次数,计算情感词的卡方统计值获得情感强度,根据情感词在正负微博文本中出现的概率判定情感词的倾向性,进而生成情感词典.这是一种全新的思路.以人工标注的情感词典为基准数据,实验结果表明,本文方法标注情感词的准确率在80%左右,在情绪词强度阈值θ为20、30时,生成情感词典综合F值最好,达到了82%以上.

基于领域本体、情感词典的商品评论倾向性分析

文本倾向性分析已成为当前自然语言处理领域的研究热点,其研究成果具有极高的应用价值。针对网络在线中文评论的特点,基于领域本体与情感词典对商品评论倾向性进行分析。其主要思想是首先构建面向商品论坛的领域本体;其次利用情感词典与上下文极性算法计算情感词极性;再次通过将本体与SBV算法相结合,实现评价对象和评价词的二元组抽取;最后完成句子的倾向性分析。实验结果表明,有效提高了句子级倾向性分析的准确率。

基于直推式学习的中文情感词极性判别

态度挖掘是近年来文本挖掘领域的热点课题之一,旨在发现文本中作者的主观态度倾向,为基于舆情的决策过程提供支持。目前已有的态度挖掘算法绝大多数都基于情感词典来识别情感词,在此基础上判别句子或文本的总体态度倾向。然而,手工构造和维护一部完善的情感词典是不现实的。对中文情感词的极性判别问题进行了研究,提出了基于直推式学习的中文情感词极性判别算法。该算法以少量情感词为种子,利用词典中词汇的解释信息,直推出其他词的情感极性。与使用相同情感种子词的解释信息作为训练数据的有监督学习算法相比,直推式学习算法的识别精度提高了20%左右。

利用语义词典的情感词快速识别

对文本情感分析中的情感词识别任务进行了研究,提出了综合利用已有各种语言知识以及辞典中的信息和知识来判断识别情感词。在识别中主要借助于不同语义知识词典中提供的词语间的知识和关系,对候选词进行语义归类,并计算情感置信度。实验结果表明,该方法能够很大限度利用手工编撰词典中的权威信息,快速识别文本中的情感词,对于词典中不存在的未登录词也有一定的识别能力。

基于HowNet和PAT树的网购评语情感分析

在对相关研究情况进行总结与分析的基础上,通过对How Net情感词典进行扩展并利用基于PAT树和统计相结合的分词方法,对从淘宝网站中获取的评论内容进行分析,结果表明,基于How Net和PAT树的情感分析方法对分析网购评论的情感倾向性行之有效,并以淘宝一女装商家为例进行实证研究,最后指出进一步探索情感倾向性分析的几个方向。

基于语义准则函数的中文评论性文本极性聚类算法研究

通常用于评论性文本极性挖掘的方法是采用有监督的学习算法完成的,但有监督的学习算法需要大量人工标注的训练集,而且其在处理文本集时还会面临维数灾难、稀疏向量、高时空复杂度、低召回率和精确率等问题而无法用于海量的文本极性分类任务。经典的K-means均值聚类算法是聚类分析中使用最为广泛的算法之一,其具有诸多的优良特性和不足。针对上述情况,本文将语义引入经典K-means均值聚类算法中,构造了专门针对中文评论文本极性判断的极性词语义词典,提出了一种基于语义准则函数的K-means均值聚类算法。这项研究是运用基于语义的聚类方法对汉语主观性文本处理的一次探索。实验结果显示总平均召回率达到了80.70%,总平均精确率达到了67.75%,说明该算法是可行和有效的。

融合语素特征的中文褒贬词典构建

针对传统语素方法对于种子词语数量的依赖和传统图方法召回率较低的问题,提出一种将词语间语素关系融入到图模型中,并结合词语同义关系进行中文褒贬词典半监督构建的方法。首先利用语素模型计算词语间语素相似度;然后利用同义词林和双语词典资源,构建词语间同义关系;最后将二种关系结合,并利用标签传播(LP)算法进行词语的褒贬分类。实验结果表明,所提方法具有较高的准确率和召回率,微平均F1值最高可达92.8%;并降低了对种子词语数量的依赖,当种子词语数量仅为100时,微平均F1值依然可达到84.1%。除此之外,所提方法还具有快速收敛的特性。

面向网络新闻领域的评论情感极性分析

网络新闻评论情感分析对于互联网时代分析舆情、掌握民调具有重要意义。目前研究聚焦在评论自身的分析而忽略评论间的结构关系,因此利用该关系生成评论关系树,并基于评论关系树建立情感极性判别规则。将评论经过预处理后,同时采用基于扩展情感词典和支持向量机两种方法来进行情感极性分析,动态扩展了情感词典,设计了情感极性分类器。实验结果表明,在利用了评论结构关系之后,两种方法的分析准确率均较没利用该关系之前有了明显的提升。

基于用户评论的农业新技术推荐模型设计与应用展望

近年来,推荐系统的应用取得了飞速进步。大数据、人工智能技术的出现为农业信息化的加速发展提供了广阔的空间和前景。为提升农业领域内推荐技术的应用,满足农业用户的信息获取需求,对传统协同过滤推荐算法进行了一定的改进,重点体现在融合了K-means算法以及BIRCH算法进行聚类分析,通过搭建HowNet极性词典解决传统协同过滤方法过度依赖用户具体评分的问题,并提出了一种个性化推荐模型,利用相关数据源,进行模型验证。实验结果表明,该模型运行稳定,可以达到精准推荐农业技术信息的目的。

PMI与Hownet结合的中文微博情感分析

为解决中文微博情感的分类问题,文中提出了基于微博数据将PMI与Hownet相结合的情感分类方法。通过对微博数据短小、新颖特征的研究,提出词典合并方法。将现有词典按照Hownet词语相似度合并,利用PMI对网络词语进行情感分类。添加网络情感词构造适应微博文本特征的情感词典,并在新词典的基础上结合监督学习方法训练情感分类模型。实验结果表明,用此方法进行情感分析能够有效识别网络新词对情感分析的影响,准确率可达78.3%,在对含有网络新词的微博情感分析上,该方法相比仅使用词典或者监督学习的准确率更高。

基于词频-极性强度的抑郁症情感词挖掘方法

提出一种基于词频-极性强度值的情感词挖掘方法构建中文抑郁症情感词典。首先,对抑郁症患者评论语料进行有效分词,采用双向最大匹配和互信息方法选出候选情感词,再通过计算词频-极性强度值得到种子词集;然后,通过计算基础中文情感词典与种子词的语义相似度,得到抑郁症领域情感词表,将词表与种子词集合并,得到中文抑郁症情感词典。结果表明:本文提出的方法可准确地挖掘抑郁症专有领域情感词。

中文领域情感词典自适应学习方法

针对领域情感词典的局限性,提出一种中文领域情感词典自适应学习方法。从中文基础情感词典中选取少量种子词,采用基于CBOW模型和基于句法规则两种抽取方法,对领域语料库进行候选情感词的抽取,通过改进的SO_PMI算法对得到的候选情感词进行情感极性判定,形成领域正负情感词典。实验结果表明,该方法能够自适应生成领域情感词典,情感词识别准确率较高,该模型在中文情感分析应用中取得了较好的效果。