基于卷积神经网络与情感倾向点互信息算法的农产品情感词典构建

针对现有的情感词典无法精准地对在线农产品情感词进行捕捉分析的问题,通过对农产品在线评论进行分析,构建专用情感词典,创新地提出C-TF算法。首先,将卷积神经网络(CNN)与词频(TF)结合计算得出情感种子词,并利用文本词性标注进行词语过滤得到候选词;接着,利用情感倾向点互信息(SO-PMI)算法计算每个候选词与种子情感词的相似度从而对词语极性标注;最终,形成农产品情感词典。为验证所提词典的准确性,用构建的情感词典对不同平台的农产品评论进行情感分类。实验结果显示,与其他情感词典相比,在精确率、召回率和F1值3个评价指标上均提升了5.00以上个百分点。所构建的农产品情感词典对农产品情感分类效果更好,便于商家更准确地掌握消费者的情感倾向。

基于归一化点向互信息的低资源平行语料过滤方法

神经机器翻译的效果严重依赖于平行语料的规模和质量,而当前的平行语料抽取方法和生成方法只能提供规模足够但质量不佳的平行语料。因此,要在这些大规模低质平行语料上训练高质量的神经机器翻译系统,需要对这些平行语料进行有效过滤。针对这一问题,引入了归一化点向互信息算法来抽取噪声语料中的对齐信息,利用其中可靠性高的对齐信息来过滤噪声语料。利用该方法在OpenSubtitles的泰语—汉语翻译方向上提高了5.8个双语评估替补(Bilingual Evaluation Understudy,BLEU)值,汉语—泰语翻译方向上提高了10个BLEU值。此外,该方法在2020年国际机器翻译大赛给出的柬埔寨语—英语单向翻译任务中实验,得到的结果比基线高了0.4个BLEU值。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

基于修正点互信息的特征级情感词极性自动研判

[目的/意义]基于语料的情感词发现依语句上下文推断情感词极性,能显著提升情感分析的准确率,在面向领域的特征级情感分析任务中有重要应用价值。[方法/过程]对特征级情感极性研判问题展开探讨,提出基于点互信息的"特征-情感"对情感极性自动判别算法,算法借助大规模领域语料,根据观点表达"特征-情感"对与情感语义明确的种子词的共现关系,同时引入依存句法分析语句间的情感转折,通过修正经典的点互信息算法,对上下文约束下的用户观点表达进行褒贬预测。[结果/结论]实验证明,修正算法的性能显著优于词典匹配算法和经典的点互信息情感识别算法,不仅能够推断词典中未纳入的观点表达的情感指向,而且能较准确地推断"语境"中的情感词极性。在餐饮评论和数码产品评论两个评测语料集上,修正算法的F1宏平均指标分别达到0.827和0.878。该算法以领域相关的大规模语料为支撑,基于概率统计和句法分析,因数据获取便利,算法效率高,移植性好,具有普适性,尤其适用于面向领域的情感分析任务。

基于LS-SO算法的情感文本分类方法

首先,基于点互信息与信息检索(PMI-IR)算法,提出一种Laplace平滑情感判定(LS-SO)算法,对情感词典与表情符号情感词典进行自动扩充,得到了具有一定规模、高质量的情感词典,包括基础情感词典、目标情感词典、网络用语情感词典、表情符号情感词典、否定词词典、疑问词词典、程度副词词典和连词词典.其次,通过细化文本语义分析规则计算文本情感值.实验结果验证了该方法的有效性.

融合可拓学与在线评论挖掘的产品改进需求识别研究

利用形式化、条理化的手段从在线评论当中挖掘并理清不同类别的产品改进需求是产品改进中亟待解决的问题,考虑到产品设计信息的多层次、多特征性,提出一种基于基元模型的在线评论产品设计信息分层表示及识别产品改进需求的可拓分析方法。利用PYLDA-vis交互式可视化库从在线评论中提取产品要素,将产品要素划分为实体-功能-属性3个层次,并采用物元模型进行分层表达;结合情感倾向点互信息算法计算各个层次用户观点的评价值,借助事元模型对评价值较低的对象特征进行用户需求表达;利用相关网分析方法确定缺陷物元之间的关联关系,蕴含系分析方法找出产品改进需求的实现途径。以一款养生壶的在线评论为例,通过对在线评论的挖掘找到用户对该产品的改进需求,并识别出实现需求的途径。融合可拓学与在线评论挖掘的产品改进需求识别方法可实现用户需求的分层表达,形式化、条理化地理清产品改进设计信息,为识别产品改进途径提供科学依据和有效方法。

维吾尔语褒贬情感词典构建研究

为实现维吾尔语网络内容的倾向性分析,进行维吾尔语情感词典的构建研究。首先对现有成果中的情感基准词进行汇总分析,筛选使用频率高、情感倾向强烈的词汇作为维文情感种子词,并利用维文同义词电子词典建立种子扩展词集;其次对HowNet、NTUSD以及大连理工大学开发的情感词典进行并运算,翻译为维吾尔语词汇构成候选词集合;最后利用语料库,计算候选词与种子词以及同义扩展词之间的点互信息值,判别候选词的极性并将其加入到相关的褒贬情感词库中。与汉语句子情感倾向评测实验结果比较,基于该词典的维吾尔语句子倾向性判断准确率和召回率基本相同。

维吾尔文网络查询扩展词的构建研究

为提高维吾尔文网络内容查询的扩展性能,提出一种将维语同义词和互联网资源相结合的扩展词构建算法。利用维吾尔语同义词词典、近义词词典和反义词词典等建立基本候选词库,将互联网作为超大规模语料库,以搜索引擎为工具,使用改进的点互信息对基本扩展词进行相似度评价,选取前N个词形成候选扩展词库1,对包含关键词的互联网语料,基于局部共现和点互信息分析,构建候选扩展词库2,对上述2种候选扩展词库加权求和,按顺序选择部分词为扩展词。通过搜索引擎实现扩展查询验证,结果表明,与常规查询和同义词查询扩展算法相比,该算法能明显提高查询的准确率。