基于词内部模式的中文新词识别研究

提出了一种基于支持向量机的中文新词识别算法.该算法结合新词内部模式以及词长等提出了基于词内部模式的改进字符位置似然概率,并综合新词的邻接类别等特征对新词进行识别.经过小说语料测试,实验结果表明:该算法的微F1值为0.583 3,宏F1值为0.775 7,分别比不考虑词内部模式的基准算法提高约63%和30%.

基于词内部模式的新词识别

提出一种基于词内部模式的新词识别算法,该算法在重复串查找的基础上,结合词内部模式的特征提出改进位置成词概率和首尾单字成词概率的加权,依次判断互信息、邻接类别等统计量,对新词进行识别。通过不同的实验对比发现,该算法在一定程度上能有效提取新词。

ABB式叠词的内部结构分析

ABB式叠词所涵盖的词性范围较广,其中以形容词为最多。本文根据形式和意义两个方面的标准,把ABB叠词可以分为两种类型三个层次。两种类型是复合词和派生词。复合词中又可分为构形复合与构词复合;构词复合可以再分为以A为中心和以BB为中心。这样形成三个层次。复合词中的A与B或A与BB都是可以单用的,具有词资格。它们之间通过不同的语法关系相联系。构形复合词的内部结构形式可以记为“((A+B)﹄B)”,词尾B是附着于基词的叠音,与词义无关,不过有一定的语法意义。所以,严格的说,构形复合词应该叫做复合派生词。构词复合词的内部结构形式可以记为“(A+(B+B))”,其中的A和都有单用的资格。派生词的内部结构可以记为“(A﹄(B+B))”,其中的BB是纯粹的音的重叠。它与词中A的关系是依附关系。

俄汉外来词语言二重性的内部形式

引入外来词语言二重性概念,结合俄语和汉语事例对外来词语言二重性制约下的外来词内部形式进行了较为详细的分类和对比分析。外来词内部形式的选择实际上就是外来词吸收方式的不同。由于外来词语言二重性的影响,每种方式在服务于外来词吸收的同时,均存在自身的局限性。

外来词语言二重性的内部形式维度

本文引入外来词语言二重性概念 ,结合计量统计的数据对外来词语言二重性制约下的外来词内部形式进行了较为详细的分类和对比分析。文章认为 ,外来词内部形式的选择实际上就是外来词吸收方式的不同。由于外来词语言二重性的影响 ,每种方式在服务于外来词吸收的同时均存在自身的局限性。

面向情绪分类的情绪词向量学习

提出了一种面向情绪分类的融合词内部信息和情绪标签的词向量学习方法。在CBOW模型的基础上,引入词内部成分和情绪标签信息,以适应微博情绪表达的不规范,同时丰富词向量的情绪语义。对于输入文本,按照词的TF-IDF权重对词向量进行加权求和,以作为文本向量表示。以上述词向量或文本向量作为情绪分类器的输入,采用机器学习的分类方法(LR、SVM、CNN),验证本文情绪词向量在情绪分类任务上的实验效果。实验表明,情绪词向量与原始CBOW词向量相比,在准确率、召回率、F值等各项指标上都有更好的表现。