基于字符级截断式循环神经网络的人名国籍识别

人名是反映用户国籍的关键信息,不同国籍的人名在结构和组成成分方面存在差异性和关联性。目前,基于人名的国籍识别研究工作大部分将人名切分成多个独立的字符单元,忽略字符间微妙的搭配和序列关系。针对上述问题,文中提出基于字符级截断式循环神经网络的人名国籍识别模型,将人名通过滑动窗口的方式截断成多个子序列,利用长短期记忆单元模型学习不同子序列内部的字符组合关系,通过平均池化操作聚合所有子序列信息,获取最终的人名向量表示。最后根据该人名向量实现用户的国籍识别。截断式的子序列有利于模型更关注人名内部的细微差异。在Olympic运动员和Aminer学者数据集上的实验表明,文中模型性能较优。

基于字符和单词表示的哈萨克语词性标注研究

自然语言处理任务中词性标注是基础性的工作,其可以应用到后续各种NLP任务中。在神经网络自然语言处理任务中多使用分布式词表示,获取单词的语义和语法信息,并取得了非常明显的效果。对于像哈萨克语这样形态丰富的语言,在词性标注时,单词内部的各种信息非常有用。在文章中,我们构建了基础的哈萨克语词性标注语料库,并采用基于字符并联合单词信息,提出一种有效的哈萨克语词标注模型。使用这一方法,避免了传统机器学习方法中手工构建特征的问题,在新疆日报哈文版构建的语料库上,准确率达到了61.40%。为进一步提升性能提供了很好的参考。

面向物业投诉的字符级短文本分类模型

文章针对物业投诉短文本人工输入内容复杂、提取特征较困难等问题,提出一种基于字符级文本表示的CNBG深度学习联合模型。该模型首先将物业投诉工单文本进行字符向量表示,然后分别输入到卷积神经网络CNN和双向门控循环单元BiGRU提取特征,并将它们提取到的特征进行融合,最后实现文本分类。实验结果表明,基于字符级CNBG深度学习联合模型在物业投诉工单分类任务上得到的比其它基准模型平均高15%,在物业投诉工单数据集上能够取得更好的效果。

基于细粒度词表示的命名实体识别研究

命名实体识别(NER)是自然语言处理中的一项基础任务,其性能的优劣极大地影响着关系抽取、语义角色标注等后续任务。传统的统计模型特征设计难度大、领域适应性差,一些神经网络模型则忽略了词本身所具有的形态学信息。针对上述问题,该文构建了一种基于细粒度词表示的端到端模型(Finger-BiLSTM-CRF)来进行命名实体识别任务。该文首先提出一种基于注意力机制的字符级词表示模型Finger来融合形态学信息和单词的字符信息,然后将Finger与BiLSTM-CRF模型联合进行实体识别,最终该方法以端到端、无任何特征工程的方式在CoNLL 2003数据集上取得了F1为91.09%的结果。实验表明,该文设计的Finger模型显著提升NER系统的召回率,从而使得模型的识别能力显著提升。