面向自然语言处理的词向量模型研究综述

从20世纪50年代至今,自然语言处理(Natural Language Processing, NLP)取得了长足的发展。早期的词向量模型证明了对该领域的研究需要使用数学方法,而不是人类的语言规则。进入21世纪后,静态模型以深度学习技术为基础,在很多任务中取得了不错的表现;动态模型再将预训练技术融入进来,实现了根据语境对词向量进行调整的功能,为NLP领域带来了里程碑式的突破,后续研究在此基础上向各领域延伸扩展,并且在现实生活中得到了大规模的应用。文章首先对词向量模型及其发展历史做了介绍,然后分析了现代的词向量模型(NNLM,Word2Vec, FastText, Glove, ELMo, GPT,BERT),其次说明了多种基于预训练技术的扩展模型和当前自然语言处理技术的应用现状,最后总结了目前存在的主要问题,并提出对未来研究的展望。