维-哈-柯多语言词素切分集成环境研究

开发一个多语言统一用户界面的集成信息处理软件环境,对少数民族自然语言处理研究工作特别是派生类语言的文本及语音等信息处理带来了巨大便利。系统基于词-词素平行语料库,从语音、词素、词以及句子等多个层面出发,对3种派生类黏着性语言进行声学和形态分析层面的分析,将繁杂的归一化、单元切分等工作集成到一个工程内。系统在语言和功能上可扩展,可嵌入独立的统计模型,对维-哈-柯语的词素切分准确率分别达到96%、92%和88%。

基于语义匹配和Bi LSTM的机器翻译技术实现

对基于语义匹配和BiLSTM的机器翻译技术实现的方法进行了研究与设计,以中英翻译为例,搭建了一种基于BERT-BiLSTM机器翻译模型。首先,选择BiLSTM网络与基于BERT的语义匹配模型作为词向量生成算法,对待翻译的文本特征进行提取;然后,以BiLSTM网络为载体搭建基于BiLSTM网络的编码器,并引入词素切分方法,解决英语时态多变导致编码时容易出现歧义的问题;同时搭建基于BERT的注意力层对中英双语词语的对齐概率进行计算;并由单个隐藏层的解码器进行解码操作;最后,对词向量生成算法与机器翻译模型进行实验测试。测试结果表明:设计的BERT-BiLSTM词向量生成模型精确度为91.87%,准确率达97.01%,较对照组的三种模型平均提高了3.3%;基于BERT-BiLSTM的机器翻译模型的平均BLEU值为94.88%,比其他三种机器翻译模型提高了6%左右;表明BERT-BiLSTM模型更适合作为中英机器翻译的词向量生成算法,机器翻译模型的翻译质量得到大幅提高。