Transformer-CRF词切分方法在蒙汉机器翻译中的应用

基于编码—解码(端到端)结构的机器翻译逐渐成为自然语言处理之机器翻译的主流方法,其翻译质量较高且流畅度较好,但依然存在词汇受限、上下文语义信息丢失严重等问题。该文首先进行语料预处理,给出一种Transformer-CRF算法来进行蒙古语词素和汉语分词的预处理方法。然后构建了基于Tensor2Tensor的编码—解码模型,为了从蒙古语语料中学习更多的语法和语义知识,该文给出了一种基于词素四元组编码的词向量作为编码器输入,解码阶段。为了进一步缓解神经网络训练时出现的词汇受限问题,该文将专有名词词典引入翻译模型来进一步提高翻译质量和译文忠实度。根据构建模型对不同长度句子进行实验对比,表明模型在处理长时依赖问题上翻译性能得到提高。

基于Transformer-CRF的文言文断句方法研究--以唐代墓志铭为例

[目的/意义]本文探索了文言文的断句规则,并以唐代墓志铭为例进行基于语义的句子边界识别,降低了文言文因缺少标点造成的阅读障碍,减少了人工标注标点的工作量,为中国古文的资料分析整理提供技术支撑。[方法/过程]本文首先使用一种基于汉字偏旁的字表示方法,提取汉字本身隐含的语义信息进行表达。将基于偏旁的字表示输入Transformer-CRF模型,并对墓志铭中的缺失字进行了滑动窗口填补操作,降低缺失字对整体模型的影响。该模型在提高并行计算效率的基础上对输出结果进行关联,提高了准确率。[结果/结论]实验表明,使用基于偏旁的字向量表示方式结合Transformer-CRF能提升唐代墓志铭的断句准确率,且对于缺失字附近的断句准确率有所提升,该方法对数字人文中信息收集和整理工作起到了一定的辅助支撑作用。