结合BERT词嵌入与注意力机制的宋词自动生成

宋词以其独特多变的句式结构和意境高深的用句风格成为文本自动生成研究热点。为解决Word2vec词嵌入在宋词自动生成过程中的主题发散和相邻句子间弱相关性问题,提出一种结合BERT词嵌入与Attention机制+BiLSTM的Sequence-to-Sequence宋词自动生成模型构建方法。该方法使用BERT预训练语言模型实现词嵌入,用以增强宋词词句间语义表示,并在词的生成模型中引入主题约束和Attention机制,实现对生成宋词主题一致性约束。实验结果表明:较之Word2vec词嵌入的词生成模型,BERT词嵌入模型生成宋词的BLEU测评结果提高了9%,BERT-Score和余弦相关度提高了2%。

基于双向多层转换编解码的诗自动生成

中国古诗因其严谨的平仄、押韵结构,精练传神的用词成为文本自动生成领域的挑战问题之一。本文基于双向多层转换编解码的空间向量,结合Attention机制建立了循环神经网络结构的诗自动生成模型。为解决自动生成诗的主题发散性问题,模型在生成每句诗时均增加了关键词约束。此外,为了增强诗句之间的对仗性和语义的连贯性,模型双向多层转换编解码的词嵌入式输入添加了诗句的对齐向量。实验结果表明,相比于以词转换为向量的词嵌入式的诗自动生成模型,本文设计的基于BERT的对齐向量输入模型生成的诗不仅在机器评估和人工评估中性能较优,而且生成诗句相邻句子的相关性也最好。这也进一步说明,当模型的输入向量能充分表达诗词的格式、内容和语义时,双向多层转换编解码的向量表示,即Attention机制+循环神经网络构建的诗生成模型可以生成较接近人工作的诗。