基于序列到序列模型的生成式文本摘要研究综述

相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综述了编码、解码、训练等方面的研究工作,并对这些工作进行了比较和讨论,在此基础上总结出该领域未来研究的若干技术路线和发展方向。

基于场景表示中对象特征语法分析的视频描述

为解决基于编码器-解码器的视频描述方法中存在忽略特征语法分析,造成描述语句语法结构不清晰的问题,提出一种基于场景表示中对象特征语法分析的视频描述方法。编码阶段将视频的2D、C3D特征、对象特征和自注意力机制相结合,构建视觉场景表示模型,描述视觉特征间的依赖关系;构建视觉对象特征语法分析模型,分析对象特征在描述语句中的语法成分;解码阶段结合语法分析结果和LSTM网络模型,输出视频描述语句。所提方法在MSVD和MSR-VTT数据集进行实验,结果表明,该方法在不同评价指标方面性能较好,视频描述语句的语法结构清晰。

基于注意力机制的滚动轴承剩余使用寿命预测方法

现有的轴承振动信号特征的提取方法过分依赖于专家的经验,同时在轴承的寿命预测过程中,存在因序列过长而导致的记忆力退化等问题,为此,结合卷积神经网络-注意力机制网络(CNN-attention)和基于注意力机制的Encoder-Decoder方法,提出了一种滚动轴承剩余使用寿命(RUL)的预测模型(方法)。首先,利用快速傅里叶变换(FFT)方法,将滚动轴承的初始振动信号转换成频域幅值信号;然后,设计了一种基于注意力机制的模型:其中,利用CNN-attention进行了退化特征提取,利用基于注意力机制的Encoder-Decoder网络进行了RUL预测,并进一步在远距离信号传输中解决了循环神经网络记忆衰退的问题;最后,为了验证特征提取模型以及寿命预测模型的有效性,采用PHM 2012轴承退化数据集,通过轴承加速退化PRONOSTIA实验平台进行了实验,并将其所得结果与未采用注意力机制模型的预测结果以及其他文献方法所得结果进行了对比。实验结果表明:与其他方法相比,基于注意力机制模型的方法平均绝对误差分别降低了29.41%、32.00%、29.56%、32.34%,平均得分分别提高了0.39%、0.98%、0.82%、15.46%。研究结果表明:在轴承RUL预测方面,基于注意力机制的轴承剩余使用寿命预测模型(方法)是有效的。

基于子词的句子级别神经机器翻译的译文质量估计方法

目前性能最优的译文质量估计系统使用神经机器翻译中的编码器-解码器模型作为特征提取器.该方法由于限制词表大小易导致数据稀疏问题,从而使得较多的未登陆词不能被正确评价.为了缓解上述问题,在详细分析不同子词切分方法的特点后,提出了基于字节对编码(BPE)子词切分和基于一元文法语言模型子词切分的神经译文质量估计方法,并将两者的译文质量估计的得分与基于词语切分的神经译文质量估计得分融合后进行译文质量估计.在WMT18句子级别译文质量估计子任务数据集上的实验结果表明:融合BPE子词切分、一元文法语言模型子词切分和词语切分的神经译文质量估计方法的性能在多个评测子任务上超过了WMT18给出的最好参与系统,深入的实验分析进一步揭示了融合不同粒度的句子切分方法提高了译文质量估计的健壮性.

基于QE的机器翻译重排序方法研究

该文提出了一种融合BERT语境向量的多模型集成的翻译质量估计方法,以及基于译文质量估计的多候选译文重排序方法,实验结果表明,这2种方法均取得了较好的实验效果.

基于BiLSTM自动生成个性化评论

该文对用户及产品信息进行分析,并尝试建立一个评论写作助手以帮助用户撰写评论。使用编码器-解码器框架以及注意力机制,通过编码用户历史评论、产品标题以及评级,经注意力增强的解码器解码,最终达到生成个性化评论的效果。在亚马逊电子产品数据集上的实验结果表明,我们的模型相比现有的基准模型在各项指标上都有所提升,且能够生成准确、个性化的评论。

神经问题生成前沿综述

问题生成是指机器主动对一段文本进行提问,生成一个自然语言的问题。神经问题生成则是完全采用端到端的训练方式,使用神经网络完成文档和答案到问题的转换,是自然语言处理中一个新兴而又重要的研究方向。文中首先对神经问题生成进行了简单介绍,包括基本概念、主流框架和评价方法。接着介绍了该研究方向的关键问题,包括输入建模、长文本处理、多任务学习、机器学习方法的应用、其他研究问题和改进点。最后,介绍了问题生成和问答系统的关系,以及问题生成的未来研究方向。

基于Transformer的汉字到盲文端到端自动转换

汉字到盲文自动转换是改善我国1700万视障人群生活学习和贯彻落实国家信息无障碍建设的重要问题。现有汉盲转换方法均采用多步转换方法,先对汉字文本进行盲文分词连写,再对汉字进行标调,最后结合分词和标调信息合成盲文文本。该文提出一种基于编码器-解码器模型Transformer的端到端汉盲转换方法,利用汉字-盲文对照语料库训练Transformer模型。基于《人民日报》六个月约1200万字中文语料,该文构建了国家通用盲文、现行盲文、双拼盲文三种对照汉盲语料库。实验结果表明,该文提出的方法可将汉字一步转换为盲文,并在国家通用盲文、现行盲文、双拼盲文分别有80.25%,79.08%和79.29%的BLEU值。相比现有汉盲转换方法,该方法所需语料库的建设难度较小,且工程复杂度较低。

一种基于文本语义扩展的记忆网络查询建议模型

提出了一种新的基于文本语义扩展的记忆网络模型,用于生成环境感知的查询建议。采用基于注意力机制的分层编码器-解码器模型,利用外部记忆网络,生成查询与查询相关文档之间的神经注意力向量。模型融合了查询层、会话层和文档层语义信息,与目前的研究方法相比,能生成具有更高相关性的环境感知查询建议。使用真实的商业搜索引擎查询日志进行了实验,实验结果表明了该模型的有效性。