基于多奖励强化学习的半监督文本风格迁移方法

文本风格迁移是自然语言处理中的一项重要任务,其主要目的在于改变文本的风格属性,同时保留必要的语义信息。然而,在许多任务缺乏大规模平行语料库的情况下,现有的无监督方法存在文本多样性不足和语义一致性较差的问题。针对这些问题,文中提出了一种半监督的多阶段训练框架。该框架首先利用风格标注模型和掩码语言模型构造伪平行语料库,以有监督的方式引导模型学习多样性的迁移方式。其次,设计了对抗性相似奖励、Mis奖励和风格奖励,从未标记的数据中进行强化学习以增强模型的语义一致性、逻辑一致性和风格准确性。在基于YELP数据集的情感极性转换任务中,该方法的BLEURT分数提升了3.1%,Mis分数提升了2.5%,BLEU分数提升了9.5%;在基于GYAFC数据集的正式文体转换实验中,该方法的BLEURT分数提高了6.2%,BLEU分数提高了3%。

新高考英语读后续写试题所给短文(2016—2021)的文本风格计量分析

自2016年出现于新高考英语科考试中以来,读后续写已成为国内英语语言学习研究的热点之一。本文基于计量语言学相关理论,尝试运用语言数据统计方法,量化分析2016—2021年多个省市新高考试卷中的读后续写所给短文的文本风格,探究其相似性与差异性,讨论其对于读后续写教学的启示。

风格前缀引导下的无监督文本风格迁移

传统的深度学习方法为了完成不同的无监督文本风格迁移(text style transfer, TST)任务,需要独立训练和保存多个完整的模型。针对存在的问题:需要大量存储空间来存储不同的模型导致存储成本过高以及由于每个模型都是独立的,很难对它们进行模块化封装和复用,从而限制了模型的可重用性和可扩展性,受前缀调优技术的启发,提出风格前缀引导下的无监督风格迁移模型,该模型在语言模型的激活层前添加风格前缀,并通过注意力机制捕捉风格前缀的特征来引导风格迁移。保持预训练语言模型参数冻结,只优化和存储风格前缀的参数,从而节省了分别存储多个语言模型的开销。此外,多个任务共享同一个语言模型,提高了模型的可重用性和可扩展性。对两个常见的风格迁移任务进行实验,结果表明,无监督风格迁移模型大部分指标优于现有的基线模型,验证了该方法的有效性。

文本风格迁移研究综述

文本风格迁移是近年来自然语言处理领域的热点问题之一,旨在保留文本内容的基础上通过编辑或生成的方式更改文本的特定风格或属性(如情感、时态和性别等).旨在梳理已有的技术,以推进该方向的研究.首先,给出文本风格迁移问题的定义及其面临的挑战;然后,对已有方法进行分类综述,重点介绍基于无监督学习的文本风格迁移方法并将其进一步分为隐式和显式两类方法,对各类方法在实现机制、优势、局限性和性能等方面进行分析和比较;同时,还通过实验比较了几种代表性方法在风格迁移准确率、文本内容保留和困惑度等自动化评价指标上的性能;最后,对文本风格迁移研究进行总结和展望.

从毛泽东《为人民服务》的文本风格看当前的文风改革

《为人民服务》是69年前毛泽东在张思德追悼会上的一篇讲话。文章除了深刻鲜明的思想性教育性以外,其文风特色也比较突出,主要表现为:主题鲜明、简短精要;语言朴实、感情深沉。对照《为人民服务》的文本风格,当前文风存在的突出问题是篇幅冗长、理论化色彩浓、缺少情感等。《为人民服务》对当前文风建设的主要启示在于:要大力提倡写短文章,大力提倡领导干部亲自动手写文章,大力提倡使用通俗化的语言。

《喜福会》的文本风格解读

从叙述策略、象征的运用和特殊语言的使用等方面对《喜福会》进行文本风格的解读,可以看出在《喜福会》中,匠心独具的叙事策略、精致细腻的象征意象和大胆创新的语言使用,彰显了其文本风格特色,不仅丰富了小说的内容,而且赋予文本深刻的含义。

基于神经网络的文本风格转换

文本风格转换在书面创作、品牌推广等许多方面具有良好的应用前景,近年来也逐渐成为研究热点。现有的文本转换工作对风格表示简单,无法适应文本风格差异较大的场景。本文提出一种基于注意力机制的风格表示方法,增加风格特征携带的信息量。文本的文本风格转换模型包括以下步骤:首先对输入句子的词序列与词性序列进行向量化,之后经过两个Bi-LSTM编码器分别计算文本的内容与风格特征序列,将内容序列作用于LSTM解码器生成词汇,而风格序列则经过本文提出的风格调整方法,对输出的词汇概率进行调整,最终输出为指定风格的句子。实验结果表明,对于不同类型的数据,模型的转换准确率与内容保存程度均有更好表现。

区域文化风俗对小说文本风格的影响——论苏青的《结婚十年》

《结婚十年》产生轰动效应的原因是小说平实的风格及婚姻生活与民俗文化交织融汇的俗常味。它对小说文本风格的形成有重要影响。首先,它使创作主体本身成为某种区域文化的载体。其次,风俗习惯作为生活材料直接进入小说文本,影响着小说的艺术形式和手法。此外,区域风俗的摄入,还大大加强了小说的亲和力。

基于矩阵变换的文本风格迁移方法

文本风格迁移一直是自然语言处理(NLP)中的一个研究热点,近年来,随着文本生成方法的发展,越来越多的工作着眼于不成对(non-parallel)文本风格迁移这一任务.这一任务的目标是,利用不包含一一对应句子的两个或多个不同风格的文本集,学习一个迁移模型,实现改变句子的风格的同时保留句子其他的内容.目前针对该任务,已有一些基于生成对抗网络的迁移算法被提出,但是受限于对抗学习本身的训练不稳定,以及对句子的风格和语义的独立性假设本身不合理,这些方法无法高效的学到迁移效果好的模型.在这篇文章中,我们首次从统计学习的角度给出了文本风格的定义—文本集中语义向量的协方差矩阵,在这种新的观点下,文本的风格依赖于所有句子的语义向量.我们随后提出了一种无学习(learning free)迁移方法,我们只需要预训练一个自编码器来得到句子的语义向量,然后对这些向量进行白化和风格化变换,来实现风格迁移.

基于变分自编码器的无监督文本风格转换

近年来,文本风格转换作为一种可控的文本生成任务受到学者们越来越多的关注。该文基于变分自编码器模型,通过鉴别器与变分自编码器的对抗性训练,将源端句子的内容和风格在隐变量空间进行分离,从而实现无监督的文本风格转换。针对文本语义内容和风格的解纠缠过程中利用固定的二进制向量通过线性变换来对风格进行表征的方法的不足,该文提出更具细腻度的联合表征方法:利用独立的编码器从原句中提取风格的连续隐向量,再和标签向量结合作为最终风格的表征,以提升风格转换的准确率。该文提出的联合表征方法在常用数据集Yelp上进行评测,与两个基线方法相比,风格转换准确率均有显著提升。

基于LSTM的《红楼梦》文本风格分界点识别方法

针对《红楼梦》文本风格分析中,手工设计的特征带有主观性与仅根据单个分界点前后的差异直接判断分界点位置的问题,提出了一种基于深度学习的文本风格分界点识别方法及用于文本分类的深度模型1-DconvLSTM。该方法在不同的训练分界点处,相互独立的训练多个结构相同的1-DconvLSTM模型。通过测试模型的泛化性能,得出在不同训练分界点处前后差异显著性的大小,并据此确定文本风格的实际分界点位置。实验结果表明,红楼梦的文本风格分界点在第80回,强有力的支持了《红楼梦》80回前后不是同一作者所著的结论。

一种基于文本风格转换模型的医疗辅助咨询平台设计

设计了一种基于华为Atlas 200计算卡的医疗辅助咨询平台,消除医生与患者在交流上的信息差异,避免一些医学专业术语理解误差。系统通过STM32F103处理板实现对系统的实时控制,在华为Atlas 200上设计多线程架构对文本信息进行深度学习。实验结果表明,Balance-CTAT模型的内容保留度较好,并且综合性能也有显著提升。文本风格转换系统工作过程中对复杂的语音内容及对患者不友好的信息具有较好的转换效果,能够对医生的语音信息进行实时风格转换。

文本风格迁移综述

随着以神经网络为基础的深度学习技术的发展,自然语言处理领域取得了极大的进步,而其研究及产品(机器翻译、情感分析、自动问答等)也逐渐走入大众的视线。从图像风格迁移取得的巨大成功中,人们开始思考能否用深度学习的方法实现文本的风格迁移。近两年在国内外有很多研究团队开始进行这方面的研究,针对文本风格迁移任务,本文对其主流研究方法进行综述,提出新的理解和对这个方向研究的展望。

文本风格转换综述

自然语言生成是人工智能系统中的重要组成部分,随着人工智能技术逐渐融入人们的生活,人们对自然语言生成技术有了更高的要求,可控自然语言生成成为新的研究热点.文本风格转换任务作为可控自然语言生成的重要研究方向,受到学术界和工业界的广泛关注.文本风格转换任务指的是在保留文本原有内容的基础上,有目的地生成目标风格的句子.为了进一步展示该任务中的发展进程,首先,介绍了当前文本风格转换任务的定义及发展脉络;然后,基于模型方法将当前的研究工作总结成3类,即基于隐空间解耦、基于显性解耦和基于一步映射,在简述这些工作的基础上,着重介绍了一些具有启发意义的工作;接着,梳理和分析了文本风格转换任务中的公共数据集和评估方法;最后,对文本风格转换任务的未来发展趋势提出展望.

文本风格转换模型的平衡性改进方法研究

针对现有的文本风格转换模型语句内容保留度较低、内容与风格间平衡性较差,提出了基于文本属性可控转换模型(CTAT)的平衡性改进模型Balance-CTAT。在提出的模型中,改进的优化算法和结构加强了内容保留程度,即在对抗性风格干扰算法上添加显著性操作将干扰影响局部化;在自编码器结构上构造递进式解码器,逐层增加注意力头数对信息进行渐进式融合。提出的模型与现有的文本风格转换模型(如Cross、CTAT、FGST)进行了对比分析,并从风格转换精度、内容保留度和几何平均值进行评价。实验结果表明:提出的模型明显优于现有的文本风格转换模型,具有很好的内容保留度,综合性能显著提升。

基于文本风格协同性评价的读后续写教学实践

一引言2014年9月,国务院发布"关于深化考试招生制度改革的实施意见",将深化高考内容改革确立为一项主要任务与措施,对高考内容改革提出了新的要求。2015年8月,教育部考试中心颁布《普通高等学校招生全国统一考试英语科考试说明(高考综合改革试验省份试用)》(以下简称"《考试说明》")。高考改革率先在上海、浙江两地实施。

微传播文本风格探析

微传播是一种以“微”为核心、以新媒体为媒介的信息传播方式,形成了一种去中心化的裂变式多级传播模式。它深入影响每个“触网”用户的日常生活、工作、学习等方方面面。用户通过手机等微介质,传播几句话、几个表情符号、单张图片、一段短视频等碎片化微内容,可以实现个体自我表达、交往需求和社会认知。本文拟以微博和微信两个平台为例作进一步探究,了解微传播文本风格及不同微传播平台之间的文本风格差异。随着直播、虚拟现实、网络通信等技术的发展,微传播对大众的影响越来越大。微传播文本在现有基础上需要进一步规范和管理,使其更符合法律法规、道德伦理的要求,营造健康、和谐的微传播环境。

从整体到局部优化的文本风格迁移模型

提出一种从整体到局部优化的风格迁移(global-local based style transfer,G-LST)模型.首先,利用广泛的源端数据进行迭代优化来自动构建高质量的伪平行数据,并通过联合训练来提升模型对整体风格的语义感知;随后,利用常识性知识修正词级的细粒度风格来增强局部风格的表现,同时兼顾整体与局部风格,提高风格转换的准确度.基于GYAFC数据集的实验结果表明,相较于目前表现最佳的文本风格迁移模型,G-LST模型在E&M与F&R两个领域数据上的风格转换准确率分别提高了2.70%和4.47%,内容保留与风格准确率的综合指标分别提升了1.18%和1.95%.