ID4TST:基于融合数据集的文本风格迁移模型

文本风格迁移是自然语言处理的一项新兴任务,旨在改变文本的风格属性并保持其语义不变,本文对写作风格的迁移进行研究.在较小规模数据集上训练的风格迁移模型虽然能根据源文本生成具有目标的写作风格的文本,但是却无法很好地保留源文本的内容.本文将多个数据集融合进一个训练集,利用更大规模的数据增强模型抽取高级语义特征的能力,同时加入启发式语言模板用于区分不同的数据集.此外,本文还改进了作家归属分类器的分类算法进行写作风格的量化.实验结果表明,本文提出的方法生成的文本不仅能在一定程度上更接近目标写作风格,并且在源文本内容保存和通顺程度方面都优于其他模型.

基于GAN的场景文本艺术风格转换

图像风格转移是将风格样式迁移到源图像中的目标区域以创建艺术排版的任务,论文研究如何对场景文本图像中的文字区域进行风格转换,以实现自动对广告或海报中的文字进行风格转换,降低艺术创作的成本并提高艺术风格的多样性。由于场景文本图像中不同因素之间存在复杂的相互作用,先前很少有在保留原始文字内容和背景的同时进行文本风格转换的工作。该文提出了一个三阶段的框架,这是首个直接在原图进行程度可控的风格转换的网络,将原本对单个二值化字符进行风格转换的方法扩展到场景文本图像上的文字,并涉及到了图像修复的相关知识。首先使用风格转换网络只对场景文本图像中的文本风格进行转换,后利用字符擦除网络擦除原始字符重建背景图像,最后融合部分利用生成的前景图像和擦除字符后的背景图像生成最终风格转换后的结果图像。论文通过大量实验证明了该方法的有效性。

基于多奖励强化学习的半监督文本风格迁移方法

文本风格迁移是自然语言处理中的一项重要任务,其主要目的在于改变文本的风格属性,同时保留必要的语义信息。然而,在许多任务缺乏大规模平行语料库的情况下,现有的无监督方法存在文本多样性不足和语义一致性较差的问题。针对这些问题,文中提出了一种半监督的多阶段训练框架。该框架首先利用风格标注模型和掩码语言模型构造伪平行语料库,以有监督的方式引导模型学习多样性的迁移方式。其次,设计了对抗性相似奖励、Mis奖励和风格奖励,从未标记的数据中进行强化学习以增强模型的语义一致性、逻辑一致性和风格准确性。在基于YELP数据集的情感极性转换任务中,该方法的BLEURT分数提升了3.1%,Mis分数提升了2.5%,BLEU分数提升了9.5%;在基于GYAFC数据集的正式文体转换实验中,该方法的BLEURT分数提高了6.2%,BLEU分数提高了3%。

从整体到局部优化的文本风格迁移模型

提出一种从整体到局部优化的风格迁移(global-local based style transfer,G-LST)模型.首先,利用广泛的源端数据进行迭代优化来自动构建高质量的伪平行数据,并通过联合训练来提升模型对整体风格的语义感知;随后,利用常识性知识修正词级的细粒度风格来增强局部风格的表现,同时兼顾整体与局部风格,提高风格转换的准确度.基于GYAFC数据集的实验结果表明,相较于目前表现最佳的文本风格迁移模型,G-LST模型在E&M与F&R两个领域数据上的风格转换准确率分别提高了2.70%和4.47%,内容保留与风格准确率的综合指标分别提升了1.18%和1.95%.

基于深度学习的风格迁移方法综述

随着深度学习的迅猛发展,风格迁移技术在算法和应用上取得了重大突破,为内容与风格的创新交互提供了强大支持。该文综述了风格迁移的基本概念、分类及其在神经网络中的应用,特别是神经网络风格迁移的原理、变体与合成算法。文章还对基于文本的图像风格迁移与基于图像的方法进行了比较,分析了各自的优缺点,突显了智能化风格迁移技术的发展。此外,探讨了风格迁移技术与其他领域结合的情况,如与超分辨方法和对比学习方法等的结合,以及在大型工艺品设计中的应用实例,展示了其广泛的应用潜力。该文的目的是为研究者提供清晰的视角,推动风格迁移领域的技术进步。

基于生成对抗网络的车牌图像篡改检测数据增广

现有的篡改检测方法,主要使用基于数据驱动的深度学习模型,检测效果与训练数据的质量和数量成正比,且人工制作高质量的篡改图片费时费力。针对高质量车牌篡改图片数据量少的情况,提出一种针对车牌场景的篡改图片数据增广方法。结合车牌定位模块、车牌矫正模块、基于生成对抗网络(GAN)的图像擦除模块和文字风格迁移模块,构建一个车牌字符篡改系统,以模拟真实场景的车牌篡改流程。相较于传统篡改方法,借助GAN生成的篡改字符种类更多元化、更具备多样性。实验结果表明,使用所提系统生成的车牌篡改图片可以达到篡改区域语义高度合理,且肉眼不可分辨的视觉效果;将它作为扩充数据训练篡改检测模型,曲线下面积(AUC)提升了42.9%,F1值提升了33.0%,漏检率下降了16.6%。同时,使用所提系统生成的车牌篡改图片搭配多种数据处理方法在不同篡改检测网络上均能有效提升检测性能;使用扩充数据训练后,篡改检测网络不仅可以成功检测传统篡改方法的篡改痕迹,针对现阶段流行的生成式篡改,检测效果也明显提升。

提示学习启发的无监督情感风格迁移研究

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量,提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架,但采用大型无监督预训练语言模型和Transformer架构。根据Transformer的工作机理,改进了从源语句中筛选样式属性的方法,通过提示学习方法挖掘预训练模型的内部知识以实现对目标样式词的生成。在两个情感基准数据集上的实验表明,该方法在文本样式迁移任务上明显优于现有的编辑类方法,综合指标的相对分数平均提高了14%以上。

中文礼貌风格迁移的研究

该文研究了一个关于中文的礼貌迁移任务,该任务旨在保留原始文本的内容和意义的同时,将非礼貌的文本转换为礼貌的文本。针对这个任务,建设了一个中文礼貌风格迁移的语料库。并基于此,构建了结合文本对齐模块和流畅度评估模块的中文礼貌风格迁移模型,文本对齐模块在保证文本风格迁移的同时保留文本的内容,流畅度评估模块可以提升生成文本的流畅度。在中文语料库和英文语料库的实验表明,该方法在内容保存度和流畅度这两个指标上都有较强的竞争力。

基于回译和分层对齐的医疗专家-外行风格迁移的并行句子增强方法

医疗专家-外行风格迁移任务旨在将医疗专家的知识和语言转化为外行易于理解的语言风格,解决医疗专业知识传播中的语言障碍,使医疗知识能够更加广泛地被外行所理解和应用,帮助医疗工作者更好地与患者和家属进行沟通,提高医疗工作的效率和质量。目前医疗专家-外行风格迁移任务可用的数据集匮乏,并且没有可用的并行数据集。基于回译和文本分层对齐方法,提出一种简单的无监督方法,这种方法可以从两种不同文本风格(专家风格和外行风格)的可比语料中提取伪并行句子对。将使用此方法获得的并行句子对与MSD数据集、SimpWiki数据集进行对比,验证了方法的有效性。结果表明,本文方法提取的并行句子对的效果优于SimpWiki数据集,可以对目前匮乏的并行数据集进行有效补充。

风格前缀引导下的无监督文本风格迁移

传统的深度学习方法为了完成不同的无监督文本风格迁移(text style transfer, TST)任务,需要独立训练和保存多个完整的模型。针对存在的问题:需要大量存储空间来存储不同的模型导致存储成本过高以及由于每个模型都是独立的,很难对它们进行模块化封装和复用,从而限制了模型的可重用性和可扩展性,受前缀调优技术的启发,提出风格前缀引导下的无监督风格迁移模型,该模型在语言模型的激活层前添加风格前缀,并通过注意力机制捕捉风格前缀的特征来引导风格迁移。保持预训练语言模型参数冻结,只优化和存储风格前缀的参数,从而节省了分别存储多个语言模型的开销。此外,多个任务共享同一个语言模型,提高了模型的可重用性和可扩展性。对两个常见的风格迁移任务进行实验,结果表明,无监督风格迁移模型大部分指标优于现有的基线模型,验证了该方法的有效性。

文本风格迁移研究综述

文本风格迁移是近年来自然语言处理领域的热点问题之一,旨在保留文本内容的基础上通过编辑或生成的方式更改文本的特定风格或属性(如情感、时态和性别等).旨在梳理已有的技术,以推进该方向的研究.首先,给出文本风格迁移问题的定义及其面临的挑战;然后,对已有方法进行分类综述,重点介绍基于无监督学习的文本风格迁移方法并将其进一步分为隐式和显式两类方法,对各类方法在实现机制、优势、局限性和性能等方面进行分析和比较;同时,还通过实验比较了几种代表性方法在风格迁移准确率、文本内容保留和困惑度等自动化评价指标上的性能;最后,对文本风格迁移研究进行总结和展望.

基于神经网络的文本风格转换

文本风格转换在书面创作、品牌推广等许多方面具有良好的应用前景,近年来也逐渐成为研究热点。现有的文本转换工作对风格表示简单,无法适应文本风格差异较大的场景。本文提出一种基于注意力机制的风格表示方法,增加风格特征携带的信息量。文本的文本风格转换模型包括以下步骤:首先对输入句子的词序列与词性序列进行向量化,之后经过两个Bi-LSTM编码器分别计算文本的内容与风格特征序列,将内容序列作用于LSTM解码器生成词汇,而风格序列则经过本文提出的风格调整方法,对输出的词汇概率进行调整,最终输出为指定风格的句子。实验结果表明,对于不同类型的数据,模型的转换准确率与内容保存程度均有更好表现。

受控文本生成技术研究综述

文本生成技术是自然语言处理的一个重要领域,利用深度学习以及语言学来帮助计算机理解文本并生成人类需要的文本。受控文本生成增加生成过程中的可控性,降低语言的毒性,提高特定领域内文本的专业性。针对样式迁移任务以及通用受控文本生成任务,首先介绍相关模型与技术,并对比这些模型技术的优缺点,其次分析相关模型技术适合应用的领域,最后提出当前受控文本生成技术的发展前景与研究方向。

基于矩阵变换的文本风格迁移方法

文本风格迁移一直是自然语言处理(NLP)中的一个研究热点,近年来,随着文本生成方法的发展,越来越多的工作着眼于不成对(non-parallel)文本风格迁移这一任务.这一任务的目标是,利用不包含一一对应句子的两个或多个不同风格的文本集,学习一个迁移模型,实现改变句子的风格的同时保留句子其他的内容.目前针对该任务,已有一些基于生成对抗网络的迁移算法被提出,但是受限于对抗学习本身的训练不稳定,以及对句子的风格和语义的独立性假设本身不合理,这些方法无法高效的学到迁移效果好的模型.在这篇文章中,我们首次从统计学习的角度给出了文本风格的定义—文本集中语义向量的协方差矩阵,在这种新的观点下,文本的风格依赖于所有句子的语义向量.我们随后提出了一种无学习(learning free)迁移方法,我们只需要预训练一个自编码器来得到句子的语义向量,然后对这些向量进行白化和风格化变换,来实现风格迁移.

基于变分自编码器的无监督文本风格转换

近年来,文本风格转换作为一种可控的文本生成任务受到学者们越来越多的关注。该文基于变分自编码器模型,通过鉴别器与变分自编码器的对抗性训练,将源端句子的内容和风格在隐变量空间进行分离,从而实现无监督的文本风格转换。针对文本语义内容和风格的解纠缠过程中利用固定的二进制向量通过线性变换来对风格进行表征的方法的不足,该文提出更具细腻度的联合表征方法:利用独立的编码器从原句中提取风格的连续隐向量,再和标签向量结合作为最终风格的表征,以提升风格转换的准确率。该文提出的联合表征方法在常用数据集Yelp上进行评测,与两个基线方法相比,风格转换准确率均有显著提升。

文本风格迁移综述

随着以神经网络为基础的深度学习技术的发展,自然语言处理领域取得了极大的进步,而其研究及产品(机器翻译、情感分析、自动问答等)也逐渐走入大众的视线。从图像风格迁移取得的巨大成功中,人们开始思考能否用深度学习的方法实现文本的风格迁移。近两年在国内外有很多研究团队开始进行这方面的研究,针对文本风格迁移任务,本文对其主流研究方法进行综述,提出新的理解和对这个方向研究的展望。

文本风格转换综述

自然语言生成是人工智能系统中的重要组成部分,随着人工智能技术逐渐融入人们的生活,人们对自然语言生成技术有了更高的要求,可控自然语言生成成为新的研究热点.文本风格转换任务作为可控自然语言生成的重要研究方向,受到学术界和工业界的广泛关注.文本风格转换任务指的是在保留文本原有内容的基础上,有目的地生成目标风格的句子.为了进一步展示该任务中的发展进程,首先,介绍了当前文本风格转换任务的定义及发展脉络;然后,基于模型方法将当前的研究工作总结成3类,即基于隐空间解耦、基于显性解耦和基于一步映射,在简述这些工作的基础上,着重介绍了一些具有启发意义的工作;接着,梳理和分析了文本风格转换任务中的公共数据集和评估方法;最后,对文本风格转换任务的未来发展趋势提出展望.

文本风格转换模型的平衡性改进方法研究

针对现有的文本风格转换模型语句内容保留度较低、内容与风格间平衡性较差,提出了基于文本属性可控转换模型(CTAT)的平衡性改进模型Balance-CTAT。在提出的模型中,改进的优化算法和结构加强了内容保留程度,即在对抗性风格干扰算法上添加显著性操作将干扰影响局部化;在自编码器结构上构造递进式解码器,逐层增加注意力头数对信息进行渐进式融合。提出的模型与现有的文本风格转换模型(如Cross、CTAT、FGST)进行了对比分析,并从风格转换精度、内容保留度和几何平均值进行评价。实验结果表明:提出的模型明显优于现有的文本风格转换模型,具有很好的内容保留度,综合性能显著提升。

基于对话的中文正面情感风格迁移

文本风格迁移旨在保留文本内容的前提下,通过编辑或生成的方法使得目标文本带有某些特殊属性,如礼貌、情感、性别等。现有的情感风格迁移研究主要集中在英文数据集上,在中文数据集上的研究相对较少。该文构建了一个基于对话的中文情感文本数据集,该数据集的部分原始数据源自电视连续剧《家有儿女》中的对白,并对其进行人工标注和循环模型标注。目前该数据集的负面情感文本和正面情感文本句子共30 836个。根据该数据集中大多数情感词是显性的特点,在编辑类的模型上开展了基于对话的中文正面情感风格迁移的研究。实验结果表明:在该数据集上,编辑类的模型可以较好地识别文本的情感属性,并实现文本正面情感风格迁移。

Unsupervised Style Control for Image Captioning

We propose a novel unsupervised image captioning method.Image captioning involves two fields of deep learning,natural language processing and computer vision.The excessive pursuit ofmodel evaluation results makes the caption style generated by the model too monotonous,which is difficult to meet people’s demands for vivid and stylized image captions.Therefore,we propose an image captioning model that combines text style transfer and image emotion recognition methods,with which the model can better understand images and generate controllable stylized captions.The proposed method can automatically judge the emotion contained in the image through the image emotion recognition module,better understand the image content,and control the description through the text style transfermethod,thereby generating captions thatmeet people’s expectations.To our knowledge,this is the first work to use both image emotion recognition and text style control.