基于语言特征集成学习的大语言模型生成文本检测

大语言模型的快速发展为日常生活和工作提供了极大的便利,但也为个人和社会带来了挑战。因此,迫切需要能够检测大语言模型生成文本的检测器。为了兼具良好的检测性能和泛化能力,文章提出了一种基于语言特征集成学习的大语言模型生成文本检测方法EBF Detection。EBF Detection融合了微调预训练语言模型和高阶自然语言统计特征,利用判决机制,实现了大语言模型生成文本检测。实验结果显示,EBF Detection不仅在域内数据上平均的检测准确率达到了98.72%,而且在域外数据上的平均检测准确率达到了96.79%。

大语言模型在社交媒体文本生成领域的应用研究——以小红书平台为例

基于大语言模型提示工程,探索生成具有社交媒体特色文本的应用方法。以小红书平台为例,在不对模型进行任何微调的前提下,设计提示模板并结合小样本学习,引导大语言模型生成符合小红书特色的文本内容。研究发现,将提示与小样本示例结合,能够显著提高生成文本的质量和相关性,同时保持文本内容的多样性和创新性。

基于预训练模型的受控文本生成研究综述

自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs的性能。然而,NLG在处理非结构化输入和低资源语言生成方面仍面临挑战,尤其是在缺乏足够训练数据的环境中。为探讨NLG的最新发展、应用前景以及所面临的挑战,通过文献分析,提出PLMs性能改进策略,并展望未来研究方向。研究表明,尽管存在诸多限制,但NLG在内容创作、自动新闻报导、对话系统等领域已展现出潜力。随着技术的不断进步,NLG在自然语言处理和人工智能领域将扮演更重要的角色。

基于预训练语言模型和标签指导的文本复述生成方法

文本复述生成是自然语言处理中一项重要且具有挑战性的任务。最近很多工作将句子不同粒度的句法结构信息用于指导复述生成过程,取得了一定的效果,然而这些方法大多比较复杂,迁移使用困难。另外,预训练语言模型因学习到大量语言知识而在各项自然语言处理任务中表现出了较好的性能,然而将其用在复述生成任务中的工作较少。针对这些问题,文中提出了基于预训练语言模型和标签指导的复述生成方法。该方法在复述任务上微调预训练语言模型以提升效果,同时用简单的标签插入方式为复述生成模型提供句法结构指导。实验结果表明,这种标签插入结合预训练语言模型的方法在ParaNMT和Quora数据集上的性能优于传统Seq2Seq方法,并且用该方法做数据增强能为下游任务带来效果提升。

预训练大语言模型发展对中国数字创意产业的启示

预训练大语言模型与数字创意产业的结合,一方面可以促进预训练大语言模型技术研发和应用,推动自然语言处理相关产业发展,另一方面也可以为数字创意产业提供更高效、精准的解决方案,促进产业数字化转型升级。然而,目前中国预训练大语言模型在数字创意产业的运用主要侧重于文本识别生成和语音生成等领域。为此,通过阐述预训练大语言模型以及中国数字创意产业的发展现状,梳理预训练大语言模型在数字创意产业的应用范畴和商业布局,综合分析作为新质生产力引擎的预训练大语言模型在中国数字创意产业发展中的机遇与挑战,并为中国数字创意产业的发展提出建议。研究发现:融合发展是中国数字创意产业的重要趋势,网络文学、动漫游戏、短视频等细分产业开始发展出完整的产业链条;预训练大语言模型可提升数字创意产业的内容生成效率、丰富艺术创意、拓展数字娱乐形式,也可以加强社交媒体分析监测、提高跨语言应用的效率、辅助科研教育,带来提升数字创意产业的智能化水平、增强用户黏性、数字创意生产者身份多元化等机遇,但同时也面临数据成本、隐私安全、知识产权等问题。提出未来在预训练大语言模型应用于数字创意产业的发展中,重视构建相关监管评估框架和知识产权保护体系,提升多模态技术水平,强化智能算力体系建设,以推动数字创意产业的智能化发展。

用户粒度级的个性化社交文本生成模型

针对开放性的社交文本领域的文本生成技术生成的文本内容缺少个性化特征的问题,提出了一种用户级的细粒度控制生成模型,即PTG-GPT2-Chinese(Personalized Text Generation Generative Pre-trained Transformer 2-Chinese)。所提模型基于GPT2(Generative Pre-trained Transformer 2.0)结构设计了Encoder-Decoder模型框架。首先在Encoder端对用户的静态个性化信息建模并编码,在Decoder端添加了双向独立的注意力模块,用于接收该静态的个性化特征向量,并利用原始GPT2结构中的注意力模块捕获用户文本中的动态个性化特征;然后,动态加权融合各注意力模块分数并参与后续解码,从而自动生成以用户个性化特征属性作为约束的社交文本;此外,为了解决用户基本信息的语义稀疏性导致的生成文本偶尔与某些个性化特征存在矛盾的问题,采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成,最终实现个性化的社交文本生成。实验结果表明,与GPT2模型相比,所提模型的流畅度提高了0.36%~0.72%,且在不损失语言流畅度的基础上,二次生成使个性化和一致性两个评价指标分别提高了10.27%和13.24%。这验证了所提模型能够有效辅助用户创作,生成流畅且符合用户个性的社交文本。

基于内在质量约束的文本生成和评价综述

近年来,以ChatGPT为代表的能够适应复杂场景、并能满足人类的各种应用需求为目标的文本生成算法模型成为学术界与产业界共同关注的焦点.然而,ChatGPT等大规模语言模型(Large Language Model,LLM)高度忠实于用户意图的优势隐含了部分的事实性错误,而且也需要依靠提示内容来控制细致的生成质量和领域适应性,因此,研究以内在质量约束为核心的文本生成方法仍具有重要意义.本文在近年来关键的内容生成模型和技术对比研究的基础上,定义了基于内在质量约束的文本生成的基本形式,以及基于“信、达、雅”的6种质量特征;针对这6种质量特征,分析并总结了生成器模型的设计和相关算法;同时,围绕不同的内在质量特征总结了多种自动评价和人工评价指标与方法.最后,本文对文本内在质量约束技术的未来研究方向进行了展望.

基于扩散生成对抗网络的文本生成图像模型研究

文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展,但GANs方法的模型存在训练不稳定的问题。为解决这一问题,该文提出一种基于扩散Wasserstein生成对抗网络(WGAN)的文本生成图像模型(D-WGAN)。在DWGAN中,利用向判别器中输入扩散过程中随机采样的实例噪声,在实现模型稳定训练的同时,生成高质量和多样性的图像。考虑到扩散过程的采样成本较高,引入一种随机微分的方法,以简化采样过程。为了进一步对齐文本与图像的信息,提出使用基于对比学习的语言-图像预训练模型(CLIP)获得文本与图像信息之间的跨模态映射关系,从而提升文本和图像的一致性。在MSCOCO,CUB-200数据集上的实验结果表明,D-WGAN在实现稳定训练的同时,与当前最好的方法相比,FID分数分别降低了16.43%和1.97%,IS分数分别提升了3.38%和30.95%,说明D-WGAN生成的图像质量更高,更具有实用价值。

基于大语言预训练模型的中医个性化处方推荐研究

目的针对中医个性化处方推荐问题,研究自动化处方推荐任务,为中医临床辅助决策提供参考。方法基于大语言预训练文本生成模型设计一种中医个性化处方推荐算法。将中医处方推荐任务转化为端到端(seq2seq)的文本生成任务,即将临床症状描述文本通过模型转化为处方文本,以实现处方推荐任务的需求,并利用基于大语言预训练的BART(Bidirectional and Auto-Regressive Transformers)模型的预训练参数来提升模型对通用语义信息的理解,通过对训练集处方内中药排序提升模型的处方推荐性能。结果实验证明通过大语言预训练模型以及端到端的文本生成架构可有效提升模型的生成性能,同时对处方内中药依次排序可以获取更高准确率,并且通过中药的排列获取更多值得参考的有价值信息。中医个性化处方推荐模型在处方排序后分别在前5、10、15味生成的处方分别取得了58.60、53.79和49.67的准确率。结论中医个性化处方推荐模型取得了更优的处方推荐效果,表明其可为中医临床治疗疾病进行参考,达到辅助临床决策支持的效果。

大型语言模型内容检测算法和绕过机制研究

近年来,大型语言模型(large language model,LLM)技术兴起,类似ChatGPT这样的AI机器人,虽然其内部设置了大量的安全对抗机制,攻击者依然可以精心设计问答,绕过这些AI机器人的安全机制,在其帮助下自动化生产钓鱼邮件,进行网络攻击.这种情形下,如何鉴别AI生成的文本也成为一个热门的问题.为了开展LLM生成内容检测实验,从互联网某社交平台和ChatGPT收集了一定数量的问答数据样本,依据AI文本可获得条件的不同,研究提出了一系列检测策略,包含基于在线可获取AI对照样本的文本相似度分析、基于离线条件下使用统计差异性的文本数据挖掘分析、基于无法获得AI样本条件下的LLM生成方式对抗分析以及基于通过微调目标LLM模型本身构建分类器的AI模型分析,计算并比较了每种情况下分析引擎的检测能力.另一方面,从网络攻防的角度,针对检测策略的特点,给出了一些对抗AI文本检测引擎的免杀技巧.

一种基于关系模型的场景文本检测方法

基于深度学习的文本检测方法在自然场景文本检测中取得了令人瞩目的成效,但是目前的文本检测模型大多忽略了文本区域之间的关系特征。因此论文在深度学习的基础上,结合注意力机制中的关系模型,提出了一种基于关系模型的自然场景文本检测方法,该方法先利用自动设置锚的卷积神经网络来提取文本候选区域,然后利用关系模型结合候选文字区域之间的关系,从而准确提取文字区域。在ICDAR2013和ICDAR2015数据集上的实验结果表明,与其他算法相比,论文提出的算法能取得更鲁棒的综合性能,在自然场景文本上有较好的应用前景。

大语言模型改进金融信息获取效率机制研究

在金融投资领域,大语言模型的引入为投资决策提供了新的思路和方法,是提高金融信息获取效率的重要工具。文章讨论了大语言模型在金融投资领域的发展现状,指出了在投资领域研究大语言模型的重要性和必要性,通过研究大语言模型在改进金融领域信息获取效率的五种机制:问答对话改进文本分析与信息提取效率;作者基于LangChain架构获取外部知识库信息;代码生成提升信息工具的开发效率;通过微调实现特定信息分析任务;进一步结合金融投资领域的实际需求,实证分析了大语言模型在金融投资应用中的三个案例,充分验证了应用机制的可行性。

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果,但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力,使模型做到单词和短语级别的控制生成,但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式:单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力,句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合,使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明,本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.

2023 年度十大科技名词揭晓 大语言模型、生成式人工智能入选

近日,“2023年度十大科技名词”在京发布。“大语言模型”“生成式人工智能”作为前两个名词入选。大语言模型(LLM)大语言模型是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本,还能够深入理解文本含义,处理各种自然语言任务,如文本摘要、问答、翻译等。2023年,大语言模型及其在人工智能领域的应用已成为全球科技研究的热点,其在规模上的增长尤为引人注目,参数量已从最初的十几亿跃升到如今的一万亿。参数量的提升使得模型能够更加精细地捕捉人类语言微妙之处,更加深入地理解人类语言的复杂性。

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题,提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统,结合情感词典识别输入语句的情绪特征并计算回复语句的情感值,基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明,相对传统的对话生成模型,提出模型可以主动识别用户情绪,生成更加合乎逻辑、适应语境的回复,实现拟人程度更高的情感对话过程。

问答篇章生成系统中的用户模型和文本规划

在问答生成系统中 ,如果系统首先了解用户对问题所涉及的领域知识的掌握程度 ,系统则能根据这些知识组织文本 ,生成符合用户需要的内容 ,更好地进行人机交互。本文以花卉知识查询系统为基础 ,探索了用户知识对生成结果的影响 ,以及用户模型与文本规划之间的相互作用。实验结果表明 :用户知识模型不但影响生成的内容 ,而且影响生成内容的风格。在此系统中 ,我们采取两种基本生成策略 :Schema方法和Process方法 。

基于情感可控文本生成的可解释推荐系统

文本生成是实现可解释推荐系统的有效技术途径之一,有利于提升用户对平台的满意度和信任感.然而,现有方法忽略了用户历史评论与目标物品之间的情感一致性问题,使得所生成的解释文本差强人意.以电商推荐场景为例,提出一种基于情感可控文本生成的可解释推荐框架.该框架由评分回归模型与解释生成模型串联而成,前者输出的预估评分作为情感查询,用于辅助后者从历史评论中甄选出情感一致的评论语料,并产生情感可控的解释文本.通过建立多任务联合学习机制,实现了评分回归模型与解释生成模型之间的双向互通和协同优化.四个电商场景下的实验结果表明,所提出方法在评分预测精度和文本生成质量两类指标上均具有显著的性能优势.

多语种文本自动生成系统中句子规划部分知识表示模型的构造

提出了一种多语种文本自动生成系统中句子规划阶段的知识表示模型，它以句子结构类、句法规则和语义词典确定文本的具体形式，并详细介绍了该知识表示模型的结构及其匹配准则。

基于序列到序列预训练语言模型的楹联自动生成算法

为了降低楹联文化的学习门槛,激发年轻人对楹联文化的兴趣,提出了一种基于序列到序列预训练神经网络语言模型的楹联自动生成算法。该算法将楹联应对任务建模为一个序列到序列的生成问题,将楹联的上联作为输入,并自递归地(auto-regressively)生成出符合楹联标准要求的下联。与现有神经网络方法不同,该算法模型在楹联生成任务上的训练前,在大规模无监督语料上进行预训练(pre-train),在楹联监督数据上进行微调(fine-tune)。在公开数据集上的实验证明,该算法在测试集上的BLEU值与人工评估指标相对基线模型均有明显提升,证明了该算法的有效性。

文本生成模型与文摘编写的理论探讨

文本生成模型与文摘编写的理论探讨王知津李宇（南开大学信息资源管理系天津３０００７１ＡｂｓｔｒａｃｔＡｐｐｌｙｉｎｇｔｈｅｍｅｔｈｏｄｏｆｍｏｄｅｌｉｎｇｉｎｔｅｘｔｌｉｎｇｕｉｓｔｉｃｓａｎｄｃｏｍｐｕｔａｔｉｏｎａｌｌｉｎｇｕｉｓｔｉｃｓ，ｔｈｅｍ...