基于预训练模型的受控文本生成研究综述

自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs的性能。然而,NLG在处理非结构化输入和低资源语言生成方面仍面临挑战,尤其是在缺乏足够训练数据的环境中。为探讨NLG的最新发展、应用前景以及所面临的挑战,通过文献分析,提出PLMs性能改进策略,并展望未来研究方向。研究表明,尽管存在诸多限制,但NLG在内容创作、自动新闻报导、对话系统等领域已展现出潜力。随着技术的不断进步,NLG在自然语言处理和人工智能领域将扮演更重要的角色。

受控文本生成技术研究综述

文本生成技术是自然语言处理的一个重要领域,利用深度学习以及语言学来帮助计算机理解文本并生成人类需要的文本。受控文本生成增加生成过程中的可控性,降低语言的毒性,提高特定领域内文本的专业性。针对样式迁移任务以及通用受控文本生成任务,首先介绍相关模型与技术,并对比这些模型技术的优缺点,其次分析相关模型技术适合应用的领域,最后提出当前受控文本生成技术的发展前景与研究方向。

基于Prompt策略的医疗对话生成

构建医疗对话系统可以缓和医疗资源紧缺和医疗资源分配不均的现状,在对话系统构建方面,如何结合已获取的知识生成对话语句是重要研究内容之一。Prompt指预先输入到语言模型的一组字符序列或编码,后续的推断从这里开始,从而影响整个语句的内容生成。该文先用医疗领域语料来对预训练语言模型进行精调,以学习医疗语句潜在的语义,然后设计Prompt方案将医疗实体引入对话生成模型,使生成的对话能够携带预设的知识,达到受控对话生成的目的。通过在医疗对话数据集MedDG上的实验验证,该文提出的方案能有效改善医疗对话生成的效果。