融合在线检索和量化低秩适配器微调范式的新闻文稿生成

现有大语言模型(LLM)由于存在信息滞后性,在特定风格新闻稿件生成任务上存在生成内容捏造、行文不流畅连贯等问题。为了缓解这些问题,提出一套基于实时在线的web_search技术和量化低秩适配器(QLoRA)微调技术的新闻文稿生成系统的解决方案。首先,利用Bing和Google提供的API根据给定的新闻标题,获取最新的新闻素材集合;其次,利用语义相关性模型和摘要模型对初始素材集合进行筛选和文本处理,选取准确的新闻内容;再次,设计动态的prompt模板综合处理检索到的新闻素材,并在prompt中加入新闻风格约束提示词;最后,将完整的prompt提示词指令输入经过QLoRA微调的LLM中,生成新闻文稿。实验结果显示,在人工整理的热点新闻标题数据集上,所提方案生成的新闻在内容正确性、逻辑连贯性等多维人工评估标准上的平均准确率达到90%,满足实际生产应用的需求,有效提高了新闻生产的效率和质量。目前,该系统已在杭州文广集团内部成功部署应用。

大语言模型引导的文本摘要技术与系统

在实际业务中时,常面临文本与它对应的其他模态在时间响应上难以同步的问题。例如,数字人实时手语表演无法与新闻口播同步播放。为了解决长度可控问题,提出一种基于大语言模型(LLM)的文本摘要解决方案,旨在保持原文语义不变的前提下将文本压缩至指定长度。首先通过模板调优和人工评估的方式,确定最适合长度可控文本摘要的LLM和模板;在此基础上,利用ChatGPT得到一定量优质的满足长度需求的文本摘要训练样本;其次,结合低秩自适应微调(LoRA)技术,利用生成的数据样本集对选定的大语言模型Baichuan-13B-Chat进行微调。在推理阶段,通过微调后的LLM生成多个结果和文本筛选模块打分,最终得到语义相对完整且长度满足要求的摘要文本。实验结果表明,所提方案在亚运手语新闻数据中指标显著提升,人工评估的平均满意度达到88.53%,整体压缩达标率达到73.7%,基本满足实际生产应用的需求。