大语言模型引导的文本摘要技术与系统

在实际业务中时,常面临文本与它对应的其他模态在时间响应上难以同步的问题。例如,数字人实时手语表演无法与新闻口播同步播放。为了解决长度可控问题,提出一种基于大语言模型(LLM)的文本摘要解决方案,旨在保持原文语义不变的前提下将文本压缩至指定长度。首先通过模板调优和人工评估的方式,确定最适合长度可控文本摘要的LLM和模板;在此基础上,利用ChatGPT得到一定量优质的满足长度需求的文本摘要训练样本;其次,结合低秩自适应微调(LoRA)技术,利用生成的数据样本集对选定的大语言模型Baichuan-13B-Chat进行微调。在推理阶段,通过微调后的LLM生成多个结果和文本筛选模块打分,最终得到语义相对完整且长度满足要求的摘要文本。实验结果表明,所提方案在亚运手语新闻数据中指标显著提升,人工评估的平均满意度达到88.53%,整体压缩达标率达到73.7%,基本满足实际生产应用的需求。