融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

大模型驱动的科技政策法规问答系统研究

科技政策法规问答系统(Q&A)在帮助公众理解和应用科技法规方面发挥关键作用。大语言模型(LLM)可以显著提升科技政策法规问答系统的准确性和效率。然而,基于大语言模型的科技政策法规问答系统仍然存在以下问题:缺乏大规模高质量的科技政策法规问答数据集,且现有自动构建大规模数据集的方法在引用和整合政策法规知识方面存在不足;问答系统在处理科技政策法规问题时,专业性、准确性不足且模型知识更新滞后。为解决这些问题,提出了一种检索增强自提示的问答数据集构建方法,并构建了一个大规模高质量的科技政策法规问答数据集;同时,构建了科技政策法规问答系统,该系统结合了经过低秩自适应(LoRA)微调技术优化的大语言模型与科技政策法规知识库,并运用提示学习技术,来引导系统生成准确的答案。实验结果显示,构建的问答数据集在引用和整合科技政策法规知识方面,比传统方法构建的问答数据集有显著提升;相较于通用大语言模型驱动的问答系统,该问答系统在各项指标上也有明显提高。

大语言模型引导的文本摘要技术与系统

在实际业务中时,常面临文本与它对应的其他模态在时间响应上难以同步的问题。例如,数字人实时手语表演无法与新闻口播同步播放。为了解决长度可控问题,提出一种基于大语言模型(LLM)的文本摘要解决方案,旨在保持原文语义不变的前提下将文本压缩至指定长度。首先通过模板调优和人工评估的方式,确定最适合长度可控文本摘要的LLM和模板;在此基础上,利用ChatGPT得到一定量优质的满足长度需求的文本摘要训练样本;其次,结合低秩自适应微调(LoRA)技术,利用生成的数据样本集对选定的大语言模型Baichuan-13B-Chat进行微调。在推理阶段,通过微调后的LLM生成多个结果和文本筛选模块打分,最终得到语义相对完整且长度满足要求的摘要文本。实验结果表明,所提方案在亚运手语新闻数据中指标显著提升,人工评估的平均满意度达到88.53%,整体压缩达标率达到73.7%,基本满足实际生产应用的需求。