融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

数据分段输入的低秩自适应滤波方法

针对高采样率下的高阶自适应滤波器难以实时实现的问题,本文提出了一种数据分段输入的降秩自适应滤波方法,其实现机理与传统的LMS和RLS方法勾不相同,其收敛速度与RLS方法基本相当,运算量却比RLS方法要小,其显著优势是大大降低了对物理处理器的速度要求。

低秩自适应微调的一阶段红外目标跟踪

由于缺乏大规模的红外跟踪训练数据集,现有的红外跟踪方法大都利用在大规模可见光数据上预训练的模型,然后在小规模的红外数据上进行完全微调。然而,当预训练模型的参数规模迅速增大时,完全微调需要的内存和时间成本也急剧增长,这限制了低资源用户在大型模型上进行研究和应用。为解决该问题,提出一种参数、内存和时间高效自适应的红外目标跟踪算法。首先,通过Transformer的自注意力机制对模板和搜索区域图像进行联合特征提取和关系建模,获取与目标关联度更强的特征表示;其次,利用低秩自适应矩阵的侧网络将可训练参数从主干网络中进行解耦,以减少需要训练更新的参数规模;最后,设计一种轻量级空间特征增强模块,增强特征对目标和背景的判别能力。提出方法的训练参数,内存和时间分别仅占完全微调方法的0.04%、39.6%和66.2%,性能却超越了完全微调。在3个标准红外跟踪数据集LSOTB-TIR120,LSOTB-TIR100和PTB-TIR上的实验对比结果和消融实验证明了提出的方法是有效的。提出的方法在LSOTB-TIR120数据集上成功率为73.7%,精度为86.0%,归一化精度为78.5%;LSOTB-TIR100数据集上成功率为71.6%,精度为83.9%,归一化精度为76.1%;在PTB-TIR数据集上成功率为69.0%,精度为84.9%,均取得了当前最先进的跟踪性能。

基于自适应矩阵低秩分解的三维电容提取计算加速

为了加速直接边界元法电容提取,利用方程组系数矩阵的局部低秩性进行定精度的低秩分解,用分解因子代替原矩阵参与线性方程组的迭代求解,在保持一定精度的同时加快求解速度.为了降低矩阵分解带来的额外开销,提出分解算法针对矩阵向量乘这一下游任务进行优化.在大量三维互连线结构上的实验结果表明,所提快速自适应低秩分解fastQB算法相比现有的randQB_EI算法的加速比达到1.5,引入矩阵低秩分解后方程组的迭代求解加速比达到16.8.

大模型驱动的科技政策法规问答系统研究

科技政策法规问答系统(Q&A)在帮助公众理解和应用科技法规方面发挥关键作用。大语言模型(LLM)可以显著提升科技政策法规问答系统的准确性和效率。然而,基于大语言模型的科技政策法规问答系统仍然存在以下问题:缺乏大规模高质量的科技政策法规问答数据集,且现有自动构建大规模数据集的方法在引用和整合政策法规知识方面存在不足;问答系统在处理科技政策法规问题时,专业性、准确性不足且模型知识更新滞后。为解决这些问题,提出了一种检索增强自提示的问答数据集构建方法,并构建了一个大规模高质量的科技政策法规问答数据集;同时,构建了科技政策法规问答系统,该系统结合了经过低秩自适应(LoRA)微调技术优化的大语言模型与科技政策法规知识库,并运用提示学习技术,来引导系统生成准确的答案。实验结果显示,构建的问答数据集在引用和整合科技政策法规知识方面,比传统方法构建的问答数据集有显著提升;相较于通用大语言模型驱动的问答系统,该问答系统在各项指标上也有明显提高。

基于SAM的无人艇多源图像分割研究

针对无人艇多源传感器的图像分割问题,开展了结合图像分割大模型与大模型低成本微调技术的研究,以增强感知大模型在无人系统上的实用性。首先将分割大模型应用于无人艇可见光、红外和声学图像分割,并对其性能进行了比较。经对比发现,分割大模型对可见光和红外图像分割效果好,但对声学图像的分割性能存在严重下降。随后利用低秩自适应算法对分割大模型编码器部分进行了微调训练,以适应声学图像分割任务。微调后的分割大模型对声学图像的分割性能得到显著提升,Dice相似系数平均值相比初始分割大模型提高了52.88%,证明了方法的有效性。作为一种大模型的微调技术,低秩自适应算法使用低秩近似来降低权重矩阵维度,大幅减少模型中可训练的参数量,在提升训练效率的同时降低了训练成本。

正交频分复用系统中基于子空间跟踪的信道估计

基于导频的正交频分复用(OFDM)系统信道估计方法是通过在确定的时频位置发送已知的导频符号来获取信道参数的,通常包括导频位置的最小二乘估计和内插滤波两步.如果能够提高导频位置信道频域特性的估计精度,那么后续内插滤波的精度也就能相应地得到提高.为此,在建立通用参数化信道模型的基础上,提出一种子空间跟踪的改进算法.该算法通过基于Givens旋转的时延子空间跟踪和基于RLS滤波的幅度跟踪,提高了导频符号信道估计的精度,降低了跟踪算法的复杂度.仿真结果表明,基于子空间跟踪的信道估计方法具有较低的复杂度和较高的估计精度.

MIMO-OFDM系统中基于子空间跟踪的信道估计

针对MIMO-OFDM系统,提出了一种基于子空间跟踪的时域信道估计方法.首先利用导频估计出信道的时间冲激响应,然后通过Givens旋转的时延跟踪和基于最小均方自适应滤波的幅度跟踪来提高估计精度.仿真结果表明,基于子空间跟踪的时域信道估计方法可以用来跟踪较快的衰落信道,估计精度高并且复杂度较低.

多分辨率低秩导向滤波的热红外图像空间融合

热红外遥感图像由于其特定的成像方式,包含目标特有的发射率及温度等特征。然而,热红外遥感图像较低的空间分辨率却限制了其广泛应用。随着遥感技术的发展,同一区域获得的多源遥感图像可以提供更为完备的目标信息,使得利用多源融合技术实现热红外图像空间分辨率增强与亚像素级特征提取成为可能。为此,本文提出了一种基于多分辨率自适应低秩表达与残差信息迁移的热红外图像空间超分辨算法,该算法通过可见光与热红外图像融合的方式实现热红外图像空间特性的自适应融合增强。本文算法优势主要体现在以下几个方面:(1)基于多分辨率的超像素分割,使用超像素块代替传统的方块作为低秩恢复单元,自适应地调整单元内空间特性以保持单元内地物类型的稳定并抑制结构性噪声;(2)通过构建导向线性滤波器,在保护热红外图像光谱信息的前提下,实现可见光图像精细空间特征向热红外图像的迁移;(3)在低分辨层建立增强热红外图像残差与可见光图像残差之间关联并迁移至高分辨层,在保证超分辨图像细节信息的前提下,实现热红外图像空间超分辨。为了验证算法的有效性,本文采用2014年IGARSS数据融合竞赛提供的可见光与热红外实验数据进行实验,并与融合竞赛中表现最为优异的监督图特征融合方法进行比较,并从温度反演精度以及分类精度两个方面评价超分辨效果。实验结果表明,本文提出的方法其噪声抑制效果、空间平滑效果、边缘锐化效果更为优异,超分辨热红外图像有着更为精细的空间信息,并且对于不同区域类型均能较好的保护热红外图像光谱信息。对于不同地物类型,融合超分辨图像有较高的亚像素温度反演精度以及更高的分类精度,其温度反演误差小于1 K,总体分类精度较原热红外图像提升20%以上。

基于大模型微调范式的绘画风格模拟方法

现有的微调大模型生成指定风格化图像的方法能力有限,存在布局风格、细节风格同目标风格不一致的问题,为了提高大模型风格模拟一致性能力,提出一种微调大模型部分注意力参数和低秩自适应(LoRA)相结合的方法并用于红色山水风格的绘画生成。首先,以少量绘画样本微调文生图大模型的部分注意力参数;其次,冻结文生图(文本-图像)大模型,结合LoRA微调方法在模型中注入可训练层进行训练;最后,将第2步中的可训练层插入第1步微调过的大模型中进行推理。实验结果表明,与目前流行的风格定制方法相比,所提方法在保证文本可控性的同时,不仅保证了绘画的整体布局与训练集图像风格一致,同时在绘画细节上也与目标风格具有高一致性。在红色山水画风格模拟方面的实验结果表明,生成的红色山水画更接近训练集的风格,并且生成的绘画风格更符合艺术从业者的风格一致性评价。目前,基于所提方法的红色山水画互动生成系统已经在中国共产党杭州历史馆对外开放展示。

大语言模型引导的文本摘要技术与系统

在实际业务中时,常面临文本与它对应的其他模态在时间响应上难以同步的问题。例如,数字人实时手语表演无法与新闻口播同步播放。为了解决长度可控问题,提出一种基于大语言模型(LLM)的文本摘要解决方案,旨在保持原文语义不变的前提下将文本压缩至指定长度。首先通过模板调优和人工评估的方式,确定最适合长度可控文本摘要的LLM和模板;在此基础上,利用ChatGPT得到一定量优质的满足长度需求的文本摘要训练样本;其次,结合低秩自适应微调(LoRA)技术,利用生成的数据样本集对选定的大语言模型Baichuan-13B-Chat进行微调。在推理阶段,通过微调后的LLM生成多个结果和文本筛选模块打分,最终得到语义相对完整且长度满足要求的摘要文本。实验结果表明,所提方案在亚运手语新闻数据中指标显著提升,人工评估的平均满意度达到88.53%,整体压缩达标率达到73.7%,基本满足实际生产应用的需求。