低秩自适应微调的一阶段红外目标跟踪

由于缺乏大规模的红外跟踪训练数据集,现有的红外跟踪方法大都利用在大规模可见光数据上预训练的模型,然后在小规模的红外数据上进行完全微调。然而,当预训练模型的参数规模迅速增大时,完全微调需要的内存和时间成本也急剧增长,这限制了低资源用户在大型模型上进行研究和应用。为解决该问题,提出一种参数、内存和时间高效自适应的红外目标跟踪算法。首先,通过Transformer的自注意力机制对模板和搜索区域图像进行联合特征提取和关系建模,获取与目标关联度更强的特征表示;其次,利用低秩自适应矩阵的侧网络将可训练参数从主干网络中进行解耦,以减少需要训练更新的参数规模;最后,设计一种轻量级空间特征增强模块,增强特征对目标和背景的判别能力。提出方法的训练参数,内存和时间分别仅占完全微调方法的0.04%、39.6%和66.2%,性能却超越了完全微调。在3个标准红外跟踪数据集LSOTB-TIR120,LSOTB-TIR100和PTB-TIR上的实验对比结果和消融实验证明了提出的方法是有效的。提出的方法在LSOTB-TIR120数据集上成功率为73.7%,精度为86.0%,归一化精度为78.5%;LSOTB-TIR100数据集上成功率为71.6%,精度为83.9%,归一化精度为76.1%;在PTB-TIR数据集上成功率为69.0%,精度为84.9%,均取得了当前最先进的跟踪性能。

融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

基于秩自适应贝叶斯张量分解模型的交通流量数据修复方法

针对传输线路故障、通信故障等原因造成智能交通系统在某时刻或时段无法识别到车辆,导致数据缺失的问题,提出一种基于秩自适应贝叶斯张量分解模型的交通流量数据修复方法.首先,考虑交通数据的时空相关性,基于张量模型构建数据结构.其次,使用贝叶斯模型在张量分解的参数和超参数上设置灵活的先验和超先验分布,构建秩自适应算法解决张量分解模型的秩选择问题.最后,采用长沙市车辆牌照识别(License Plate Recognition,LPR)系统记录的2019年7月1日至2019年7月28日793个交叉路口的交通流量数据,检验在不同的张量数据结构、丢失方式、丢失率以及张量分解秩的情况下该模型的数据修复精度.研究结果表明:秩自适应算法能够捕捉张量分解最佳秩的大小,避免预设秩过大导致的过拟合现象;与传统的CP分解(CANDECOMP/PARAFAC decomposition)和均值法相比,本文所提算法的平均绝对百分比误差在丢失率达到30%的情况下降低了20%,有效提升了交通流量数据修复的准确性.研究成果可为交通流量预测、交通出行时空特征分析中的数据修复提供参考.

基于广义旁瓣相消器的快速降秩自适应波束形成算法

传统的基于广义旁瓣相消器(GSC)的降秩自适应波束形成算法,降秩矩阵大多数需要通过特征值分解获得,而特征值分解会带来新的大运算量,大大限制了算法的工程实现。提出了一种新的基于广义旁瓣相消器的快速降秩自适应波束形成算法(FRGSC)。该算法直接利用广义旁瓣相消器下支路的中间快拍数据来构造降秩矩阵,利用所有可以利用的快拍数(多于干扰个数的快拍数)来构造降秩矩阵。基于GSC的传统降秩算法构造降秩矩阵需要的运算量为O((N-1)3)(N为自适应自由度),而FRGSC算法构造降秩矩阵只需要一次复数乘法和少量复数加法,所需运算量大大降低。该方法在实际应用中具有更优的实时性,适用于大阵列连续波体制雷达。仿真结果证明了所提出的基于广义旁瓣相消器的快速降秩自适应波束形成算法具有很好的波束形成性能,验证了算法的有效性。

数据分段输入的低秩自适应滤波方法

针对高采样率下的高阶自适应滤波器难以实时实现的问题,本文提出了一种数据分段输入的降秩自适应滤波方法,其实现机理与传统的LMS和RLS方法勾不相同,其收敛速度与RLS方法基本相当,运算量却比RLS方法要小,其显著优势是大大降低了对物理处理器的速度要求。

降秩自适应滤波算法研究

对降秩自适应滤波算法进行了系统的总结和分析,推导了其相互关系。分析表明,GSC(GeneralizedSidelobeCanceller)框架降秩变换自适应滤波是各种降秩自适应滤波算法的统一模型。在此基础上导出了线性约束正交投影算法。降秩多级维纳滤波器在相关意义上进行截断降秩,其降秩性能优于基于特征子空间截断的降秩方法。酉多级维纳滤波器与共轭梯度法等效,均是基于Krylov子空间截断降秩的方法,降秩性能更优。最后通过计算机仿真试验比较了各种降秩处理算法的性能。

自适应秩收敛低秩算法压制沙漠地震随机噪声

针对沙漠地震记录中包含大量复杂噪声降低信噪比的问题,提出一种将变分模态分解(VMD:Variational Mode Decomposition)与混合高斯鲁棒主成分分析(MoG-RPCA:Mixture of Gauss-Robust Principal Component Analysis)相结合的自适应秩收敛去噪算法。首先利用VMD对含噪记录进行分解,将分解得到所有模态重排成一个新的信号矩阵,并对其进行MoG-RPCA低秩分解,当分解误差满足预设要求时提取有效低秩分量,最后将低秩矩阵中每一道信号的所有模态叠加并与含噪记录作差得到最终去噪结果。该方法既规避了VMD模态取舍问题,同时对传统低秩分解进行自适应秩收敛,从而无需多次调整秩数大小。模拟实验和实际数据处理表明,该算法可以有效压制低频噪声,对有效信号幅度保持均能到达85%以上。

基于自适应秩选方法的地震降秩去噪

基于矩阵降秩理论的地震随机噪声压制与数据重建技术近年来得到了广泛的关注。考虑到传统的基于Hankel矩阵的降秩去噪方法在处理由非线性同相轴构成的数据时较难确定秩选参数,以及在数据分块计算中存在秩非一致性现象,去噪结果因此容易保留残余噪声或损伤有效信号的问题,引入了一种基于渐近均方误差(AMSE)框架下矩阵奇异值最优硬阈值的自适应秩选方法,利用观测矩阵奇异值序列的中值和矩阵行列数比值计算出奇异值信噪分界阈值,自适应地对秩选参数进行确定。并将该方法分别与截断奇异值分解(TSVD)、阻尼奇异值分解(DSVD)、阻尼最优奇异值收缩(DOptShrink)3种秩约化方法相结合,提出了自适应降秩去噪方法。数值实验分析和实际资料去噪结果显示,所提出的自适应降秩去噪方法与常规的固定秩选降秩去噪方法相比,在处理复杂构造地震数据时,能够有效压制随机噪声且保持有效信号幅度。

基于自适应矩阵低秩分解的三维电容提取计算加速

为了加速直接边界元法电容提取,利用方程组系数矩阵的局部低秩性进行定精度的低秩分解,用分解因子代替原矩阵参与线性方程组的迭代求解,在保持一定精度的同时加快求解速度.为了降低矩阵分解带来的额外开销,提出分解算法针对矩阵向量乘这一下游任务进行优化.在大量三维互连线结构上的实验结果表明,所提快速自适应低秩分解fastQB算法相比现有的randQB_EI算法的加速比达到1.5,引入矩阵低秩分解后方程组的迭代求解加速比达到16.8.

大模型驱动的科技政策法规问答系统研究

科技政策法规问答系统(Q&A)在帮助公众理解和应用科技法规方面发挥关键作用。大语言模型(LLM)可以显著提升科技政策法规问答系统的准确性和效率。然而,基于大语言模型的科技政策法规问答系统仍然存在以下问题:缺乏大规模高质量的科技政策法规问答数据集,且现有自动构建大规模数据集的方法在引用和整合政策法规知识方面存在不足;问答系统在处理科技政策法规问题时,专业性、准确性不足且模型知识更新滞后。为解决这些问题,提出了一种检索增强自提示的问答数据集构建方法,并构建了一个大规模高质量的科技政策法规问答数据集;同时,构建了科技政策法规问答系统,该系统结合了经过低秩自适应(LoRA)微调技术优化的大语言模型与科技政策法规知识库,并运用提示学习技术,来引导系统生成准确的答案。实验结果显示,构建的问答数据集在引用和整合科技政策法规知识方面,比传统方法构建的问答数据集有显著提升;相较于通用大语言模型驱动的问答系统,该问答系统在各项指标上也有明显提高。

基于大模型微调范式的绘画风格模拟方法

现有的微调大模型生成指定风格化图像的方法能力有限,存在布局风格、细节风格同目标风格不一致的问题,为了提高大模型风格模拟一致性能力,提出一种微调大模型部分注意力参数和低秩自适应(LoRA)相结合的方法并用于红色山水风格的绘画生成。首先,以少量绘画样本微调文生图大模型的部分注意力参数;其次,冻结文生图(文本-图像)大模型,结合LoRA微调方法在模型中注入可训练层进行训练;最后,将第2步中的可训练层插入第1步微调过的大模型中进行推理。实验结果表明,与目前流行的风格定制方法相比,所提方法在保证文本可控性的同时,不仅保证了绘画的整体布局与训练集图像风格一致,同时在绘画细节上也与目标风格具有高一致性。在红色山水画风格模拟方面的实验结果表明,生成的红色山水画更接近训练集的风格,并且生成的绘画风格更符合艺术从业者的风格一致性评价。目前,基于所提方法的红色山水画互动生成系统已经在中国共产党杭州历史馆对外开放展示。

大语言模型引导的文本摘要技术与系统

在实际业务中时,常面临文本与它对应的其他模态在时间响应上难以同步的问题。例如,数字人实时手语表演无法与新闻口播同步播放。为了解决长度可控问题,提出一种基于大语言模型(LLM)的文本摘要解决方案,旨在保持原文语义不变的前提下将文本压缩至指定长度。首先通过模板调优和人工评估的方式,确定最适合长度可控文本摘要的LLM和模板;在此基础上,利用ChatGPT得到一定量优质的满足长度需求的文本摘要训练样本;其次,结合低秩自适应微调(LoRA)技术,利用生成的数据样本集对选定的大语言模型Baichuan-13B-Chat进行微调。在推理阶段,通过微调后的LLM生成多个结果和文本筛选模块打分,最终得到语义相对完整且长度满足要求的摘要文本。实验结果表明,所提方案在亚运手语新闻数据中指标显著提升,人工评估的平均满意度达到88.53%,整体压缩达标率达到73.7%,基本满足实际生产应用的需求。

基于rank自适应的3D MIMO有限反馈传输方案

大规模多输入多输出(multiple-input multiple-output,MIMO)技术能够提高频谱效率和能量效率,被认为是下一代无线通信的关键技术。随着有源天线技术的发展,基站配置二维天线阵列可在三维(threedimensional,3D)空间控制波束,这使得3D MIMO技术成为一个新的研究热点。在单用户MIMO下,本文提出了两种基于秩(rank)自适应的3D MIMO有限反馈方案。方案I在水平维采用rank自适应,垂直维支持rank 1传输;方案II在垂直维采用rank自适应,水平维支持rank 1传输。在三维城市宏小区和三维城市微小区场景下,采用系统级仿真验证了两种方案的性能。相较于水平维和垂直维都仅支持rank 1的传输方案,两种方案都取得了性能增益,同时方案I优于方案II。

一种基于广义旁瓣相消的改进降秩算法

在处理大型阵列时,阵元数较多,通常对阵列采用降秩处理可以较好地解决运算量过大的问题。基于广义旁瓣相消器(GSC)框架的降秩变换自适应滤波是各种降秩自适应滤波算法的统一模型。分析了基于GSC框架的几种降秩自适应滤波算法,针对当降秩阶数大于干扰数时方向图旁瓣过高、波形混乱和系统性能下降问题,提出了一种基于GSC框架的改进降秩算法,该算法利用特征子空间对GSC阻塞矩阵加以改进,使用改进后的阻塞矩阵进行降秩自适应处理,仿真结果证明了改进算法可以降低旁瓣电平,并形成较好的波束形状,提高了GSC性能的稳健性。

混合秩矩阵分解模型

随着推荐系统的发展,矩阵近似算法成为研究热点,而以概率矩阵分解为代表的低秩矩阵近似模型因其具有较高的推荐精度而广受关注。但是,随着大数据时代的到来,评分矩阵越来越复杂,简单的单个矩阵近似模型会使一些隐藏在数据中的信息被忽视。为了解决这个问题,提出了一种基于boosting框架的混合秩矩阵近似算法(mixture rank matrix factorization,MRMF)。该算法基于boosting框架融合多个不同秩矩阵获取丰富的评分信息。具体方法为首先从整体结构出发,获取矩阵的整体信息,然后基于boosting求偏差获得残差矩阵,抓取局部的相关性。同时为了更好地学习局部特征,引入服从拉普拉斯先验分布的样本权重,构建自适应权重的概率矩阵模型(adaptive weight matrix factorization,AWMF)。在获取残差矩阵之后,通过EM算法学习残差矩阵的权重,避免模型过拟合以及减少人工调差的复杂度。实验结果验证,所提出的算法在四个真实数据集(Ciao、Epinions、Douban、Movielens(10M))上均具有较好的推荐精度。

自适应秩约束逆矩阵近似分解及其在语音增强中的应用

针对低秩约束和稀疏矩阵分解(constrained low-rank and sparse matrix decomposition, CLSMD)方法中硬阈值可能导致降噪后的语音信号分量丢失或出现孤立噪声问题,提出了一种自适应秩约束逆矩阵近似(adaptive rank constrained inverse matrix approximation, ARCIMA)分解方法。该方法首先采用能量阈值法初步估计低秩矩阵秩值,然后从语音信号子空间矩阵的结构特性出发,采用修正双边随机投影(modified bilateral random projections, MBRP)方法求解代表纯净语音信号的低秩矩阵,降低使用SVD方法的计算量,并通过Tikhonov正则化优化方法改善迭代求解过程中解的病态性。实验结果表明,该方法相比经典方法在多种噪声环境下取得了更好的PESQ得分,并且增强语音的时域波形也更接近原始信号的波形。该方法去噪性能在低信噪比噪声条件下具有优势。

正交频分复用系统中基于子空间跟踪的信道估计

基于导频的正交频分复用(OFDM)系统信道估计方法是通过在确定的时频位置发送已知的导频符号来获取信道参数的,通常包括导频位置的最小二乘估计和内插滤波两步.如果能够提高导频位置信道频域特性的估计精度,那么后续内插滤波的精度也就能相应地得到提高.为此,在建立通用参数化信道模型的基础上,提出一种子空间跟踪的改进算法.该算法通过基于Givens旋转的时延子空间跟踪和基于RLS滤波的幅度跟踪,提高了导频符号信道估计的精度,降低了跟踪算法的复杂度.仿真结果表明,基于子空间跟踪的信道估计方法具有较低的复杂度和较高的估计精度.

MIMO-OFDM系统中基于子空间跟踪的信道估计

针对MIMO-OFDM系统,提出了一种基于子空间跟踪的时域信道估计方法.首先利用导频估计出信道的时间冲激响应,然后通过Givens旋转的时延跟踪和基于最小均方自适应滤波的幅度跟踪来提高估计精度.仿真结果表明,基于子空间跟踪的时域信道估计方法可以用来跟踪较快的衰落信道,估计精度高并且复杂度较低.

动态模式分解及其在轴承早期故障诊断中的应用

滚动轴承是装备制造业中关键基础零部件,其在服役过程中的工作状态直接决定着主机产品的性能、质量和可靠性,有效的轴承早期故障监督检测技术是实现设备预防维修的重要保证。提出将动态模式分解(DMD)算法改进后应用于轴承早期故障信号的特征提取中,传感器采集得到的原始时间序列通过投影降噪后进行动态模式分解,采用软阈值法自适应地根据原始信号噪声水平得到若干单频模式,对这些模式分量进行多尺度排列熵值计算,通过阈值法筛选出原始动力学系统中的低秩成分,对其进行恢复重构后提取早期故障特征频率。在仿真信号和实测信号的试验研究中验证了提出方法的有效性。

基于SAM的无人艇多源图像分割研究

针对无人艇多源传感器的图像分割问题,开展了结合图像分割大模型与大模型低成本微调技术的研究,以增强感知大模型在无人系统上的实用性。首先将分割大模型应用于无人艇可见光、红外和声学图像分割,并对其性能进行了比较。经对比发现,分割大模型对可见光和红外图像分割效果好,但对声学图像的分割性能存在严重下降。随后利用低秩自适应算法对分割大模型编码器部分进行了微调训练,以适应声学图像分割任务。微调后的分割大模型对声学图像的分割性能得到显著提升,Dice相似系数平均值相比初始分割大模型提高了52.88%,证明了方法的有效性。作为一种大模型的微调技术,低秩自适应算法使用低秩近似来降低权重矩阵维度,大幅减少模型中可训练的参数量,在提升训练效率的同时降低了训练成本。