基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层;实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。

基于微调原型网络的小样本敏感信息识别方法

敏感信息识别主要是指识别互联网上涉及色情、毒品、邪教、暴力等类型的敏感信息,现有的敏感信息识别通常将其看作文本分类任务,但由于缺乏大规模的敏感信息标注数据,分类效果不佳。该文提出一种基于微调原型网络的小样本敏感信息识别方法,在小样本学习框架下,利用快速适应的微调原型网络来缓解元训练阶段通用新闻领域和元测试阶段敏感信息数据差异大的问题。首先,在元训练阶段,基于通用新闻领域的分类数据训练模型来学习通用知识,同时在训练过程中经过两阶段梯度更新,得到一组对新任务敏感的快速适应初始参数,然后在元测试阶段敏感文本数据集的新任务上,冻结模型部分参数并使用支持集进一步微调,使模型更好地泛化到敏感识别领域上。实验结果证明,相比当前最优的小样本分类模型,该文提出的快速适应微调策略的原型网络显著提升了敏感信息识别效果。

基于域间Mixup微调策略的跨被试运动想象脑电信号分类算法

为了缓解传统微调算法的灾难性遗忘问题,本文提出了一种基于域间Mixup微调策略的跨被试运动想象脑电信号分类算法Mix-Tuning。Mix-Tuning通过预训练、微调的二阶段训练方式,实现跨领域知识迁移。预训练阶段,Mix-Tuning使用源域数据初始化模型参数,挖掘源域数据潜在信息。微调阶段,Mix-Tuning通过域间Mixup,生成域间插值数据微调模型参数。域间Mixup数据增强策略引入源域数据潜在信息,缓解传统微调算法在样本稀疏场景下的灾难性遗忘问题,提高模型的泛化性能。Mix-Tuning被进一步应用于运动想象脑电信号分类任务,实现了跨被试正向知识迁移。Mix-Tuning在BMI数据集的运动想象任务达到了85.50%的平均分类准确率,相较于被试–依赖和被试–独立训练方式的预测准确率58.72%和84.01%,分别提高26.78%和1.49%。本文分析结果可为跨被试运动想象脑电信号分类算法提供参考。

基于粒子群优化的自适应微调算法

模型微调是一种重要的迁移学习技术,在各种缺乏训练数据的任务中取得了显著成功,并且只需少量训练时间就能获得满意效果。然而,随着网络模型规模和结构复杂性增加,为特定目标任务设计合适的微调方案变得越来越困难。为了解决这个问题,本文提出了一种基于粒子群优化的自适应微调算法。该算法将预训练模型中的微调层选择问题建模为参数优化问题,并基于种群进化思想,自适应地为目标任务找到合适的层微调方案。实验结果表明,该算法能够精确地求解适合目标任务的层微调方案,并且能够显著提升微调性能。与标准微调基线方法相比,本文算法只需要几次迭代即可实现具有竞争力的性能,从而大幅度减少了训练时间。

基于提示微调的微博立场检测研究

鉴于传统机器学习和自然语言处理技术在处理微博等社交媒体短文本数据时遇到的挑战,特别是数据的信息稀疏性影响数据的表达和分类性能,文中通过提示微调的方法,进行微博立场检测任务。提示微调方法可以充分挖掘和利用预训练语言模型内嵌的丰富知识库,以便更精确捕捉并识别不同文本内容对特定话题的立场倾向。文中首先对微博立场检测数据进行基于反翻译的数据增强,将训练数据从3000条增强到12000条;然后,根据微博文本内容以及对应话题,设计出提示词。这些提示旨在引导预训练语言模型的注意力机制关注文本中对立场检测尤为关键的信息片段,从而提高模型对微博文本立场的识别能力。为了验证提示微调在微博立场检测任务上的有效性,文中在NLPCC 2016的中文微博立场数据集上进行实验,实验结果显示,相较于最优的基线方法,基于提示微调的微博立场检测方法在五个评价指标上提升了0.6%~6%。综上,本研究不仅揭示了基于提示微调的方法在微博立场检测任务中具有巨大的应用潜力,同时也为未来的研究提供了有价值的参考。

中医微调手法推拿对腰椎间盘突出症患者腰部核心稳定肌群功能的影响

目的:探究中医微调手法推拿对腰椎间盘突出症患者腰部核心稳定肌群功能的影响。方法:以本院自2021年1月—2023年1月收取的60例腰椎间盘突出症患者作为研究对象,按照随机数字表法设置两组患者各30例,对照组采取腰椎间歇牵引,观察组应用中医微调手法推拿。对比两组患者治疗效果、功能障碍、疼痛程度及腰背伸肌群力学性能。结果:对照组患者的治疗效果低于观察组(P<0.05);观察组患者的功能障碍及疼痛程度低于对照组(P<0.05);观察组患者的腰背伸肌群力学性能优于对照组(P<0.05)。结论:面对患有腰椎间盘突出症患者采取中医微调手法推拿治疗,可提高患者的治疗效果,提升腰部核心稳定肌群功能,降低疼痛程度,利于预后,值得推广采纳。

基于软提示微调和强化学习的网络安全命名实体识别方法研究

随着网络技术的迅猛发展,新型网络安全威胁不断涌现,网络安全命名实体识别重要性日益增加。针对现有基于大语言模型的命名实体识别方法在网络安全领域识别准确率差的问题,提出了一种结合软提示微调和强化学习的网络安全命名实体识别方法。通过结合软提示微调技术,针对网络安全领域的复杂性,精细调整大语言模型的识别能力,提升模型对网络安全命名实体的识别准确率,同时优化训练效率。此外,提出了基于强化学习的网络安全实体筛选器,可以有效去除训练集中的低质量标注,从而提升识别准确率。在2个开源基准网络安全实体识别数据集上评估了所提方法,实验结果表明,所提方法的F1值优于现有最佳的网络安全命名实体识别方法。

基于图提示微调的交通流量预测

交通流量预测是建设智慧城市重要的基础功能,对城市的交通管理和用户出行规划具有重要意义.由于时间维度和空间维度的扩展,交通流量的数据具有规模大、增长快速、实时更新等特征,传统的训练模型通常需要将大量的历史数据进行训练预测,导致较长的计算时间和较高的算力成本,因此,如何使用低计算成本的预测模型来满足广泛的流量预测需求是重要的技术挑战.近年来兴起的提示微调范式在自然语言处理的下游任务推广中取得了较好的效果,受其启发,提出利用少量的实时数据来微调优化大规模历史数据预训练的模型,为交通流量模型预测的优化应用提出了一种新的思路.通过引入图提示微调的交通流量预测(traffic flow prediction based on graph prompt-finetuning,TPGPF)模型的泛化能力,在时空多维度下的交通流量图预测模型中,基于历史数据集进行预测模型的预训练,并引入可学习的提示向量,在预训练模型固化的情况下指导预训练的自监督学习模型,以适应新的数据预测任务,提升交通流量预测模型的通用性和有效性.通过在5个公开数据集上进行了大量的实验,证明了TPGPF的有效性.

基于提示微调的汉语词汇简化研究

词汇简化是在不改变原句结构和语义的情况下,用更简单的词替换句子中的难词,提高文本面向特定群体读者的可读性。该文提出基于提示微调的汉语词汇简化方法PTCLS(Prompt-tuning Based Chinese Lexical Simplification)。PTCLS采用基于BART的底层架构,能够自然地生成不同字数的替代词,模型训练只需微调少量参数。在公开的汉语词汇简化数据集上的实验表明,该文提出的方法可以大幅超越目前最好的基线系统BERT-LS。深入分析揭示,微调方法只利用少量标注数据即可取得比全参数微调、手工提示和无监督方法更好的表现,尤其针对汉语同义词词典外的难词取得了更显著的性能提升。

基于大型语言模型指令微调的心理健康领域联合信息抽取

信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取的中文指令数据集十分匮乏,这限制了相关研究和应用的发展。针对以上问题,该文在心理学专家的指导下提示ChatGPT生成样本实例,并通过设计生成指令以及数据增强,构建了5641条包含命名实体识别、关系抽取和事件抽取三项基本抽取任务的心理健康领域联合信息抽取指令数据集,旨在填补心理健康领域信息抽取中文指令数据集的不足。随后使用该指令数据集对大型语言模型进行参数高效微调。与基线模型的性能对比以及人工评估的实验结果表明,大型语言模型经过有效的指令微调后可以完成心理健康领域信息抽取的联合任务。

微调平衡三号方对食管癌调强放疗患者疗效的影响

目的 探讨微调平衡三号方对食管癌调强放疗患者疗效的影响。方法 选择2019年2月至2022年3月江阴市中医院收治的78例食管癌患者,以随机数字表法将其分成研究组与对照组,各39例。2组均接受调强放疗治疗,对照组接受常规肠内营养支持治疗,研究组在对照组的基础上接受微调平衡三号方治疗。2组治疗时间均为3个月。对比2组临床疗效、免疫功能、生存质量(QLQ-C30)量表评分以及不良作用发生率。结果 研究组患者疾病控制率(89.74%)比对照组(71.79%)高(P<0.05)。治疗后,2组患者CD3^(+)、CD8^(+)T淋巴细胞水平均升高(P<0.05),且研究组比对照组高(P<0.05)。治疗后,2组患者CD4^(+)T淋巴细胞、CD4^(+)/CD8^(+)T淋巴细胞水平均降低(P<0.05),且研究组比对照组低(P<0.05)。治疗后,2组QLQ-C30评分均升高(P<0.05),且研究组比对照组高(P<0.05)。2组Ⅰ~Ⅳ级放射性食管炎、消化道反应、骨髓抑制发生率比较差异均无统计学意义(P>0.05)。结论 微调平衡三号方治疗食管癌调强放疗患者疗效确切,可改善患者的免疫功能、生存质量,且安全可靠。

基于医疗临床数据的两阶段专业级大语言模型微调

通用大语言模型(large language model,LLM)缺乏对专业领域知识理解的深度和广度,对专业领域问题回答的准确度不够,常常产生幻觉,阻碍了大语言模型的商业应用落地。因此,基于专业领域特有数据提高大型语言模型的专业性成为当前大语言模型应用落地的关键挑战。针对通用大语言模型在特定领域知识理解与生成内容专业性不够的问题进行了研究。基于P-Tuning v2与Freeze两种参数高效微调方法,提出了一种专业级大语言模型的两阶段微调框架。依赖该框架与肝胆科临床数据对ChatGLM-6B进行微调,得到一个针对肝胆专科的专业级大语言模型,命名为MedGLM.H。根据实验显示,微调后的大语言模型对于肝胆专科问题的准确率从31%提升到了62%;得分率从57%提升到了73%。在进行两阶段微调后,模型在肝胆专科的问答中表现出更高的准确性与专业性,根据三名临床医生进行的对话实验,证明了微调后的模型在更专业的医疗场景中具备应用潜力。

基于差分隐私的联邦大模型微调技术

随着私有数据可用性的降低,基于联邦学习的大模型参数微调成为备受关注的研究领域.尽管联邦学习本身具有一定程度的隐私保护能力,但其中的梯度泄露攻击和针对大模型的嵌入反转攻击等隐私安全问题仍然威胁着参与者的敏感信息.在当前对隐私保护意识不断增强的背景下,这些潜在的隐私风险显著阻碍了基于联邦学习的大模型参数微调在实际应用中的推广.因此,提出一种联邦大模型嵌入差分隐私控制算法,通过全局和本地双重隐私控制机制,在高效参数微调过程中为大模型的嵌入模型添加可控的随机噪声,以增强基于联邦学习的大模型参数微调的隐私保护能力.此外,通过对不同联邦设置的实验比较,展示了该算法在大模型参数微调中的隐私保护效果,并通过中心化和联邦化的性能比较实验验证了该算法的可行性.

低秩自适应微调的一阶段红外目标跟踪

由于缺乏大规模的红外跟踪训练数据集,现有的红外跟踪方法大都利用在大规模可见光数据上预训练的模型,然后在小规模的红外数据上进行完全微调。然而,当预训练模型的参数规模迅速增大时,完全微调需要的内存和时间成本也急剧增长,这限制了低资源用户在大型模型上进行研究和应用。为解决该问题,提出一种参数、内存和时间高效自适应的红外目标跟踪算法。首先,通过Transformer的自注意力机制对模板和搜索区域图像进行联合特征提取和关系建模,获取与目标关联度更强的特征表示;其次,利用低秩自适应矩阵的侧网络将可训练参数从主干网络中进行解耦,以减少需要训练更新的参数规模;最后,设计一种轻量级空间特征增强模块,增强特征对目标和背景的判别能力。提出方法的训练参数,内存和时间分别仅占完全微调方法的0.04%、39.6%和66.2%,性能却超越了完全微调。在3个标准红外跟踪数据集LSOTB-TIR120,LSOTB-TIR100和PTB-TIR上的实验对比结果和消融实验证明了提出的方法是有效的。提出的方法在LSOTB-TIR120数据集上成功率为73.7%,精度为86.0%,归一化精度为78.5%;LSOTB-TIR100数据集上成功率为71.6%,精度为83.9%,归一化精度为76.1%;在PTB-TIR数据集上成功率为69.0%,精度为84.9%,均取得了当前最先进的跟踪性能。

融合在线检索和量化低秩适配器微调范式的新闻文稿生成

现有大语言模型(LLM)由于存在信息滞后性,在特定风格新闻稿件生成任务上存在生成内容捏造、行文不流畅连贯等问题。为了缓解这些问题,提出一套基于实时在线的web_search技术和量化低秩适配器(QLoRA)微调技术的新闻文稿生成系统的解决方案。首先,利用Bing和Google提供的API根据给定的新闻标题,获取最新的新闻素材集合;其次,利用语义相关性模型和摘要模型对初始素材集合进行筛选和文本处理,选取准确的新闻内容;再次,设计动态的prompt模板综合处理检索到的新闻素材,并在prompt中加入新闻风格约束提示词;最后,将完整的prompt提示词指令输入经过QLoRA微调的LLM中,生成新闻文稿。实验结果显示,在人工整理的热点新闻标题数据集上,所提方案生成的新闻在内容正确性、逻辑连贯性等多维人工评估标准上的平均准确率达到90%,满足实际生产应用的需求,有效提高了新闻生产的效率和质量。目前,该系统已在杭州文广集团内部成功部署应用。

大语言模型微调技术的研究综述

大型语言模型的崛起是深度学习领域的全新里程碑,而微调技术在优化模型性能方面的起到了关键作用。对大型语言模型微调技术进行了全面的综述,回顾了语言模型的统计语言模型、神经网络语言模型、预训练语言模型和大语言模型四个阶段的发展历程和微调技术的基本概念,从经典参数微调、高效参数微调、提示微调和强化学习微调方法四大部分,探讨总结了各微调技术的原理与发展,并进行了一定的对比分析。最后,总结了当前微调技术的研究状况与发展重点,强调了该领域的潜在研究价值,并展望了未来的发展方向。

脊柱微调手法基础上核心肌群训练对腰椎小关节紊乱患者腰椎功能和生活质量的影响

目的 探究在脊柱微调手法的基础上联合核心肌群训练对腰椎小关节紊乱患者的临床疗效。方法 选取2021年2月至2022年2月复旦大学附属华东医院收治的腰椎小关节紊乱患者80例,随机分为对照组和观察组,各40例,两组均给予常规治疗和脊柱微调手法治疗,观察组联合核心肌群训练,共6周。治疗前后,采用日本骨科协会腰椎功能评分、简化McGill疼痛问卷和世界卫生组织生活质量测定量表简表进行评定。随访3个月,观察两组复发率。结果 治疗后,两组各项评分均显著改善(t> 5.751, P <0.001),观察组各项评分均优于对照组(t> 2.051, P <0.05);随访3个月,观察组复发率为7.89%(3/38),明显低于对照组的28.13%(9/32)(χ^(2)=5.005,P=0.025)。结论 联合应用核心肌群训练能进一步改善腰椎小关节紊乱患者的腰椎功能,减轻腰椎疼痛,降低复发率,提升生活质量。

基于GCN和微调BERT的作文自动评分方法

作文自动评分是智慧教育领域的重要研究方向之一。它具有提高评分效率、降低人工成本以及确保评分客观性和一致性的优势,因此在教育领域有着广泛的应用前景。尽管句法特征在作文自动评分中扮演着重要角色,但目前仍缺乏关于如何更好地利用这些特征进行作文自动评分的研究。本文提出一种基于GCN和微调BERT的作文自动评分方法GFTB。该模型采用图卷积网络提取作文的句法特征,采用BERT和Adapter的训练方式提取作文的深层语义特征,同时采用门控机制进一步捕捉二者融合后的语义特征。实验结果表明,本文提出的GFTB模型在公共数据集ASAP的8个子集上取得了较好的平均性能,相比于通义千问等基线模型,能够有效提升作文自动评分的性能。

融合多种参数高效微调技术的深度伪造检测方法

近年来,随着深度伪造技术趋于成熟,换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐,但同时也为不法分子提供了滥用的机会。因此,深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒性差、跨数据集泛化性差以及模型训练开销大等问题。为解决上述问题,提出一种融合多种参数高效微调技术的深度伪造检测方法,使用以掩码图像建模(MIM)自监督方法预训练的视觉自注意力模型作为主干,使用克罗内克积改进的低秩自适应方法对预训练模型的自注意力模块参数进行微调,同时采用并行结构加入卷积适配器对图像局部纹理信息进行学习,以增强预训练模型在深度伪造检测任务中的适应能力,采用并行结构引入经典适配器对预训练模型的前馈网络微调以充分利用预训练阶段学习到的知识,使用多层感知机代替原预训练模型分类头实现深度伪造检测。在六个数据集上的实验结果表明,该模型在可训练参数仅有2×10^(7)的情况下,在六个主流数据集上实现了平均约0.996的帧水平AUC。在跨压缩率实验中,帧水平AUC的平均下降为0.135。在跨数据集泛化性实验中,帧水平AUC达到了平均0.765。

基于自监督对比学习与方面级情感分析的联合微调模型

方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层结构重合,从而限制了整体模型性能。由于对比学习方法有助于改善预训练语言模型在词语级别和句子级别的表示,设计了一种结合自监督对比学习与方面级情感分析的联合微调模型(self-supervised contrastive learning aspect-based sentiment analysis,SSCL-ABSA)。该模型以简洁的下游结构联合两种学习任务,实现从不同角度微调预训练基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)模型,有效促进了方面级情感分析效果的提升。具体地,首先在BERT编码阶段,将评论文本与方面词拼接成两个片段输入BERT编码器,得到各词特征表示。之后根据下游结构需求,对不同的词特征采用池化操作。一方面池化所有词特征用于方面级情感分析,另一方面池化两个片段的方面词特征用于自监督对比学习。最终结合两种任务以联合学习的方式微调BERT编码器。在3个公开数据集上进行实验评估,结果表明SSCL-ABSA方法优于其他同类对比方法。借助t-分布随机近邻嵌入(t-distributed stochastic neighbor embedding,t-SNE)方法,形象地可视化了SSCL-ABSA有效改善了BERT模型的实体表示效果。