Frequency control and pre-tuning of a large aperture 500 MHz 5-cell superconducting RF cavity

The 500 MHz 5-cell superconducting RF(SRF) cavity was designed aiming to be a candidate cavity for high current accelerators. A copper prototype cavity and a niobium cavity were fabricated at SINAP in 2012. In order to ensure these cavities get the desired frequency and a good field flatness higher than 98%, frequency control was implemented in the manufacturing process and pre-tuning has been done using a simple pre-tuning frame based on the bead-pull pre-tuning method. Then, TM010-π mode frequency within 5 kHz from the target frequency was achieved and the field flatness reached 98.9% on the copper prototype cavity. Finally, the same procedure was applied to the niobium cavity to obtain a field flatness better than 98% which benefited the cavity performance in the vertical testing.

SWISS整流器分数阶PID控制策略

针对SWISS整流器的传统整数阶PID控制策略动态响应速度较慢、鲁棒性较差的问题,提出一种基于分数阶PID的SWISS整流器控制策略。基于SWISS整流器的工作原理建立其小信号模型,得到SWISS整流器的等效传递函数,并设计基于分数阶PID电压控制的双闭环控制结构。为简化分数阶PID的阶次参数设计,采用整数阶PID参数预整定的方法得到参数初值,并利用粒子群算法对分数阶PID控制器参数进行进一步设计优化。仿真和实验结果表明,分数阶PID控制策略下的SWISS整流器发生参考电压突变时电压稳定时间小于7 ms、超调量小于2%,发生负载扰动时电压稳定时间小于4 ms、超调量小于3%,动态性能优于整数阶PID控制策略。

基于域间Mixup微调策略的跨被试运动想象脑电信号分类算法

为了缓解传统微调算法的灾难性遗忘问题,本文提出了一种基于域间Mixup微调策略的跨被试运动想象脑电信号分类算法Mix-Tuning。Mix-Tuning通过预训练、微调的二阶段训练方式,实现跨领域知识迁移。预训练阶段,Mix-Tuning使用源域数据初始化模型参数,挖掘源域数据潜在信息。微调阶段,Mix-Tuning通过域间Mixup,生成域间插值数据微调模型参数。域间Mixup数据增强策略引入源域数据潜在信息,缓解传统微调算法在样本稀疏场景下的灾难性遗忘问题,提高模型的泛化性能。Mix-Tuning被进一步应用于运动想象脑电信号分类任务,实现了跨被试正向知识迁移。Mix-Tuning在BMI数据集的运动想象任务达到了85.50%的平均分类准确率,相较于被试–依赖和被试–独立训练方式的预测准确率58.72%和84.01%,分别提高26.78%和1.49%。本文分析结果可为跨被试运动想象脑电信号分类算法提供参考。

预应变SMA⁃TMD对钢框架结构抗震性能影响研究

针对钢结构在地震激励下加速度响应过大的问题,介绍了一种将形状记忆合金(SMA)应用到调谐质量阻尼器(TMD)装置中的解决方案,利用SMA的特性实现有效的自复位和稳定的阻尼,将预应变SMA棒应用到TMD中,提高装置的阻尼性能。通过试验测试及有限元模拟,研究安装施加预应变SMA-TMD的钢框架抗震性能。结果表明:预应变SMA棒不仅有助于自复位,而且还能大大提高SMA-TMD的等效黏滞阻尼比;经过优化的SMA-TMD装置可以大大降低钢框架的地震动响应,并加快地震能量消耗。

油气行业人工智能大模型应用研究现状及展望

阐述了大模型技术的概念,总结了大模型技术的国内外研究现状,综述了大模型在垂直领域的应用现状,梳理了油气行业大模型应用面临的挑战,并对油气行业大模型应用进行了展望。现有大模型可粗略分为3类,即大语言模型、视觉大模型和多模态大模型。油气行业大模型应用刚刚起步,部分油气企业基于开源大语言模型,利用微调、检索增强等方式发布大语言模型产品,部分学者尝试利用视觉/多模态基础模型研发面向油气业务的场景模型,还有少数学者构建地震资料处理解释、岩心分析等领域的预训练基础模型。油气行业大模型应用面临数据量和数据质量难以支撑大模型训练、研发投入成本高、难以实现算法自主可控等挑战。油气行业在应用大模型时应始终聚焦油气主营业务需求,以大模型应用为契机,加强数据全生命周期管理,提升数据治理能力,推动融合算力建设,加强“人工智能+能源”复合团队建设,推动大模型技术自主可控。

大语言模型微调技术的研究综述

大型语言模型的崛起是深度学习领域的全新里程碑,而微调技术在优化模型性能方面的起到了关键作用。对大型语言模型微调技术进行了全面的综述,回顾了语言模型的统计语言模型、神经网络语言模型、预训练语言模型和大语言模型四个阶段的发展历程和微调技术的基本概念,从经典参数微调、高效参数微调、提示微调和强化学习微调方法四大部分,探讨总结了各微调技术的原理与发展,并进行了一定的对比分析。最后,总结了当前微调技术的研究状况与发展重点,强调了该领域的潜在研究价值,并展望了未来的发展方向。

油藏动态分析场景大模型构建与初步应用

针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体识别技术、工具调用技术、Text-to-SQL(自然语言转换成结构化查询语言)技术微调的功能子系统及其高效耦合方法,将人工智能大模型运用到油藏动态分析领域。测试了特征提取模型、工具分类模型、数据检索模型、分析建议模型的准确性,结果表明这些模型在油藏动态分析的各个关键环节均展现出了良好的性能。最后以大庆油田PK3区块部分注采井组为例,测试验证了油藏动态分析场景大模型在辅助油藏工程师进行油藏动态分析方面具有的运用价值和潜力,为大模型在油藏动态分析中的运用提供了较好的技术支持。

ASC-Net:腹腔镜视频中手术器械与脏器快速分割网络

腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net),以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下,设计了注意力感知与空间通道模块,通过跳跃连接将二者嵌入编码与解码模块间,使网络重点关注图像中相似目标间深层语义信息差异,同时多维度学习各目标的多尺度特征。此外,采用预训练微调策略,减小网络计算量。实验结果表明:在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%,86.40%和16.73 ms (60帧/秒),相比于现有最先进方法,mDice与mIoU提升了26%与39%,且mIT降低了56%;在AutoLaparo数据集上的mDice,mIoU和mIT分别为93.72%,89.43%和16.41ms(61帧/秒),同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度,实现了腹腔镜图像中手术器械和脏器的快速精准分割,将助力腹腔镜手术自动化快速发展。

提示学习研究综述

经过微调的预训练语言模型在各领域任务中均取得了显著的性能。但是,预训练和微调之间在训练数据和目标函数方面存在着巨大差距,阻碍了预训练语言模型对下游任务的有效适应。提示学习的提出缩小了预训练和微调之间的差距,并可以很好地应用到小样本甚至零样本场景中。提示学习的核心思想是将提示模板插入到原始输入中,将下游任务数据转化为自然语言的形式输入到预训练模型中,输出预测结果,然后通过语言表达器将输出映射到相应的标签。系统地梳理了当前提示学习的相关工作,根据提示学习的实现步骤,从提示模板和语言表达器构建两个阶段介绍该类方法的研究进展。将基于提示模板的方法细分为人工构建、自动构建、引入外部知识构建提示和思维提示方法4种;将基于语言表达器的方法细分为人工构建的表达器、基于搜索的表达器、软表达器和引入外部知识构建表达器的方法4种。总结了提示学习在自然语言处理、计算机视觉和多模态领域的主要应用,并对提示学习相关实验进行了分析。最后,概述了提示学习的现状和挑战,展望了提示学习的未来发展方向。

基于prompt tuning的中文文本多领域情感分析研究

不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过prompt tuning使模型学习到下游各领域情感文本的特征。MSAPT仅需保存一个模型和一些参数量远远小于模型的prompt,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行prompt tuning时,MSAPT效果优于模型微调(model tuning)的。最后,分别对适应特定领域的prompt tuning、hard prompt、soft prompt的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

主蒸汽压力系统的基于预补偿自抗扰控制设计

火电机组主蒸汽压力系统为典型的大惯性过程,其控制策略的设计存在着响应速度慢、抗干扰能力不足的问题。为解决主蒸汽压力系统的上述控制难点,提出了一种基于预补偿自抗扰控制的优化设计方法,将控制量通过预补偿结构后再送入被控对象,从而对常规自抗扰控制结构进行改进。在介绍基于预补偿自抗扰控制结构的基础上,通过单一变量法分析各个参数对于控制效果的影响,从而给出了其参数整定的流程。仿真结果表明:所提方法的跟踪状态、抗干扰状态和包含跟踪以及抗干扰状态下的绝对误差积分指标分别占对比方法的52.38%、60.75%和57.88%,从而验证了所提方法在提升主蒸汽压力系统的跟踪和抗干扰能力方面的优势;通过蒙特卡洛实验验证了所提方法能够很好地应对系统的不确定性。

生成式人工智能的工业应用技术与前景

随着在工业应用中的不断深化,人工智能(AI)逐渐面临场景定制化、数据要求高、动态环境适应性差等问题。以生成式人工智能(AIGC)为代表的通用AI为突破传统AI的瓶颈提供了新思路。为推动AIGC与工业领域的融合创新、抢占下一轮科技革命的技术高地,对AIGC技术及其工业应用展开综述。首先,梳理了国内外AIGC技术的发展现状,总结了当前AIGC工业应用面临的问题和挑战。然后,提出了AIGC在工业领域应用的技术架构,以及通用大模型集成、通用大模型微调与知识库外挂、预训练工业大模型这三种应用模式。最后,从研发设计、生产制造、经营管理以及运维服务等四个方面的十二个场景作应用展望,以激发AIGC工业应用的新技术、新方向的进一步发展,赋能工业领域形成新质生产力。

预训练模型在脉冲星候选体筛选中的应用研究

预训练模型逐渐成为一种工具并应用于各种下游任务。其中,由于各望远镜位置、使用数字后端、处理技术以及周围干扰环境的不同,脉冲星候选体筛选需使用极端不平衡的数据从头训练并设计深度学习模型,存在流程复杂、时效性差、难度大的问题。针对上述问题,基于ImageNet数据集预训练模型,对比分析其在脉冲星数据集的表现,并比较其Precision、Recall、F1-Score。首先,使用LogME方法评估各模型在脉冲星数据集的可迁移性;其次,使用后端融合的方式融合频率-相位图和时间-相位图的2种特征;最后,使用逐层解冻的方式微调对比可迁移性评分高的14个模型。结果表明,预训练方式所需资源少、收敛速度快,能应用于脉冲星筛选任务,在需要更进一步提升模型效果时,也可以考虑这些模型作为基础模块用于提取特征。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于软提示微调和强化学习的网络安全命名实体识别方法研究

随着网络技术的迅猛发展,新型网络安全威胁不断涌现,网络安全命名实体识别重要性日益增加。针对现有基于大语言模型的命名实体识别方法在网络安全领域识别准确率差的问题,提出了一种结合软提示微调和强化学习的网络安全命名实体识别方法。通过结合软提示微调技术,针对网络安全领域的复杂性,精细调整大语言模型的识别能力,提升模型对网络安全命名实体的识别准确率,同时优化训练效率。此外,提出了基于强化学习的网络安全实体筛选器,可以有效去除训练集中的低质量标注,从而提升识别准确率。在2个开源基准网络安全实体识别数据集上评估了所提方法,实验结果表明,所提方法的F1值优于现有最佳的网络安全命名实体识别方法。

垂直领域大模型的定制化:理论基础与关键技术

随着ChatGPT等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该领域的独特需求。因此,本文旨在探讨垂直领域大模型定制化的方法论,包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础,以及几种可行的垂直领域大模型构建方法,期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。

基于Smith圆图的中波天线预调网络快速设计方法

介绍利用Smith圆图快速求解中波天线调配网络中预调网络的设计方法,给出双频共塔预调网络平衡阻抗的设计流程,通过变化规律和范围,结合匹配条件避免复杂的公式计算,快速直接读图,确定预调网络数值参数。

油气大模型发展方向及实施关键路径

大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。

自然语言处理中关于提示学习的研究进展

预训练语言模型的出现使处理自然语言处理任务模式发生了巨大变化,对预先训练好的模型进行微调以适应下游任务成为目前自然语言处理任务的主流模式。随着预训练模型越来越大,需要找到轻量化的替代全模型的微调方法,基于提示学习的微调方法可以满足这一需求。对提示学习的研究进展进行总结,先描述了预训练语言模型与提示学习的关系,说明现在寻找替代传统微调方法的必要性,然后详细解释了基于提示学习微调模型的步骤,包括对提示模板的构建、答案搜索和答案映射,再对提示学习在自然语言处理领域的应用举例,最后对提示学习面临的挑战和未来可能的研究方向进行展望,以期对自然语言处理、预训练语言模型和提示学习相关领域的研究提供参考借鉴。