SWISS整流器分数阶PID控制策略

针对SWISS整流器的传统整数阶PID控制策略动态响应速度较慢、鲁棒性较差的问题,提出一种基于分数阶PID的SWISS整流器控制策略。基于SWISS整流器的工作原理建立其小信号模型,得到SWISS整流器的等效传递函数,并设计基于分数阶PID电压控制的双闭环控制结构。为简化分数阶PID的阶次参数设计,采用整数阶PID参数预整定的方法得到参数初值,并利用粒子群算法对分数阶PID控制器参数进行进一步设计优化。仿真和实验结果表明,分数阶PID控制策略下的SWISS整流器发生参考电压突变时电压稳定时间小于7 ms、超调量小于2%,发生负载扰动时电压稳定时间小于4 ms、超调量小于3%,动态性能优于整数阶PID控制策略。

基于域间Mixup微调策略的跨被试运动想象脑电信号分类算法

为了缓解传统微调算法的灾难性遗忘问题,本文提出了一种基于域间Mixup微调策略的跨被试运动想象脑电信号分类算法Mix-Tuning。Mix-Tuning通过预训练、微调的二阶段训练方式,实现跨领域知识迁移。预训练阶段,Mix-Tuning使用源域数据初始化模型参数,挖掘源域数据潜在信息。微调阶段,Mix-Tuning通过域间Mixup,生成域间插值数据微调模型参数。域间Mixup数据增强策略引入源域数据潜在信息,缓解传统微调算法在样本稀疏场景下的灾难性遗忘问题,提高模型的泛化性能。Mix-Tuning被进一步应用于运动想象脑电信号分类任务,实现了跨被试正向知识迁移。Mix-Tuning在BMI数据集的运动想象任务达到了85.50%的平均分类准确率,相较于被试–依赖和被试–独立训练方式的预测准确率58.72%和84.01%,分别提高26.78%和1.49%。本文分析结果可为跨被试运动想象脑电信号分类算法提供参考。

油气行业人工智能大模型应用研究现状及展望

阐述了大模型技术的概念,总结了大模型技术的国内外研究现状,综述了大模型在垂直领域的应用现状,梳理了油气行业大模型应用面临的挑战,并对油气行业大模型应用进行了展望。现有大模型可粗略分为3类,即大语言模型、视觉大模型和多模态大模型。油气行业大模型应用刚刚起步,部分油气企业基于开源大语言模型,利用微调、检索增强等方式发布大语言模型产品,部分学者尝试利用视觉/多模态基础模型研发面向油气业务的场景模型,还有少数学者构建地震资料处理解释、岩心分析等领域的预训练基础模型。油气行业大模型应用面临数据量和数据质量难以支撑大模型训练、研发投入成本高、难以实现算法自主可控等挑战。油气行业在应用大模型时应始终聚焦油气主营业务需求,以大模型应用为契机,加强数据全生命周期管理,提升数据治理能力,推动融合算力建设,加强“人工智能+能源”复合团队建设,推动大模型技术自主可控。

ASC-Net:腹腔镜视频中手术器械与脏器快速分割网络

腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net),以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下,设计了注意力感知与空间通道模块,通过跳跃连接将二者嵌入编码与解码模块间,使网络重点关注图像中相似目标间深层语义信息差异,同时多维度学习各目标的多尺度特征。此外,采用预训练微调策略,减小网络计算量。实验结果表明:在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%,86.40%和16.73 ms (60帧/秒),相比于现有最先进方法,mDice与mIoU提升了26%与39%,且mIT降低了56%;在AutoLaparo数据集上的mDice,mIoU和mIT分别为93.72%,89.43%和16.41ms(61帧/秒),同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度,实现了腹腔镜图像中手术器械和脏器的快速精准分割,将助力腹腔镜手术自动化快速发展。

基于prompt tuning的中文文本多领域情感分析研究

不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过prompt tuning使模型学习到下游各领域情感文本的特征。MSAPT仅需保存一个模型和一些参数量远远小于模型的prompt,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行prompt tuning时,MSAPT效果优于模型微调(model tuning)的。最后,分别对适应特定领域的prompt tuning、hard prompt、soft prompt的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

主蒸汽压力系统的基于预补偿自抗扰控制设计

火电机组主蒸汽压力系统为典型的大惯性过程,其控制策略的设计存在着响应速度慢、抗干扰能力不足的问题。为解决主蒸汽压力系统的上述控制难点,提出了一种基于预补偿自抗扰控制的优化设计方法,将控制量通过预补偿结构后再送入被控对象,从而对常规自抗扰控制结构进行改进。在介绍基于预补偿自抗扰控制结构的基础上,通过单一变量法分析各个参数对于控制效果的影响,从而给出了其参数整定的流程。仿真结果表明:所提方法的跟踪状态、抗干扰状态和包含跟踪以及抗干扰状态下的绝对误差积分指标分别占对比方法的52.38%、60.75%和57.88%,从而验证了所提方法在提升主蒸汽压力系统的跟踪和抗干扰能力方面的优势;通过蒙特卡洛实验验证了所提方法能够很好地应对系统的不确定性。

生成式人工智能的工业应用技术与前景

随着在工业应用中的不断深化,人工智能(AI)逐渐面临场景定制化、数据要求高、动态环境适应性差等问题。以生成式人工智能(AIGC)为代表的通用AI为突破传统AI的瓶颈提供了新思路。为推动AIGC与工业领域的融合创新、抢占下一轮科技革命的技术高地,对AIGC技术及其工业应用展开综述。首先,梳理了国内外AIGC技术的发展现状,总结了当前AIGC工业应用面临的问题和挑战。然后,提出了AIGC在工业领域应用的技术架构,以及通用大模型集成、通用大模型微调与知识库外挂、预训练工业大模型这三种应用模式。最后,从研发设计、生产制造、经营管理以及运维服务等四个方面的十二个场景作应用展望,以激发AIGC工业应用的新技术、新方向的进一步发展,赋能工业领域形成新质生产力。

大语言模型微调技术的研究综述

大型语言模型的崛起是深度学习领域的全新里程碑,而微调技术在优化模型性能方面的起到了关键作用。对大型语言模型微调技术进行了全面的综述,回顾了语言模型的统计语言模型、神经网络语言模型、预训练语言模型和大语言模型四个阶段的发展历程和微调技术的基本概念,从经典参数微调、高效参数微调、提示微调和强化学习微调方法四大部分,探讨总结了各微调技术的原理与发展,并进行了一定的对比分析。最后,总结了当前微调技术的研究状况与发展重点,强调了该领域的潜在研究价值,并展望了未来的发展方向。

预训练模型在脉冲星候选体筛选中的应用研究

预训练模型逐渐成为一种工具并应用于各种下游任务。其中,由于各望远镜位置、使用数字后端、处理技术以及周围干扰环境的不同,脉冲星候选体筛选需使用极端不平衡的数据从头训练并设计深度学习模型,存在流程复杂、时效性差、难度大的问题。针对上述问题,基于ImageNet数据集预训练模型,对比分析其在脉冲星数据集的表现,并比较其Precision、Recall、F1-Score。首先,使用LogME方法评估各模型在脉冲星数据集的可迁移性;其次,使用后端融合的方式融合频率-相位图和时间-相位图的2种特征;最后,使用逐层解冻的方式微调对比可迁移性评分高的14个模型。结果表明,预训练方式所需资源少、收敛速度快,能应用于脉冲星筛选任务,在需要更进一步提升模型效果时,也可以考虑这些模型作为基础模块用于提取特征。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于Smith圆图的中波天线预调网络快速设计方法

介绍利用Smith圆图快速求解中波天线调配网络中预调网络的设计方法,给出双频共塔预调网络平衡阻抗的设计流程,通过变化规律和范围,结合匹配条件避免复杂的公式计算,快速直接读图,确定预调网络数值参数。

油气大模型发展方向及实施关键路径

大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。

自然语言处理中关于提示学习的研究进展

预训练语言模型的出现使处理自然语言处理任务模式发生了巨大变化,对预先训练好的模型进行微调以适应下游任务成为目前自然语言处理任务的主流模式。随着预训练模型越来越大,需要找到轻量化的替代全模型的微调方法,基于提示学习的微调方法可以满足这一需求。对提示学习的研究进展进行总结,先描述了预训练语言模型与提示学习的关系,说明现在寻找替代传统微调方法的必要性,然后详细解释了基于提示学习微调模型的步骤,包括对提示模板的构建、答案搜索和答案映射,再对提示学习在自然语言处理领域的应用举例,最后对提示学习面临的挑战和未来可能的研究方向进行展望,以期对自然语言处理、预训练语言模型和提示学习相关领域的研究提供参考借鉴。

基于自监督对比学习与方面级情感分析的联合微调模型

方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层结构重合,从而限制了整体模型性能。由于对比学习方法有助于改善预训练语言模型在词语级别和句子级别的表示,设计了一种结合自监督对比学习与方面级情感分析的联合微调模型(self-supervised contrastive learning aspect-based sentiment analysis,SSCL-ABSA)。该模型以简洁的下游结构联合两种学习任务,实现从不同角度微调预训练基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)模型,有效促进了方面级情感分析效果的提升。具体地,首先在BERT编码阶段,将评论文本与方面词拼接成两个片段输入BERT编码器,得到各词特征表示。之后根据下游结构需求,对不同的词特征采用池化操作。一方面池化所有词特征用于方面级情感分析,另一方面池化两个片段的方面词特征用于自监督对比学习。最终结合两种任务以联合学习的方式微调BERT编码器。在3个公开数据集上进行实验评估,结果表明SSCL-ABSA方法优于其他同类对比方法。借助t-分布随机近邻嵌入(t-distributed stochastic neighbor embedding,t-SNE)方法,形象地可视化了SSCL-ABSA有效改善了BERT模型的实体表示效果。

用于加速预训练知识追踪模型的深层特征提取器

通过对知识追踪进行预训练的嵌入与微调,可以显著提高知识追踪任务的准确性,但现有的微调方法通常采用全微调的方式,即调整预训练模型的所有参数,效率较低。本文提出了一种新的高效微调方法,称为快速适配训练方法,通过提取深层特征来调整模型,以适应不同的下游任务。与全微调方法相比,快速适配训练方法在ASSIST 09和EdNet数据集上能够实现5.2倍和3.6倍的训练时间加速,并且同时提高了0.49%和0.19%的预测精度。

垂直领域大模型的定制化:理论基础与关键技术

随着ChatGPT等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该领域的独特需求。因此,本文旨在探讨垂直领域大模型定制化的方法论,包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础,以及几种可行的垂直领域大模型构建方法,期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。

大型预训练语言模型基础逻辑能力测评研究

针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B、GPT-J-6B、GPT-3-Curie、GPT-3-Davinci等模型的逻辑推理能力.结果表明,GPT-3模型在数量问题、量词问题和常识推理问题方面相对优秀,GPT-Neo与GPT-J模型在集合关系问题上更具优势.相较于语境学习,对预训练模型进行提示微调能显著提升预测能力.

Frequency control and pre-tuning of a large aperture 500 MHz 5-cell superconducting RF cavity

The 500 MHz 5-cell superconducting RF(SRF) cavity was designed aiming to be a candidate cavity for high current accelerators. A copper prototype cavity and a niobium cavity were fabricated at SINAP in 2012. In order to ensure these cavities get the desired frequency and a good field flatness higher than 98%, frequency control was implemented in the manufacturing process and pre-tuning has been done using a simple pre-tuning frame based on the bead-pull pre-tuning method. Then, TM010-π mode frequency within 5 kHz from the target frequency was achieved and the field flatness reached 98.9% on the copper prototype cavity. Finally, the same procedure was applied to the niobium cavity to obtain a field flatness better than 98% which benefited the cavity performance in the vertical testing.

传统与大模型并举:中文文本分类技术对比研究

本文专注于探索与实践中文文本分类技术的演进,通过严谨的实证对比研究,检验了传统技术方法与基于大模型的先进算法在各类文本分类任务中的表现差异。研究在涵盖情感分析的基础数据集和富含复杂专业信息的多类别文本数据集上展开了深入探索,系统性地对比了传统统计学习方法、经典深度学习算法与当前极具影响力的预训练大模型(如BERT、LLM等)。研究核心围绕提升分类准确性这一关键目标,同时审视各模型在资源效率及训练时效性方面的能力。针对预训练大模型,利用了提示工程技术和模型微调手段,以期优化其性能表现。实验结果揭示了大模型在理解和利用语言上下文、提高泛化性能方面的显著优势,在不同数据集、验证集上普遍能降低10%以上的错误率,同时证实了在特定情境下传统技术依然具备独特且有效的应用价值。通过系统化的对比分析,本文旨在为中文文本分类技术的科学选型及未来发展方向提供有力依据与导向。