基于双向稀疏Transformer的多变量时序分类模型

针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%.

多域蛋白质残基间距离深度学习预测方法

自然界生物中,大约有超过三分之二的真核蛋白质含有多个结构域.虽然AlphaFold2已经实现了端到端的蛋白质结构预测的重大突破,对于单域的静态蛋白质结构的预测精度几乎达到了实验测定的水平,但是对于多域蛋白质结构的预测精度仍然有待提高.本文提出了一种名为MDDpre的多域蛋白质残基距离预测方法.首先从多序列比对和模板中提取了序列谱、位置熵、互信息、去除背景噪声的互信息、平均接触势能、MSA特征矩阵、行注意力矩阵以及模板域间距离特征,然后设计了一个集合了三角形更新、轴向注意力机制和卷积残差块的网络来预测多域蛋白质的域间和域内距离.在62个多域蛋白质的实验结果表明,MDDpre优于现有的方法,能够有效提升多域蛋白质的残基距离预测精度.

结构类似模板增强的端到端多域蛋白质组装方法

使用同源模板能够有效的提升蛋白质结构预测的精度,然而,对于部分多域蛋白,PDB中可用的同源模板较少,这可能会影响预测精度.为了进一步提高多域蛋白质的建模精度,本文提出了基于结构类似模板结合同源模板的端到端多域组装方法MTDA.首先,搜索序列数据库生成多序列比对,以及分别搜索PDB100和MPDB生成同源模板和结构类似模板;进而提取序列特征、模板特征和单域特征;然后通过一个基于EfficientNetV2架构和注意力机制相结合的神经网络来预测多域蛋白质的域间方位从而直接将多个单域结构组装为全链结构.在125个测试蛋白和65个人类蛋白上的实验结果表明,MTDA优于仅使用同源模板的端到端组装方法E2EDA以及全链建模方法AlphaFold2.

散列记忆网络增强的自编码器异常检测方法

深度自编码器是异常检测的重要工具,通过异常样本由于分布的差异,无法在编码器中进行重构这一假设实现对异常的检测.而实际应用中,由于深度自编码器的泛化性较强,异常输入后也能实现较好重构,导致漏检情况发生.本文在改进注意力机制基础上,构建了一个散列记忆网络增强的自编码器异常检测方法,较好解决了这一问题.首先,模型将输入编码为编码信息,根据编码信息获取子查询向量,然后通过子查询向量获取子注意力权重及对应子索引,再将子权重交叉求和获得散列权重及索引并从记忆网络单元检索出解码信息,最后利用解码信息进行重构输出.重构的输出总是与正常数据相似,使得异常输入与重构输出之间的重构误差将被放大,从而让异常更容易被识别.仿真实验表明,本文提出方法在图像、视频监控、通用异常检测任务中,均取得了较好的检测效果.

基于语言模型的蛋白质结构域边界预测方法

蛋白质结构域对于蛋白质结构和功能研究具有重要意义。针对目前从头预测蛋白质结构域的方法普遍存在精度不高、耗费资源多等问题,提出了一种基于语言模型的蛋白质结构域边界预测方法DomTransformer,该方法基于蛋白质结构分类数据库(CATH)、蛋白质结构预测关键评估(CASP)竞赛数据,以及在AFDB(AlphaFold protein structure database)基础上建立的域数据库等共同构建数据集,搭建了基于Transformer网络架构和稀疏多头自注意力机制的网络模型,引入了新的特征、接触数和域级MSA(Domain multiple sequence alignment),通过直接预测结构域边界来解决数据不平衡等问题。在独立测试集上的测试结果表明了DomTransformer的有效性。

大语言模型安全现状与挑战

大语言模型因其出色的文本理解和生成能力,被广泛应用于自然语言处理领域并取得了显著成果,为社会各界带来了巨大的便利。然而,大语言模型自身仍存在明显的安全问题,严重影响其应用的可信性与可靠性,是安全学者需广泛关注的问题。文中针对大语言模型自身的安全问题,首先从基于大语言模型的恶意应用问题切入,阐述提示注入攻击及其相应的防御方法;其次,介绍大语言模型幻觉带来的可信问题,对幻觉问题的量化评估、幻觉来源和缓解技术是当前研究的重点;然后,大语言模型隐私安全问题强调了个人及企业数据的保护问题,一旦在进行人机交互时泄露商业秘密和个人敏感信息,将可能引发严重的安全风险,当前研究主要通过可信执行环境和隐私计算技术来进行风险规避;最后,提示泄露问题关注攻击者如何窃取有价值的提示词进行获利或通过个性化提示词泄露个人隐私。提升大语言模型的安全性需要综合考虑模型隐私保护、可解释性研究以及模型分布的稳定性与鲁棒性等问题。

轻量化特征融合的CenterNet输电线路绝缘子自爆缺陷检测

输电线路智能化巡检是新一代电力系统建设的必然要求。当前,基于深度学习的检测模型由于参数量过大,使得利用无人机(UAV)进行边缘部署较困难。为使无人机可搭载轻量级模型实现输电线路中具有自爆缺陷绝缘子的识别,提出了一种轻量级CenterNet-GhostNet的目标检测网络。对模型主干特征提取网络进行轻量化处理,利用计算成本较低的GhostNet提取自爆缺陷绝缘子的多层次特征,降低模型复杂度;引入增强感受野模块(RFB)增强特征表达能力,提升模型对小目标特征信息的注意力;构建特征融合模块,将低层特征信息和高层特征信息有效融合以输出更完整的特征图,提高缺陷识别精度。利用迁移学习参数共享,结合冻结与解冻训练相结合的模型训练策略,缓解网络因小样本数据集而产生的泛化能力不足问题。基于构建的输电线路自爆缺陷绝缘子数据集对所提方法进行验证,实验结果表明:相比原始CenterNet,所提方法的AP50、AP75和AP50:95分别提升至0.86、0.74和0.63,模型参数量由124.61×10^(6)减少至64.2×10^(6),可实现复杂环境下的自爆缺陷绝缘子检测,提高了基于无人机的输电线路巡检精度与速度。

基于主成分分析-BP神经网络的风电备件需求预测

风电机组具有结构复杂,运维困难,且长期处于恶劣的工作环境的特点。风电备件的需求预测有助于为风电场配备最合适的备件数,以确保风电场的平稳、高效运行。构建主成分分析-反向传播(principal component analysis-back propagation,PCA-BP)模型,针对受多因素影响的复杂备件,先利用PCA将影响风电备件的要素进行筛选,再利用BP神经网络算法,得到最为精确的预测结果。比较自回归积分滑动平均(autoregressive integrated moving average,ARIMA)模型、BP神经网络预测和PCA-BP神经网络预测的结果。结果表明:PCA能显著降低神经网络预测误差,预测的精度为93.94%,高于BP神经网络预测的88.39%和ARIMA模型的85.31%,所以PCA-BP神经网络模型的预测精度准确且有可靠结果,能够适用于风机备件的需求预测。

基于改进扩散模型的温度预报

针对传统数值预报模式计算时间长和计算资源消耗大的问题,以及现有深度学习预报方法在温度预报结果上不精确,且预测结果模糊的问题,提出了一个新的温度预报模型。首先,设计了一个时空信息捕捉模块,将该模块捕获的长期依赖信息,作为扩散模型的生成条件,赋予扩散模型预报的能力;其次,设计了一个新的平衡损失函数,同时保护了扩散模型的生成能力和时空信息捕捉模块对时空信息的捕捉能力;最后,基于美国国家环境预报中心的再分析数据进行预报,与现有的深度学习方法相比,所提模型预报结果的质量在均方误差(mean square error,MSE)上降低了17.3%,在均方根误差(root mean square error,RMSE)上降低了9.14%,在峰值信噪比(peak signal to noise ratio,PSNR)上提升了5.1%。改进的扩散模型能有效地捕捉时空依赖的关系,有效地进行时空序列预测,效果优于其他对比方法。

基于水印技术的深度神经网络模型知识产权保护

构造一个优秀的深度神经网络(deep neural network,DNN)模型需要大量的训练数据、高性能设备以及专家智慧.DNN模型理应被视为模型所有者的知识产权(intellectual property,IP).保护DNN模型的知识产权也体现了对作为构建和训练该模型的数据要素价值的珍视.然而,DNN模型容易受到恶意用户的盗取、篡改和非法传播等攻击,如何有效保护其知识产权已成为学术研究的前沿热点与产业亟需攻克的难题.不同于现有相关综述,聚焦DNN模型水印的应用场景,从用于模型版权声明的鲁棒模型水印和用于模型完整性验证的脆弱模型水印2个维度出发,着重评述基于水印技术的DNN模型知识产权保护方法,探讨不同方法的特点、优势及局限性.同时,详细阐述DNN模型水印技术的实际应用情况.最后,在提炼各类方法共性技术的基础上,展望DNN模型知识产权保护的未来研究方向.

基于在线监测时间序列数据的水质预测模型研究进展

当前地表水突发性污染事件频发,已造成严重的环境和社会影响,对环境监管部门应急处置能力建设提出了新要求和新挑战。地表水水质在线监测数据具有高频率和高时效等特点,系统论述了基于在线监测时间序列数据的水质预测模型的研究现状和进展,包括数据软测量、预处理方法和水质预测模型等,分析了不同水质预测模型在应用过程中存在的问题,并对未来研究方向进行了展望,以期为水质预测预警和环境监管提供技术支持和方法参考。

SlowFast架构下景区异常行为识别算法及预警研究

针对当前古建筑场景下人员异常行为识别相关实例缺乏、数据集少、古建筑级别低、质量次,导致人员异常行为识别准确率低等问题,该文在古建筑景区背景下自行拍摄了多组视频,从中挑选构建了人员异常行为动作的5033段视频数据集:具有明确的典型古建筑背景;具有多人场景下暴恐打架斗殴、刻划、刻画以及存在火灾风险的人员异常行为等特征,并对每个视频进行了注释。该文首次于SlowFast网络框架中成功引入信号时域特征活动性、移动性参数,对构建的数据集进行高阶时序特征建模、增加分类算子。在人员异常行为识别任务中,模型的Top1准确率达到93.54%,而平均准确率达到96.30%,在SlowFast模型中引入活动性、移动性算子后,模型识别的准确率提升了0.87%。与几种常见架构的算法相比,该文所提出的方法存在一定的优势。

基于Transformer复杂运动辨识的机动星凸形扩展目标跟踪方法

针对复杂的机动扩展目标跟踪问题,利用Transformer网络设计了一种有效的星凸不规则形状机动扩展目标跟踪方法。首先,该文研究利用alpha-shape算法建立了星凸形状的变化模型,实现了静态场景下的星凸形扩展目标的形状估计。然后,通过对目标状态转移矩阵进行重新设计,结合Transformer网络对机动扩展目标运动状态转移矩阵进行实时估计,实现了对复杂机动目标运动过程的精准跟踪。进一步地,将估计得到的形状轮廓与运动状态进行融合,最终实现了对星凸形机动扩展目标的实时跟踪。最后,通过构造复杂的机动扩展目标跟踪场景,利用多重性能指标测试算法对形状和运动状态的综合估计性能,验证了算法的有效性。

区域时间变化学习的行为识别

针对现有的行为识别方法缺少对视频帧中区域级特征的学习,造成识别过程中对相似的行为类别混淆的问题,提出一种区域级时间变化网络。该网络包括局部-全局时间特征学习模块、区域语义学习模块、区域语义融合模块。局部-全局时间特征学习模块学习局部时间注意力,以增强局部视频帧的运动特征,并将其聚合为全局时间区域特征。区域语义学习模块通过计算区域中像素之间的相似度来构建可变化的区域语义卷积核,从而学习随时间变化的行为语义特征。区域语义融合模块将可变化区域特征和全局时间区域特征作为两个独立分支,分别学习每个分支特征的通道注意力用于特征融合。在Something-Something V1&V2与Kinetics-400数据集上的实验结果显示,区域级时间变化网络表现优于多数行为识别方法,证明了该网络能够有效提升行为识别的性能。

基于ASTLSTM的地铁乘客流量短时预测

地铁乘客流量预测是智能交通系统的重要环节,当前大多数预测模型较少对地铁乘客流量进行时空相关性建模,且未考虑空气质量等天气因素带来的影响,存在地铁乘客流量预测准确度不高的问题。针对以上问题,提出基于注意力机制的时空长短期记忆(ASTLSTM)网络的地铁乘客流量短时预测模型。首先,对数据进行预处理;然后,利用注意力机制与图卷积网络(GCN)、卷积神经网络(CNN)相融合,挖掘地铁数据中的时空相关性,并通过长短期记忆网络(LSTM)来提取空气质量数据中的外部特征;最后,通过特征融合得到地铁乘客流量预测结果。实验结果表明,ASTLSTM模型与LSTM、Conv LSTM等典型模型相比,在短期的地铁乘客流量预测上都有较高的准确度。

计及风电的发电商报价多智能体模型

新型电力系统背景下,新能源发电商的报价问题一直是电力现货市场中的研究热点。相比传统能源,风电出力受外界不确定性因素的影响较大,给风力发电商求解最优报价带来了挑战。为此,基于多智能体强化学习算法WoLF-PHC构建了计及风电的发电商报价策略模型。模型中,考虑了风电、火电和水电3种能源参与的现货市场,每一个发电商抽象为一个智能体,且基于随机约束规划算法建模风电智能体的收益函数;对于智能体的报价策略模型,将D3QN与WoLF-PHC算法结合,使模型能够满足报价时智能体状态空间复杂的情况;此外,对于交互环境的建模,提出利用DDPM扩散模型生成风电出力数据,优化风电出清场景的仿真。最后,基于3节点的电力仿真系统开展模拟实验,实验结果表明,提出的风电收益函数建模、WoLF-PHC改进、风电出力生成等技术是可行的,能有效解决风电参与竞价的现货市场报价问题,并且能够在较少的迭代次数后学习到较优的策略。

黑色素瘤图像分割和边缘细化研究

黑色素瘤图像分割在皮肤病的诊断与治疗中具有重要的临床价值.但由于数据集缺乏标注、类别严重不均衡等原因,使得图像分割的精度低,边缘粗糙.因此,提出一种黑色素瘤分割和边缘细化方法,分三个阶段实现.第一阶段,对黑色素瘤数据集进行分类后,使用弱监督方法提取多个层级类激活图并处理;第二阶段,搭建UNet网络模型对黑色素瘤数据集中的恶性样本进行分割;第三阶段,使用第一阶段增强、叠加得到的类激活图边缘对第二阶段的结果进行边缘细化.在ISIC黑色素瘤数据集上的实验结果表明,经过三个阶段的处理,得到的分割图边缘更加细致,平均交并比(mIoU)为86.04%,戴斯相似性系数(Dice)为0.937,杰卡德系数(Jaccard)为0.885.

用于谣言检测的图卷积时空注意力融合与图重构方法

互联网的快速发展给人们带来了便利的社交,同时也为谣言的产生和传播创造了条件。谣言的传播速度之快、影响之恶劣引起了广泛的关注。为了及时识别出谣言以采取截断措施,谣言检测变得尤为重要。然而,在复杂的社交网络中,谣言传播状态动态变化、传播过程中干扰信息的存在,以及传播的不确定性等均为谣言检测带来了困难。为了解决上述问题,提出了一种用于谣言检测的图卷积时空注意力融合与图重构方法(STAFRGCN)。该方法对所有待检测言论进行两次检测以降低误判概率,首先使用一种时间渐进卷积模块(TPC)在时间维度上整合待测言论传播状态信息;然后分别在时间和空间两个方面使用注意力提取其主要传播特征信息并融合,对融合结果进行第一次谣言检测;随后基于LSTM预测和图重构方法调整待测言论传播总图结构,将其与第一次检测结果结合进行第二次检测。实验结果表明,STAFRGCN在Twitter15,Twitter16和Weibo数据集上的检测准确率分别为92.2%,91.8%和96.5%,与SOTA模型(KAGN)相比,准确率在3个数据集上分别提升了3.0%,1.5%和1.4%。

基于实验方案设计的卷积神经网络超参数优化方法

卷积神经网络是人工智能的重要组成部分,在自然语言处理、图像识别等领域表现优异。卷积神经网络模型超参数配置涉及训练策略,在卷积神经网络大模型优化方面起着至关重要的作用。现有超参数优化方法耗时耗力,遍历整个超参数空间,容易陷入局部最优解。首先,构建3个不同深度的自建卷积神经网络作为优化对象,以提高模型在验证集上的准确率为优化目标找到最佳的超参数配置。其次,考虑优化神经网络大模型的训练过程并提高模型性能的需求,提出一种基于实验方案设计的卷积神经网络超参数优化方法。最后,为了验证方法的有效性,依据均匀设计理念构建训练方案,生成超参数优化组合,进行主观经验生成训练方案的对比实验。结果表明:所提出的优化方法在收敛速度、准确率和计算效率上更具优势。该方法为实现卷积神经网络大模型的高效训练提供支持,具有良好的通用性,可以应用于不同规模的卷积神经网络训练任务。

结合载客热点和POI的出租车停车位划定方法

针对出租车随意停靠造成城市交通拥堵甚至交通事故的问题,利用成都实际区域的出租车GPS(Global Position System)数据和爬取的POI(Point of Interest)数据,使用DBSCAN(Density-Based Spatial Clustering of Application with Noise)聚类算法对上下客点进行聚类,得到出租车的载客热点,根据POI的类型划定载客热点区域的类型,对出租车不同时间的出行需求进行分析,进而划分出出租车的固定停车区域。研究结果表明,出租车固定停车区域的设定与出行者的出行需求有关,即将固定停车区域设置在出行者出行需求多的区域,可以满足出行者的不同出行需求。结合出租车载客热点和爬取POI数据划定固定停车区域的方法具有较高的实用性,可为城市交通安全方面提供理论和现实意义。