基于聚类与Transformer算法的上软下硬地层盾构滚刀正常磨损预测

盾构法是隧道施工的主流方法,广泛应用于软土地层与复合地层。盾构机在上软下硬地层中掘进时,准确预测滚刀的磨损以便及时更换滚刀是确保施工安全与效率的关键。基于机器学习中的无监督kmeans聚类算法、有监督Transformer算法以及遗传算法,提出了一种根据刀盘前方地层条件、滚刀布设以及施工参数预测滚刀正常磨损的方法。kmeans聚类算法用于实时分析当前盾构施工参数间的关系,从而划分不同施工状态,并为不同施工状态分配不同的磨损修正系数作为Transformer模型的输入参数。根据地层条件及施工参数相关关系确定磨损修正系数初始值的大小,借助遗传算法对磨损修正系数进行优化。Transformer算法中,以地层条件、施工参数、滚刀安装半径和切削距离以及kmeans聚类得到的磨损修正系数作为输入参数,以滚刀磨损量作为输出参数,并由遗传算法对模型的超参数进行优化。所使用的数据采集自某大直径泥水平衡盾构隧道,所穿越地层条件包含全断面软土、上软下硬地层以及全断面硬岩,样本集包含217条数据。聚类结果所揭示的施工状态与滚刀的磨损速度具有明显的对应关系,预测模型的滚刀磨损平均预测误差为3.6mm,占滚刀换刀磨损量40.0mm的9%。

基于规则生成医案及Transformer算法构建中医方药推荐模型

目的使用计算机构建《伤寒论》相关方剂的中医方药推荐模型,测试该模型对《伤寒论》方证知识的运用能力。方法本研究纳入《伤寒论》中桂枝类方、麻黄类方、柴胡类方、大黄类方、石膏类方、附子类方、苓桂类方共30首方剂及其加减方,将其改写成特定的方证规则共105条作为本模型的实验数据。本模型分为规则生成医案模型及Transformer模型两部分。规则生成医案模型对特定格式的方证规则分别进行组合、笛卡尔积、拼接,生成多个具有完整证、舌、脉、药且符合中医理法方药特点的中医医案。然后基于编码器-解码器架构的深度学习模型Transformer将生成的中医医案用作训练数据,继而模拟方证到方药之间的非线性复杂映射。结果经规则生成医案模型生成不重复的医案共1212795例,随机选择5000例作为测试集,其余医案作为训练集或验证集。在有5000例医案的测试集中,预测方药与目标方药完全相同的医案有4983例,按预测方药与目标方药重合个数的比率计算总准确率为99.90%。结论本模型可正确运用《伤寒论》的方证知识,模拟预设的方证规则,具备方证识别及病机区分的能力,在构建中医方药推荐系统方面具有发展潜力。

面向遥感目标检测的无锚框Transformer算法

遥感图像目标具有多方向排布、小且密集等特性,使基于深度学习的旋转目标检测算法存在检测精度不佳的问题.针对这一问题,本文提出了一种面向遥感目标检测的无锚框Transformer算法.首先,采用层次化Transformer采集不同分辨率的特征信息以扩大特征信息的采集范围.其次,构建一种新的前馈网络(Spacial-FeedForward Neural network,SFFN).SFFN将3×3深度可分离卷积的局部空间特性和多层感知机(MultiLayer Perceptron,MLP)的全局通道特性融合在一起,以解决前馈网络(Feed Forward Neural network,FFN)在局部空间建模上的不足.最后,基于SFFN架构搭建了无锚框检测器,将预测框回归问题分为水平框与旋转框,缓解了旋转框的损失不连续性问题.在DOTA数据集上的测试结果表明,此方法的平均精度达到了75.83%,同时在NWPU VHR-10数据集上5类小目标检测结果达到了92.47%,在遥感目标检测精度上更具竞争力.

基于Transformer算法的园区综合能源需求预测

准确的综合能源需求预测是区域综合能源系统调度和能效评估的基础。在综合能源需求预测方面,影响因素众多、设计参数复杂、计算效率较低,且在长序列预测上仍有较大优化空间,因此提出了一种基于Transformer算法的园区综合能源需求预测方法。建立了园区冷热电负荷影响因素的筛选模型,为数据预处理后筛选适当的影响因素提供基础;建立了基于欧氏距离的综合相似度的相似日选取方法,为综合能源的预测奠定了基础;建立了基于Transformer算法的冷热电负荷预测模型,以实现园区综合能源需求预测;以中国东部某园区为对象进行算例分析,预测园区综合能源需求。结果表明,所提预测方法能有效提高预测精度,具有较高的准确度和实用性。

基于LightGBM-Transformer算法的短期电力负荷预测

高精度的短期电力负荷预测是优化电网运行策略和提高电网运行效率的可靠保障。为进一步提高短期电力负荷预测精度,提出轻量梯度提升机(light gradient boosting machine,LightGBM)-Transformer组合模型。该模型考虑时间特征和天气因素对短期电力负荷预测的影响,首先利用LightGBM算法获取特征重要性,排除无关噪声的影响,再将选择后的特征向量作为Transformer模型的输入,最后完成短期电力负荷预测。实验以澳大利亚能源市场运营商(Australian energy market operators,AEMO)检索的开放数据集为基础,并与多种类似模型进行对比。结果表明,LightGBM-Transformer组合模型的平均绝对百分比误差(mean absolute percent error,MAPE)为1.87%,误差指标显著低于其他对比模型,具有较高的预测精度,验证了该模型应用于短期电力负荷预测的可行性和有效性。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

结合坐标Transformer的轻量级人体姿态估计算法

针对现有的大多数自底向上人体姿态估计算法存在模型规模大、计算成本高及对边缘设备不友好等问题,提出了一种基于YOLOv5s6-Pose的轻量级多人姿态估计网络模型YOLOv5s6-Pose-CT。该模型在颈部网络中引入空间和通道重建卷积,以减少空间和通道维度上的特征冗余。同时,提出了一种坐标Transformer嵌入于主干网络中,使模型专注于长距离依赖和拥有高效的局部特征提取能力。其次,通过使用无偏特征位置对齐来解决多尺度融合过程中出现的特征错位问题。最后,使用损失函数MPDIoU对边界框的回归损失重新定义。在COCO 2017数据集上的实验结果表明,本文优化的网络模型与主流的轻量级网络EfficientHRNet-H1模型相比,在保持相同精度的同时,参数量和计算量分别减少16.2%和66.1%。相比于基准模型YOLOv5s6-Pose,参数量减少11.2%,计算量降低5.8%,平均检测精度和平均召回率分别提升2.5%和2.6%。

融合Transformer和CNN的轻量级人脸识别算法

随着深度学习的发展,卷积神经网络通过堆叠卷积层逐步扩大感受野以融合局部特征的方式已经成为人脸识别(FR)的主流方法,但这种方法存在因忽略人脸全局语义信息和缺乏对人脸重点特征信息的关注造成识别准确率不高,以及大参数量层数的堆叠导致网络难以部署于资源受限设备的问题。因此提出一种融合Transformer和CNN的极其轻量级FR算法gcsamTfaceNet。使用深度可分离卷积构建主干网络以降低算法的参数量;引入通道-空间注意力机制,从通道和空间两个域最优化选择特征以提高对人脸重点区域的关注度;在此基础上,融合Transformer模块以捕获特征图的全局语义信息,克服卷积神经网络在长距离语义依赖性建模方面的局限性,提高算法的全局特征感知能力。参数量仅为6.5×10^(5)的gcsamTfaceNet在9个验证集(LFW、CA-LFW、CP-LFW、CFP-FP、CFP-FF、AgeDB-30、VGG2-FP、IJB-B以及IJB-C)上实验评估,分别取得99.67%、95.60%、89.32%、93.67%、99.65%、96.35%、93.36%、89.43%和91.38%的平均准确率,达到参数量和性能之间较好的权衡。

基于Transformer改进的YOLOv5+DeepSORT的车辆跟踪算法

针对传统目标检测跟踪算法检测精度低、全局感知能力差、对遮挡和小目标物体的识别能力差等问题,提出了一种基于轻量化Transformer改进的YOLOv5和DeepSORT算法的车辆跟踪方法。首先,利用EfficientFormerV2模型改进YOLOv5算法模型,增强车辆的目标检测能力;然后,利用移位窗口(Swin)模型的优点改进DeepSORT多目标跟踪算法中的重识别(Re-Identification)模块,提高车辆的跟踪能力和精度;最后,通过数据集KITTI和VeRi开展对比试验和消融实验。结果表明,在复杂工况下,该方法的性能在车辆遮挡和小目标识别方面显著提高,平均准确度达到96.7%,目标跟踪准确度提高了9.547%,编号(ID)切换总次数减少了26.4%。

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

基于改进的Transformer细粒度图像识别算法研究

针对细粒度图像识别存在类间差异小、难以区分等问题,本文通过提升网络对图像细节特征的表达能力,来改善这一问题。为此,设计了一种基于改进的Transformer细粒度识别算法。首先,可变形卷积令牌嵌入通过自适应调整采样点的位置,来改变卷积操作范围及其卷积核的形状,从而增强网络模型对空间信息的感知能力,以获取更为精准的空间信息;其次,高效相关通道注意力机制通过对通道的自动选择,将通道注意力的计算从通道相邻转换成语义相似,来捕获语义相似的通道信息。而精准的空间信息和语义相似的通道信息将有效提升网络模型局部特征感知能力。实验结果表明,与基线算法相比,本文方法在CUB-200-2011、StanfordCars和StanfordDogs三个数据集上的识别结果分别提升了1.5%、2.4%、1.5%。结果表明,本文提出的方法通过提升细粒度图像细节特征的表达能力,从而有效提高了细粒度图像识别的有效性。

基于Transformer生成对抗网络的跨模态哈希检索算法

考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将其作为图像特征提取的主干网络,然后将不同模态的数据分割为共享特征和私有特征。接着,构建对抗学习模块减少不同模态的共享特征的分布距离与保持语义一致性,同时增大不同模态的私有特征分布距离与保持语义非一致性。最后将通用的特征表示映射为紧凑的哈希码,实现跨模态哈希检索。实验结果表明,在公共数据集上,所提算法优于对比算法。

BBTUNet:基于上下文Transformer的肝脏肿瘤分割算法研究

肝癌是世界范围内最常见的恶性肿瘤之一,严重威胁着人类的生命健康,从计算机断层扫描(Computed Tomography,CT)中精确分割出肝脏肿瘤对后期的临床诊断具有重要的意义。现有的方法虽然实现了肝脏肿瘤的自动化分割,但肝脏肿瘤边界模糊、目标较小、容易漏检等问题尚未很好地解决,肝脏肿瘤的精确分割仍旧是一项极具挑战的任务。针对这些问题,该文提出一种新的分割网络BBTUNet。构建基于Transformer的上下文Bridge,重新设计UNet的跳跃连接结构,有效捕捉多尺度特征之间的上下文关系。在Transformer的前馈神经网络中引入可分离的空洞卷积,提出改进的前馈神经网络BFFN,有效融合全局和局部信息,增强边界特征,细化分割边缘。在3DIRCADB数据集上对模型进行训练和测试,实验结果表明,提出的BBTUNet网络的Dice系数为82.1%,ACC为96.4%,相较于UNet网络,分别提升了10.9%、4.6%,且对于小尺寸、低对比度、边界模糊的肿瘤分割具有显著优势。

基于Transformer紧凑编码的局部近重复视频检测算法

针对现有局部近重复视频检测算法特征存储消耗大、整体查询效率低、提取特征时并未考虑近重复帧之间细微的语义差异等问题,文中提出了一种基于Transformer紧凑编码的局部近重复视频检测算法。首先,提出了一个基于Transformer的特征编码器,其学习了大量近重复帧之间细微的语义差异,可以在编码帧特征时对各个区域特征图引入自注意力机制,在有效降低帧特征维度的同时也提高了编码后特征的表示性。该特征编码器通过孪生网络训练得到,该网络不需要负样本就可以有效学习近重复帧之间的相似语义信息,因此无需沉重和困难的难负样本标注工作,使得训练过程更加简易和高效。其次,提出了一个基于视频自相似度矩阵的关键帧提取方法,可以从视频中提取丰富但不冗余的关键帧,从而使关键帧特征序列能够更全面地描述原视频内容,提升算法的性能,同时也大幅减少了存储和计算冗余关键帧带来的开销。最后,基于关键帧的低维紧凑编码特征,采用基于图网络的时间对齐算法,实现局部近重复视频片段的检测和定位。该算法在公开的局部近重复视频检测数据集VCDB上取得了优于现有算法的实验性能。

结合Transformer与生成对抗网络的水下图像增强算法

由于水下环境的多样性和光在水中受到的散射及选择性吸收作用,采集到的水下图像通常会产生严重的质量退化问题,如颜色偏差、清晰度低和亮度低等,为解决以上问题,本文提出了一种基于Transformer和生成对抗网络的水下图像增强算法。以生成对抗网络为基础架构,结合编码解码结构、基于空间自注意力机制的全局特征建模Transformer模块和通道级多尺度特征融合Transformer模块构建了TGAN(generative adversarial network with transformer)网络增强模型,重点关注水下图像衰减更严重的颜色通道和空间区域,有效增强了图像细节并解决了颜色偏差问题。此外,设计了一种结合RGB和LAB颜色空间的多项损失函数,约束网络增强模型的对抗训练。实验结果表明,与CLAHE(contrast limited adaptive histogram equalization)、UDCP(underwater dark channel prior)、UWCNN(underwater based on convolutional neural network)、FUnIE-GAN(fast underwater image enhancement for improved visual perception)等典型水下图像增强算法相比,所提算法增强后的水下图像在清晰度、细节纹理和色彩表现等方面都有所提升,客观评价指标如峰值信噪比、结构相似性和水下图像质量度量的平均值分别提升了5.8%、1.8%和3.6%,有效地提升了水下图像的视觉感知效果。

基于Transformer和GAN的对抗样本生成算法

对抗攻击与防御是计算机安全领域的一个热门研究方向。针对现有基于梯度的对抗样本生成方法可视质量差、基于优化的方法生成效率低的问题,提出基于Transformer和生成对抗网络(GAN)的对抗样本生成算法Trans-GAN。首先利用Transformer强大的视觉表征能力,将其作为重构网络,用于接收干净图像并生成攻击噪声;其次将Transformer重构网络作为生成器,与基于深度卷积网络的鉴别器相结合组成GAN网络架构,提高生成图像的真实性并保证训练的稳定性,同时提出改进的注意力机制Targeted Self-Attention,在训练网络时引入目标标签作为先验知识,指导网络模型学习生成具有特定攻击目标的对抗扰动;最后利用跳转连接将对抗噪声施加在干净样本上,形成对抗样本,攻击目标分类网络。实验结果表明:Trans-GAN算法针对MNIST数据集中2种模型的攻击成功率都达到99.9%以上,针对CIFAR10数据集中2种模型的攻击成功率分别达到96.36%和98.47%,优于目前先进的基于生成式的对抗样本生成方法;相比快速梯度符号法和投影梯度下降法,Trans-GAN算法生成的对抗噪声扰动量更小,形成的对抗样本更加自然,满足人类视觉不易分辨的要求。

基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能.

基于改进YOLOv5s的CNN-Swin Transformer森林野生动物图像目标检测算法

【目的】为提高野生动物在复杂森林环境中的检测精度,促进森林野生动物保护技术发展,提出一种基于YOLOv5s网络模型、针对陷阱相机所摄取森林野生动物图像的改进检测算法。【方法】以包含湖南壶瓶山国家级自然保护区几种典型森林野生动物在内的数据集为研究对象,首先,对真实标注框图像进行裁剪、归一化和缩放处理,随机将2~4张裁剪图像拼贴组成新的数据集元素,以丰富和增强数据集图像信息;其次,使用一种基于通道注意力思想的加权通道拼接方法,在通道拼接时引入权重改变通道数量,通过反向传播训练方法不断更新权重以增加重要特征信息的通道层数;接着,引入Swin Transformer模块与CNN网络相结合,为卷积神经网络特征提取加入自注意力机制,融合2种网络特征提取层的优势,提高特征提取的感受野;最后,选择更优的α-DIoU损失函数替代GIoU损失函数,针对边界框重叠面积和中心点距离造成的损失,引入新的几何因素惩罚项。【结果】在相同试验条件和数据集下,相比原YOLOv5s网络模型,改进算法极大提高检测的平均准确率和平均回归率,均值平均精度由74.1%提升至88.4%,获得14.3%的精度提升,同时也超过YOLOv3、YOLOXs、RetinaNet、Faster R-CNN等其他流行目标检测算法。【结论】针对陷阱相机所摄取森林野生动物图像背景与目标对比度低、遮挡重叠严重,致使检测误检率、漏检率高等问题,在检测算法中提出一系列改进措施,为我国森林野生动物的保护和数据获取提供一种新的可行性方案和思路。

特征增强的Sparse Transformer目标跟踪算法

针对Transformer的自注意力机制计算量大、容易被背景分心,导致有效信息抓取不足,从而降低跟踪性能的问题,提出特征增强的Sparse Transformer目标跟踪算法。基于孪生网络骨干进行特征提取;特征增强模块利用多尺度特征图生成的上下文信息,增强目标局部特征;利用Sparse Transformer的最相关特性生成目标聚焦特征,并嵌入位置编码提升跟踪定位的精度。提出的跟踪模型以端到端的方式进行训练,在OTB100,VOT2018和LaSOT等5个数据集上进行了大量实验,实验结果表明所提算法取得了较好的跟踪性能,实时跟踪速度为34帧/s。

融合图像信息的跨模态Transformer点云补全算法

针对三维传感器(如LiDAR、深度相机)获取的点云往往残缺不全,需要进行补全处理,而单模态方法存在的补全结果细节不丰富、结构不完整等问题,提出一种融合图像信息的跨模态Transformer点云补全算法.首先采用点云分支和图像分支分别提取点云特征和图像特征,其中,点云分支采用PoinTr为骨干网络,图像分支采用7层卷积;然后通过特征融合模块融合点云特征和图像特征,由粗到精地生成全分辨率的点云.在ShapeNet-ViPC数据集上进行实验的结果表明,所提算法的可视化结果优于单模态点云补全方法和目前仅有的跨模态点云补全方法ViPC,且在大部分测试类别上的CD-L_(2)量化指标优于ViPC;平均CD-L_(2)为2.74,比ViPC低17%.为了便于研究人员评估和使用,文中算法可通过https://github.com/Starak-x/ImPoinTr开源获取.