基于EMDPWVD时频图像和改进ViT网络的滚动轴承智能故障诊断

滚动轴承是机械设备的关键零部件之一,其故障诊断对设备安全稳定运行至关重要。针对滚动轴承振动信号的非平稳特点,提出经验模态分解联合伪魏格纳分布(empirical mode decomposition&pseudo-Wigner-Ville distribution, EMDPWVD)时频图像联合改进Vision Transformer(ViT)网络模型的智能故障诊断新方法。首先针对实际信号研究短时傅里叶变换(short-time Fourier transform, STFT)、连续小波变换(continuous wavelet transform, CWT)和EMDPWVD三种时频分析方法,考虑STFT和CWT无法同时获得高的时间分辨率和频率分辨率,优选EMDPWVD作为智能故障诊断网络的时频图像构造方法。其次,以经典ViT作为故障诊断基础模型,将时频图像按照预定尺寸分块并线性映射为输入序列,通过自注意力机制整合图像全局信息,借助堆叠Transformer编码器完成网络传输,进而实现故障诊断。为进一步提高故障诊断准确率,将池化层作为ViT的预处理网络,获得改进的Pooling ViT(PiT)模型,实现时频图像的空间特征延展,提升模型对输入图像敏感度。结果表明,所提方法对滚动轴承不同故障类型均有高的诊断准确率,PiT较ViT的准确率提高4.40%,证明对ViT加入池化层能够实现滚动轴承故障诊断效果提升。

基于ViT-改进YOLOv7的稻田杂草识别

为解决光线遮蔽、藻萍干扰以及稻叶尖形状相似等复杂环境导致稻田杂草识别效果不理想问题,该研究提出一种基于组合深度学习的杂草识别方法。引入MSRCP(multi-scale retinex with color preservation)对图像进行增强,以提高图像亮度及对比度;加入ViT分类网络去除干扰背景,以提高模型在复杂环境下对小目标杂草的识别性能。在YOLOv7模型中主干特征提取网络替换为GhostNet网络,并引入CA注意力机制,以增强主干特征提取网络对杂草特征提取能力及简化模型参数计算量。消融试验表明:改进后的YOLOv7模型平均精度均值为88.2%,较原YOLOv7模型提高了3.3个百分点,参数量减少10.43 M,计算量减少66.54×109次/s。识别前先经过MSRCP图像增强后,与原模型相比,改进YOLOv7模型的平均精度均值提高了2.6个百分点,光线遮蔽、藻萍干扰以及稻叶尖形状相似的复杂环境下平均精度均值分别提高5.3、3.6、3.1个百分点,加入ViT分类网络后,较原模型平均精度均值整体提升了4.4个百分点,光线遮蔽、藻萍干扰一级稻叶尖形状相似的复杂环境下的平均精度均值较原模型整体提升了6.2、6.1、5.7个百分点。ViT-改进YOLOv7模型的平均精度均值为92.6%,相比于YOLOv5s、YOLOXs、MobilenetV3-YOLOv7、YOLOv8和改进YOLOv7分别提高了11.6、10.1、5.0、4.2、4.4个百分点。研究结果可为稻田复杂环境的杂草精准识别提供支撑。

基于ViT的轻量级恶意代码检测架构

随着信息社会的快速发展,恶意代码变体日益增多,给现有的检测方法带来了挑战。为了提高恶意代码变体的检测准确率和效率,文章提出一种新的混合架构FasterMalViT。该架构通过融合部分卷积结构改进ViT,显著提升其在恶意代码检测领域的性能。为了解决引入卷积操作导致参数量增加的问题,文章采用可分离自注意力机制替代传统的多头注意力,有效减少了参数量,降低了计算成本。针对恶意代码数据集中各类样本分布不均衡的问题,文章引入类别平衡焦点损失函数,引导模型在训练过程中更关注样本数量较少的类别,从而提高难分类别的性能。在Microsoft BIG、Malimg数据集和MalwareBazaar数据集上的实验结果表明,FasterMalViT具有较好的检测性能和泛化能力。

基于ViT和LSTM的风速多步预测

精确的风速预测对风力发电具有指导作用,据此提出一种多维时间序列下Vision Transformer(ViT)和长短时记忆网络(LSTM)的风速预测方法,实现对风速的超前一步和超前多步预测。结合斯皮尔曼系数(Spearman)和变分模态分解将风速分解为多维时间序列,多维时间序列能更好地表征原始风速的周期性和波动性;采用ViT提取多维时间序列中的特征以及隐藏信息,在保持ViT模型自注意力机制优势的同时,用LSTM进一步建立所提取特征和风速之间的关系,从而提高ViT-LSTM模型的泛化性和预测准确性。使用内蒙古某风场记录的数据进行试验分析,在超前1步、超前6步、超前12步和超前24步预测时,该方法的平均绝对误差分别比LSTM模型减少了15.15%、34.41%、68.32%和81.71%,结果表明该模型在超前多步风速预测方面具有较好的效果。

基于CB-ViT的青少年视线估计算法研究

视线估计技术在人机交互、虚拟现实和医学辅助诊断等领域有着广泛应用。然而,现有的公开数据集主要针对成年人,导致基于这些数据集训练的视线估计算法在应用于青少年群体时效果通常不尽如人意。为了解决这一问题,收集了一个名为“Young-Gaze”的青少年视线数据集,涵盖了107位青少年的视线数据。还提出了一种2D视线估计算法,该算法基于ViT并引入了一个名为上下文广播的模块,同时通过融合左眼和右眼的不同层次特征,显著增强了网络模型在特征表达上的能力。在实验中,该算法在Young-Gaze数据集上展现了出色的性能,达到了5.42 cm的误差,性能优于当前其他同类2D视线估计算法。除了在Young-Gaze数据集上取得显著性能外,该算法同样在公开的2D视线估计数据集如GazeCapture和MPIIFaceGaze上进行了训练和测试,也展现了良好的性能,表明该算法不仅适用于青少年群体,也能够在成人群体中得到有效应用。

融合VIT与CNN注意力机制的面部疼痛评估算法研究

准确的疼痛评估可以为病人镇痛提供一定指导,为解决传统人工疼痛评估效率低、费时费力等问题,提出一种基于VIT与CNN注意力机制的面部疼痛评估算法,对疼痛进行多级预测。搭建面部疼痛表情采集平台,提取视频帧序列并进行数据预处理,建立疼痛表情数据库;提出一种改进的多尺度通道注意力模块关注关键特征信息,将CNN和VIT作为主干网络并行连接,提取更高级的面部局部-全局特征,以时序方式输入长短期记忆网络(LSTM)进行疼痛评估;在疼痛表情数据库上进行模型性能验证,实验结果表明,该算法在精确率、召回率、F1分数、准确率指标方面分别达到96.8%、96.7%、0.97、96.8%,与其他深度学习模型相比可更有效识别疼痛,为康复领域疼痛评估研究做出一定贡献。

基于改进ViT模型的水稻叶片病害识别方法

针对真实环境下水稻叶片病害识别的背景复杂,且卷积神经网络(CNN)在水稻叶片病害图像识别中仅仅依赖于局部特征信息,识别效果并不理想等问题,提出一种基于改进的vision transformer(ViT)的水稻叶片病害识别方法。首先收集4类常见水稻叶片病害图像样本,每一类样本都包含简单和复杂的背景,为了增加样本多样性以及提高模型泛化能力,对图像进行镜像翻转、高斯模糊等图像增强操作。接着以ViT模型为主体,采用Inception v1与Inception v2组合而成的InceptionMLP模块代替原ViT模型中的原始线性卷积层MLP层,通过在不同大小的图像块上评估模型的性能,发现采用16×16图像块时,改进的ViT模型在水稻叶片白叶枯病、稻瘟病、褐斑病和东格鲁病的识别准确率上获得最佳结果,总体准确率达到了99.24%,较原模型的准确率提高了3.23百分点。改进的ViT模型通过增强特征表示能力,能够捕捉到不同感受野的特征,因此,在水稻叶片病害识别中,相比于基于CNN的ResNet和EfficientNet模型,分别提高了2.30、20.11百分点的准确率。此外,与Transformer系列的BEiT、DaViT和Swin-Transformer模型相比,改进的ViT模型也显著提升了准确率,说明本研究得出的方法具有较高的准确率。

基于改进VIT神经网络的无人艇电力系统故障诊断

为适应无人艇高可靠性和智能运维保障的发展需求,本文提出一种基于改进VIT神经网络模型的无人艇电力系统故障诊断方法,通过改进的注意力机制对模型参数进行求取,降低算法空间的复杂度,且避免模型参数限于局部最优。通过对交流低压无人艇电力系统进行短路故障仿真建立故障数据集,采用连续小波变换对故障电压序列数据进行特征提取,该特征数据用于训练改进VIT模型,实现无人艇电力系统故障诊断。对改进VIT模型与卷积神经网络CNN、深度收缩残差网络DRSN、VIT模型的故障识别性能进行仿真对比研究,结果表明改进VIT模型具有较高的故障诊断准确度,且受短路故障电阻的变化影响小、适应性更强。

融合CNN与时空分离ViT的人体行为识别算法研究

目前在计算机视觉领域,视频行为识别技术已经取得了一定的发展,但仍有一定改进的空间。为解决当下行为识别领域的识别精度问题,提出一种融合CNN与时空分离ViT的网络模型,来提高行为分类识别的准确率。该模型主要将传统ViT模型的编码器结构演变为时间编码器和空间编码器,将时间和空间编码器串联提取视频特征后与CNN卷积所提取的特征进行融合来提高识别效果。实验的结果表明,融合CNN与时空分离ViT的网络模型在识别效果上具有一定的优越性,为人体行为识别算法设计提供了新思路。

基于VITS模型的藏语康巴方言语音合成研究

藏语康巴方言是一种分布在中国西南部的少数民族语言,数据量低且具有丰富的声调和声母变化,给语音合成带来了很大的挑战。目前,现有的藏语语音合成模型大多基于传统的声码器或神经网络架构,需要大量的标注数据和复杂的训练过程,而且合成效果不理想。文章通过改进VITS模型,使其运用于藏语语音合成,在一个小规模的藏语康巴方言语料库上训练了VITS模型。实验结果表明,VITS模型可以很好地应用于藏语康巴方言的语音合成,不仅可以保持语音的自然度和清晰度,还可以准确地反映语音的声调和声母变化。

基于ResNet和ViT双流网络的小麦病虫害识别

针对小麦病虫害识别过程中,传统深度学习模型表现不稳定、识别精度低、泛化能力有限的现状,提出了新的双流网络模型,即结合ResNet和ViT以提高识别准确性。该方法融合了卷积神经网络处理图像局部结构,同时利用Transformer捕捉长距离依赖关系,改进了识别性能。通过2070张小麦病虫害图片数据集训练验证,调整ResNet50和ViT预训练模型参数,结果显示,双流模型在训练集上达96.5%准确率,在验证集获0.94的F_(1)分数,明显优于其他主流单一模型。结果证实,新模型在小麦病虫害识别卓越性能,为其在智能农业系统中广泛应用提供潜力。

基于Vision Transformer-LSTM(ViTL)的多时序遥感影像农作物分类方法

针对当前遥感农作物分类研究中深度学习模型对光谱时间和空间信息特征采样不足,农作物提取仍然存在边界模糊、漏提、误提的问题,提出了一种名为视觉Transformer-长短期记忆递归神经网络(Vision Transformer-long short term memory,ViTL)的深度学习模型,ViTL模型集成了双路Vision-Transformer特征提取、时空特征融合和长短期记忆递归神经网络(LSTM)时序分类等3个关键模块,双路Vision-Transformer特征提取模块用于捕获图像的时空特征相关性,一路提取空间分类特征,一路提取时间变化特征;时空特征融合模块用于将多时特征信息进行交叉融合;LSTM时序分类模块捕捉多时序的依赖关系并进行输出分类。综合利用基于多时序卫星影像的遥感技术理论和方法,对黑龙江省齐齐哈尔市讷河市作物信息进行提取,研究结果表明,ViTL模型表现出色,其总体准确率(Overall Accuracy,OA)、平均交并比(Mean Intersection over Union,MIoU)和F1分数分别达到0.8676、0.6987和0.8175,与其他广泛使用的深度学习方法相比,包括三维卷积神经网络(3-D CNN)、二维卷积神经网络(2-D CNN)和长短期记忆递归神经网络(LSTM),ViTL模型的F1分数提高了9%~12%,显示出显著的优越性。ViTL模型克服了面对多时序遥感影像的农作物分类任务中的时间和空间信息特征采样不足问题,为准确、高效地农作物分类提供了新思路。

融合FCN-ViT的语义分割与密度预测应用研究

针对河岸植被分布复杂性及密度多样性带来的监测难题,提出了一个语义分割与密度预测双重网络SEGDEN-Net,实现并行植被高精度分割和密度预测。首先,采用无人机获取三峡库区香溪河河道的航拍图像,构建了一个包含语义标签和密度标签的数据集。其次,融合全卷积神经网络(fully convolutional network,FCN)和Vi T(vision transformer)各自优势,捕捉多尺度的局部与全局信息。最后,增设了一个密度预测分支,达到并行预测,以减少时间与计算成本。实验结果表明,与其他经典网络相比,所提出的模型在mIoU、准确率和Kappa系数等指标上均有提升,密度预测任务的预测结果达到了比人工标记更高的精度。两任务的结合及并行预测降低了各方面的成本,可进一步应用于重金属污染估计,为环境保护提供新的技术手段。

基于ViT与语义引导的视频内容描述生成

现有视频内容描述模型生成的视频内容描述文本可读性差且准确率不高。基于ViT模型提出一种语义引导的视频内容描述方法。利用ReNeXt和ECO网络提取视频的视觉特征,以提取的视觉特征为输入、语义标签的概率预测值为输出训练语义检测网络(SDN)。在此基础上,通过ViT模型对静态和动态视觉特征进行全局编码,并与SDN提取的语义特征进行注意力融合,采用语义长短期记忆网络对融合特征进行解码,生成视频对应的描述文本。通过引入视频中的语义特征能够引导模型生成更符合人类习惯的描述,使生成的描述更具可读性。在MSR-VTT数据集上的测试结果表明,该模型的BLEU-4、METEOR、ROUGE-L和CIDEr指标分别为44.8、28.9、62.8和51.1,相比于当前主流的视频内容描述模型ADL和SBAT,提升的得分总和达到16.6和16.8。

SMViT:用于新冠肺炎诊断的轻量化孪生网络模型

针对新冠肺炎的深度学习诊断模型存在的准确率不高、泛化能力较差和参数量较大的问题,基于ViT和孪生网络,提出了一种新冠肺炎诊断的轻量化孪生网络SMViT。首先,提出了循环子结构轻量化策略,使用多个具有相同结构的子网络构成诊断网络,从而降低网络的参数量;其次,提出ViT掩码自监督预训练模型,以增强模型的潜在特征表达能力;然后,构建新冠肺炎诊断的孪生网络SMViT,有效提升模型的诊断准确率,改善小样本下模型泛化能力较差的问题;最后,使用消融实验验证并确定了模型结构,通过对比实验验证模型的诊断性能和轻量化能力。实验结果表明:与最具竞争力的ViT架构的诊断模型相比,该模型在X-ray数据集上的准确率、特异度、灵敏度与F1分数值分别提高了1.42%、4.62%、0.40%和2.80%,在CT图像数据集上的准确率、特异度、灵敏度与F1分数值分别提高了2.16%、2.17%、2.05%和2.06%;在样本量较小时,模型具有较强的泛化能力;与ViT相比,SMViT模型具有更小的参数量和更高的诊断性能。

基于ViT的中欧班列集装箱logo图像分类识别研究

随着“一带一路”、长江经济带等国家战略的叠加实施,中国与西方的贸易也呈直线上升的趋势。伴随着中欧班列高质量运行,中欧班列集装箱的分类统计也成为中国对外贸易的一大重点。集装箱上代表着各供应商的logo图像在运输途中会产生褪色破损情况从而给识别增加了很多的难度。因此,公司为了有效识别各个标识,提出了基于ViT的logo图像分类模型,使用激活函数GELU代替传统的RELU。实验表明,改进后的模型可以很好地分类识别,准确率达到98%,且优于其他的分类模型。

融合迁移学习和集成学习的服装风格图像分类方法

针对服装风格人工分类受主观性、地域等因素影响而造成的分类错误问题,研究了一种基于人工智能的服装风格图像分类方法。首先,在FashionStyle14数据集基础上筛除重复或无效图像,构建服装风格图像数据集;然后,采用迁移学习方法,对EfficientNet V2、RegNet Y 16GF和ViT Large 16等模型进行微调训练,生成新模型,实现基于单个深度学习的服装风格图像分类;最后,为进一步提高图像分类的准确性、可靠性和鲁棒性,分别采用基于投票、加权平均和堆叠的集成学习方法对上述单个模型进行组合预测。迁移学习实验结果表明,基于ViT Large 16的深度学习模型在测试集上表现最佳,平均准确率为77.024%;集成学习方法实验结果显示,基于投票的集成学习方法在相同测试集上平均准确率可达78.833%。研究结果为解决服装风格分类问题提供了新的思路。

Cu^(2+),Cu^(2+)/Vit C对亚油酸过氧化起动机理的ESR研究

本文直接用亚油酸为材料,利用ESR自旋捕集技术和紫外分光技术,分别检测了脂质过氧化反应过程中产生的中间自由基产物L·和共轭二烯结构,对Cu^(2+),Cu^(2+)/Vit C起动脂质过氧化反应的机理进行了研究。结果表明:Vit C自由基,Cu^(2+),Cu^+都不能起动纯的亚油酸的过氧化;Cu^(2+),Cu^+可以使含有部分过氧化成份的亚油酸继续氧化。

乒乓球运动结合叶酸、Vit B_(12)干预对阿尔茨海默病患者功能改善的研究

目的:观察乒乓球运动结合补充叶酸、Vit B12对AD(阿尔茨海默病)患者功能改善的影响。方法:选取2011年10月-2012年10月太原市符合CCMD-HE和NINCDS标准,并能积极配合观察的AD患者120例,随机分为实验组(60例)和对照组(60例);对照组每日服用叶酸10mg,Vit B12 500μg;实验组患者在对照组治疗基础上每隔一日进行1小时的乒乓球运动。运动干预时间为1年;在实验前后对对照组和实验组患者进MMSE(简易智力状态量表)和ADL(日常生活活动能力量表)测定;采用荧光高效液相色谱法(HPLC)进行尿液甲醛检测,采用酶联免疫吸附测定(ELISA)法检测患者尿中AD7cNTP(神经丝蛋白)的含量。结果:与对照组65%的总有效率相比,实验组总有效率达到85%,乒乓球运动干预后实验组整体疗效明显优于对照组;对照组MMSE实验前后评分均值分别为(21.24±4.12)、(24.67±4.06),ADL为(24.86±4.35)、(20.56±4.65);实验组MMSE干预前后均值分别为(21.46±4.08)、(26.77±3.84),ADL为(25.34±4.56)、(20.06±5.24);MMSE评分实验组与对照组有显著性差异,ADL分值无明显差异;对照组尿中甲醛含量实验前后分别为(1.35±0.14)mmol/L、(0.45±0.07)mmol/L,尿中AD7c-NTP含量为(5.54±0.46)ng/mL、(2.75±0.62)ng/mL;实验组尿中甲醛含量前后分别为(1.32±0.34)mmol/L、(0.17±0.09)mmol/L,尿中AD7c-NTP含量为(5.02±0.56)ng/mL、(1.46±0.28)ng/mL;尿中甲醛和AD7c-NTP含量差异均有统计学意义。结论:乒乓球运动结合补充叶酸、Vit B12对AD患者功能改善具有明显作用;乒乓球运动可以作为AD患者的协助治疗。

基于Vision Transformer多模型融合的视觉闭环检测算法

针对闭环检测在图像特征表示方面存在信息丢失的问题,提出一种基于Vision Transformer (Vi T)与卷积神经网络进行多模型融合的特征提取算法。首先,将输入图像进行特征提取,然后将高维的图像特征向量进行核主成分分析(KPCA)降维,构建成新的图像特征表示;同时,提出了一种新的范围匹配算法,通过相应的范围框架去限制并选择范围进行特征匹配。实验结果表明:所提算法相比于其他的算法,有着更高的准确率和匹配速率,达到了更好的鲁棒性与实时性的要求,证明了该算法在闭环检测上的有效性。