基于空洞分层注意力胶囊网络的X射线焊缝缺陷识别方法

由于X射线焊缝图像的复杂多样性,使得很多传统基于X射线焊缝缺陷检测方法的准确性不高,泛化能力较差。提出一种基于空洞分层注意力胶囊网络(DHACNet)的X射线焊缝缺陷识别方法。DHACNet由卷积模块、空洞分层注意力和胶囊网络(CapsNet)组成。卷积模块用来提取图像的卷积特征,空洞分层注意力用来提取多尺度显著性特征,CapsNet利用胶囊层和动态路由算法替代卷积神经网络(CNN)中的池化操作和全连接操作。DHACNet具有强大多尺度特征提取能力,能够克服CNN只关注图像局部特征和池化操作导致图像部分信息丢失等不足。在构建的X射线焊缝缺陷图像集上进行识别试验,识别准确率为96%以上,与传统方法进行比较,结果表明,该方法有效可行,能够为X射线焊缝缺陷识别系统提供技术支持。

改进卷积胶囊网络的滚动轴承故障诊断方法

目前许多基于卷积网络的滚动轴承故障诊断方法受噪声信号以及负荷变化的影响,存在诊断效果不佳、泛化能力差的问题。针对此问题提出一种改进卷积胶囊网络的滚动轴承变工况故障诊断方法。该方法设计了多尺度非对称卷积模块,其中采用不同尺度的非对称卷积层对输入数据进行特征提取,在实现最大化提取数据中的特征信息的同时,还能够有效减少参数量;在该模块中引入通道注意力机制,能更好地提取有用的通道特征,提高该方法特征提取的能力;通过将网络中的全连接层改进为胶囊全连接层,使得胶囊在输出向量特征信息时,避免了特征信息在空间中的丢失。使用凯斯西储大学轴承数据集和东南大学变速箱数据集来验证所提方法的诊断性能,并与其他深度学习方法进行了比较。实验结果表明,与其他深度学习方法相比,具有较好的泛化性,效果更佳。

基于数据映射和胶囊网络的轴承故障诊断方法

传统深度学习模型自适应提取振动信号故障特征,实现端到端轴承故障诊断。然而,振动监测信号为非常复杂的非稳态时序信号,若深度网络直接以原始振动信号为输入,数据之间的非线性耦合作用会极大影响模型对故障特征的提取效率。目的为降低故障信号之间强非线性耦合作用,解决卷积神经网络对空间约束信息丢失的问题,提升轴承故障诊断性能,方法本文提出一种基于数据映射和胶囊网络(capsule network,CapsNet)的轴承故障诊断方法。首先,将图像处理领域中具有细化颜色特征能力的颜色空间模型(color names,CN)引入故障数据预处理中,将原始低维空间数据映射至高维空间,提升故障数据空间区分度;其次,针对映射后数据维度较高且具有一定冗余,影响故障诊断效率的问题,引入主成分分析(principal compo⁃nent analysis,PCA)法提取故障数据主元信息,降低数据维度;最后,考虑到胶囊网络有效提取空间约束信息的能力,将CapsNet作为故障诊断的骨干网络对故障特征进行识别和分类。结果使用CWRU、XJTU-SY数据集对该方法进行验证,实验结果表明,该方法在两种数据集上故障诊断准确率均达98%以上,与其他基于深度学习的故障诊断方法进行对比,该方法的诊断性能具有一定优势。结论本文方法可对故障数据进行有效解耦,提升数据之间的空间区分度,获得较高的轴承故障诊断精度。

基于U-net和胶囊网络的图像语义分割结构研究

目的 针对苹果病害中比较常见的症状——花叶病,尤其在昼夜温差大的条件下发病迅速,落叶率提高,造成苹果大面积减产,产生巨大的经济损失;对于花叶病病斑数量太多,尺度不一的影响,从而造成病害识别准确率较低等问题,提出了一种引入迁移学习和胶囊网络的方法,以提高病害识别率。方法 首先对获得的花叶病数据集进行扩充、数据增强等处理,并利用Labelme工具对图像进行标注,分别标记出病斑区域和叶片区域;其次将训练好的VGG16模型权重通过迁移学习技术移至U-net中编码部分,并引入胶囊网络,使得整个网络具有更强的特征提取能力;然后对VGG16模型、胶囊网络部分进行训练,最后将训练好的网络模型进行语义分割并输出测试的结果。结果 实验结果表明,原始数据集的准确率为87.51%,引入迁移学习后的准确率提升至91.78%,提升了4.88%;引入胶囊网络的准确率提升至90.04%,提升了2.89%;而引入迁移学习和胶囊网络之后,准确率提升至93.42%,提升了6.75%。并且模型每一轮的训练时间也在引入了迁移学习后提升了2 s。结论 据实验结果可以证明模型方法引入迁移学习和胶囊网络后,相较于传统模型在识别准确率方面有了一定的提升,其次也减少了每一轮的模型训练时间,总体分割性能较好。

融合注意力机制的胶囊网络方面级情感分析

方面级情感分析旨在明确文本中关于特定方面的情感极性。针对句中方面词由复杂词组组成造成方面情感极性判断错误的问题,论文提出了一种融合注意力机制的胶囊网络方面级情感分析模型。模型首先通过双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)提取序列语义信息,使用N-gram模型对序列语义信息中的目标方面进行编码,然后利用交互注意力机制学习方面词和上下文之间的注意力,将最终生成的文本表示接入融合方面特征表示的胶囊网络进行分类,得到文本方面级的情感分类结果。模型利用胶囊网络有效提取部分与整体关系特征的能力,融合N-gram模型提取到的方面特征变换矩阵,改进了传统动态路由方法,增强了模型对方面情感极性的判断能力。该模型在SemEval-2014餐馆数据集和笔记本数据集上与多个模型进行了对比分析,实验结果显示该模型在两个数据集上的精确度达到了78.4%和72.4%,F1分数分别为0.687和0.668,证明融合交互注意力机制的胶囊网络模型在方面级情感分析任务方面具有较强的分类效果。

多阶段注意力胶囊网络的图像分类

针对传统的胶囊网络(Capsule network,CapsNet)特征提取不充分的问题,提出一种图像分类的多阶段注意力胶囊网络模型.首先,在卷积层对低层特征和高层特征分别采用注意力(Spatial attention,SA)和通道注意力(Channel attention,CA)来提取有效特征;然后,提出基于向量的注意力(Vector attention,VA)机制作用于动态路由层,增加对重要胶囊的关注,进而提高低层胶囊对高层胶囊预测的准确性;最后,在五个公共数据集上进行图像分类的对比实验.结果表明,所提出的CapsNet模型在分类精度和鲁棒性上优于其他胶囊网络模型,在仿射变换图像重构方面也表现良好.

基于胶囊网络的恶意评论检测

针对传统恶意评论检测模型无法适应不断更新的网络文化和语言习惯以及神经网络丢失信息的问题,提出了一种基于胶囊网络的检测模型.首先,采用BERT模型提取词向量的特征,以保留文本的潜在语义信息;然后,通过胶囊网络在局部范围内提取特征表示,并结合Bi-LSTM在全局范围内提取特征表示,以获得更全面的特征表示;其次,利用注意力机制将局部和全局的特征表示进行融合,提取关键信息并降低特征表示的维度;最后,使用Sigmoid分类器对结果进行分类,并输出检测结果.实验结果表明,所提出的组合模型相对于传统模型能够提取到更精细的语义信息,有效地提高了分类效果,在恶意评论的检测任务中,准确度达到了0.922.

基于多尺度卷积的胶囊网络知识图谱嵌入模型

该文基于胶囊神经网络出色的维度信息挖掘能力,加入多尺度卷积以进一步增强其特征提取和交互能力,提出了基于多尺度卷积的胶囊网络知识图谱嵌入模型.首先,通过TransE算法训练得到实体和关系的初始化嵌入向量;其次,通过多尺度卷积生成不同的特征图,将得到的特征图进行特征融合,融合后得到的特征图重组为相对应的胶囊;最后,利用动态路由指定从第一层胶囊到第二层胶囊的连接,经过路由得到的第二层胶囊利用squash函数得到最终向量长度,该向量长度决定三元组的置信度.知识图谱链接预测任务的实验结果表明,较嵌入模型CapsE,本文提出的模型在WN18RR数据集上指标Hit@10提高1.8%,MRR提高1.4%,在FB15k-237数据集上Hit@10提高2.2%,MR提高4.8%.

基于双向胶囊网络的恶意评论检测

为了解决现有检测模型无法准确识别语言风格多变、语意隐晦的恶意评论问题,提出了一种基于双向胶囊网络的恶意评论检测模型。首先,利用BERT模型对评论文本进行词嵌入,创建输入矩阵;其次,将输入矩阵传递给双向特征提取层,该层由堆叠的LSTM、双向胶囊网络和注意力网络组成,从正向和反向同时捕获文本的深层语义信息,将生成的正向和反向矩阵拼接起来并输入到注意力机制中,聚焦与恶意评论相关的词语并生成输出向量;再次,拼接输出向量与语境辅助特征向量,丰富特征表示;最后,将拼接向量输入到全连接层中,通过Sigmoid激活函数对评论文本进行分类。在维基百科恶意评论数据集上进行的实验表明,相较于现有研究,基于双向胶囊网络的恶意评论检测模型性能提升显著,能够捕获评论文本中更丰富的语义信息,有效检测恶意评论。

基于胶囊网络和语言模型的政务文字识别

文字识别是计算机视觉领域中的重要研究内容之一,为建设智能政务服务奠定了基础.然而政务图像质量参差不齐、字体风格多样,造成识别准确率偏低.针对上述问题,提出了一种结合胶囊网络和语言模型的CNLM模型,并将字符切割与胶囊网络进行结合.首先将政务图像数据集构造为文字识别图像和语言模型句子样本进行分阶段训练,一阶段通过公开字符切割数据集对视觉模型进行预训练,通过句子样本和已有结构化数据对语言模型进行预训练;二阶段将视觉模型与语言模型进行联合训练,并对它们的输出结果进行选择迭代,最后得到图像包含的文字序列信息.该方法在政务图像数据集和GA-HWDB数据集上测试,其准确率相比VisionLAN分别提高2.12%和2.69%.

No-CapsE:一种基于节点共现的四元数胶囊网络知识图谱补全模型

知识图谱补全是通过预测知识图谱中缺失的事实进行填补,以解决知识图谱中的数据稀疏问题。CapsE、QuatE等用于知识图谱嵌入的模型在链接预测方面已经取得了较好的表现,但是,CapsE模型因其在复数空间进行链接预测与数据挖掘,会受限于其数据维度,使得数据挖掘不够深入,QuatE采用四元数构造超复数平面进行逻辑旋转,但其方法简单,无法有效地构建复杂关系。为此,提出一种改进的胶囊网络补全方法No-CapsE,在超复数平面构建胶囊网络。将数据用四元数进行表示并输入到四元数卷积网络中,输出的特征向量作为胶囊网络的输入,通过点积操作进行评分并依据评分判定三元组的正确性。此外,为了提高模型的训练速度,提出节点共现的思想,将实体和关系都视作节点。在公开数据集FB15K-237与WN18RR上进行链接预测实验,同时为了进一步探究所提模型的性能与效果,进行消融实验。实验结果均表明,相较于对比模型,No-CapsE的知识图谱补全效果更好,可以应用于大规模链接预测任务。

基于改进的时频自适应胶囊网络轴承故障诊断方法

轴承是保障旋转机械安全运行的关键部件,传统的故障诊断方法在轴承复杂多变的运行环境中故障特征提取难且识别难度大。为此,提出了一种基于改进的时频自适应胶囊网络轴承故障诊断方法。首先,将一维原始振动信号通过EEMD-HHT特征增强方法转化为复合时频结构数据,增强非平稳信号特征的可分性;然后,改进原胶囊网络卷积层,用于自适应深度提取振动信号的时频结构特征;最后,针对卷积神经网络的平移不变性引入胶囊层,采用动态路由算法学习储存特征信息,并实现故障类型智能诊断。试验结果表明,所提方法较现有方法具有更强的故障敏感特征挖掘能力、更高的诊断精度及工况自适应能力。

ConvUCaps:基于卷积胶囊网络的医学图像分割模型

在医学影像分割领域,U-Net网络是目前最成功和最受关注的方法之一,但是U-Net本质上是一种经过改造的全卷积神经网络模型,要获得更为全面和准确的局部-整体关系,不但需要增加网络层次从而加大计算量,而且效果也并不明显。胶囊网络提供了一种有效的建模图像的局部与整体关系的方法,可以用更少的参数取得好的性能。但原始的胶囊网络并没有充分考虑图像局部特征的粒度问题,将其应用在医学图像分割领域还需进一步改造。因此,提出一种将U-Net和胶囊网络相结合的医学图像分割模型ConvUCaps。该模型对U-Net的编码器部分进行改进,使用卷积模块学习不同尺度的局部特征,然后通过胶囊模块学习高层特征,并建模局部与整体之间的关系。实验结果表明,相比U-Net、UNet++、SegCaps、Matwo-CapsNet网络,ConvUCaps提高了分割精度和收敛速度,同时,与单纯基于胶囊网络的分割模型相比,显著减少了推理时间。

基于自注意机制胶囊网络的行星齿轮箱故障诊断

针对实际工程中行星齿轮箱故障数据有限、诊断准确率不高的问题,提出一种基于自注意机制胶囊网络的故障诊断方法。直接将采集到的行星齿轮箱振动信号作为输入,用首层宽卷积层提取浅层特征,过滤输入中的高频噪声;引入自注意机制关注信号关键特征;再次将所提特征输入胶囊层,进一步提取特征并实现故障分类;采用行星齿轮箱实验平台数据对所提方法进行实验验证。实验结果表明:在样本数量有限的情况下,所提方法仍能取得不错的诊断准确率。

基于双分支特征提取和自适应胶囊网络的DGA域名检测方法

面向域名生成算法(domain generation algorithm,DGA)的域名检测方法普遍具有特征提取能力弱、特征信息压缩比高等特点,这导致特征信息丢失、特征结构破坏以及域名检测效果较差等诸多不足.针对上述问题,提出一种基于双分支特征提取和自适应胶囊网络的DGA域名检测方法.首先,通过样本清洗和字典构建重构原始样本并生成重构样本集;其次,通过双分支特征提取网络处理重构样本,在其中,利用切片金字塔网络提取域名局部特征,利用Transformer提取域名全局特征,并利用轻量级注意力融合不同层次的域名特征;然后,利用自适应胶囊网络计算域名特征图的重要度系数,将域名文本特征转换为向量域名特征,并通过特征转移计算基于文本特征的域名分类概率;同时,利用多层感知机处理域名统计特征,以此计算基于统计特征的域名分类概率;最后,通过合并得到的两种不同视角的域名分类概率进行域名检测.大量的实验表明,所提方法在DGA域名检测以及DGA域名家族检测分类方面均取得了当前领先的检测效果.在DGA域名检测中,F1分数提升了0.76%-5.57%;在DGA域名家族检测分类中,F1分数(宏平均)提升了1.79%-3.68%.

基于改进卷积胶囊网络的轴承故障诊断

针对轴承工作环境复杂,变工况下诊断性能低等问题,提出一种基于改进卷积胶囊网络的轴承故障诊断方法。采用Inception结构和通道、空间双重注意力模块,代替胶囊网络中的单层卷积核结构,对数据进行多尺度的关键信息的获取。通过胶囊网络结构,构建向量神经元,在动态路由算法的特征传递方式下,结合优化的损失函数,完成故障诊断。在单、变工况下的凯斯西储大学轴承数据集上进行实验,结果分析表明,该方法能有效地进行故障诊断。

基于胶囊网络的异常多分类模型

国网公司日益庞大的服务器集群产生的大量生产运行数据,以及实时分析各类设备、系统产生的海量监控数据成为电力IT运维工作的新挑战。异常检测技术作为智能电网信息运维工作的关键技术,可以有效检测运维故障并及时告警,避免损坏敏感设备。目前一些传统异常检测方法检测的异常种类少且精度低,导致故障发现不及时。为了应对这一挑战,提出了基于胶囊网络的多维时间序列异常多分类模型NNCapsNet。首先,应用无监督算法结合专家知识对电网营销业务应用服务器性能监控数据进行预处理和标注。其次,引入胶囊网络进行分类和异常检测。五折交叉验证的实验结果表明,NNCapsNet在包含15类异常的数据集上实现了91.21%的平均分类准确度。还在包含2万条监控数据的数据集上与4个基准模型进行了对比,NNCapsNet在关键评估指标上均取得了较好的结果。

基于改进孪生胶囊网络的小样本轴承故障诊断

针对不同工况下滚动轴承故障数据不足,诊断准确率低的问题,提出了一种基于改进孪生胶囊网络的小样本滚动轴承故障诊断方法。首先,通过短时傅里叶变换将轴承振动信号变换为二维时频图,作为孪生网络的输入,通过对比样本间相似度扩大训练次数,解决故障数据不足的问题;然后,将多尺度Inception模块加入胶囊网络构建孪生胶囊网络模型(SICN),提取多尺度浅层特征后进行矢量化处理,经动态路由算法得到具有空间位置信息的胶囊向量;最后,设计余弦距离策略对胶囊向量进行相似性度量,判断是否属于同类,减小度量误差并实现故障类别辨识。结果表明:SICN模型可以提取更丰富、全面的特征,提高诊断准确率和泛化能力,可有效应用于小样本下滚动轴承的故障诊断。

融合注意力和胶囊池化的轻量型胶囊网络

针对胶囊网络特征信息传播低效性和路由过程存在较大计算开销等问题,文中提出了一种融合注意力和胶囊池化的轻量型胶囊网络。该网络主要有以下两方面的优势:1)提出了胶囊注意力。将注意力作用于初级胶囊层,增强对重要胶囊的关注,提高低级胶囊对高级胶囊预测的准确性;2)提出新的胶囊池化。在初级胶囊层所有特征图的对应位置筛选出权重最大的胶囊,在减少模型参数量的同时以少量的重要胶囊表示有效特征信息。公共数据集的结果表明,提出的胶囊网络在CIFAR10上达到92.60%的精度,并在复杂数据集上具有良好的白盒对抗攻击鲁棒性。此外,提出的胶囊网络在AffNIST数据集上达到95.74%的精度,具有较好的仿射变换鲁棒性。计算效率结果表明,所提网络的浮点运算量比传统胶囊网络减少了31.3%,参数量减少了41.9%。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.