基于空洞分层注意力胶囊网络的X射线焊缝缺陷识别方法

由于X射线焊缝图像的复杂多样性,使得很多传统基于X射线焊缝缺陷检测方法的准确性不高,泛化能力较差。提出一种基于空洞分层注意力胶囊网络(DHACNet)的X射线焊缝缺陷识别方法。DHACNet由卷积模块、空洞分层注意力和胶囊网络(CapsNet)组成。卷积模块用来提取图像的卷积特征,空洞分层注意力用来提取多尺度显著性特征,CapsNet利用胶囊层和动态路由算法替代卷积神经网络(CNN)中的池化操作和全连接操作。DHACNet具有强大多尺度特征提取能力,能够克服CNN只关注图像局部特征和池化操作导致图像部分信息丢失等不足。在构建的X射线焊缝缺陷图像集上进行识别试验,识别准确率为96%以上,与传统方法进行比较,结果表明,该方法有效可行,能够为X射线焊缝缺陷识别系统提供技术支持。

融合注意力胶囊的深度因子分解机模型

针对深度学习中推荐模型特征组合单一、消解大量有价值特征信息以及过拟合等问题,设计了一种新型的注意力得分机制——注意力胶囊,提出了一种融合注意力胶囊的深度因子分解机模型。基于DeepFM模型,将用户历史点击行为与候选物品进行权重计算,降低了无关特征对模型的影响,充分挖掘了不同历史行为对用户兴趣的差异性影响。训练过程中加入自适应正则化式,在不影响训练速度的前提下,有效地减少了过拟合。在2个公开数据集上进行对比实验,实验结果表明,所提模型相对于其他模型在损失函数和GAUC上均有明显提升。

基于注意力胶囊网络的作物病害识别方法

因病害叶片图像的复杂多变性,较难准确分割病斑图像和提取到鲁棒的病害分类特征。现有的基于卷积神经网络(CNN)的作物病害识别方法通过扩展训练样本来增加大量不同角度、方向的训练样本,从而增强模型的鲁棒性和泛化能力,但需要较长的训练数据和较大的算力,并且对于一些少见的病斑不能准确识别,因此提出一种基于注意力胶囊网络(ACapsNet)的作物病害识别方法。ACapsNet中的注意力机制用于提高CapsNet的训练能力。ACapsNet中的胶囊由多个神经元组成,每个神经元表示图像中特定病斑的各种属性,这些属性能够表达不同类型病斑的形状、颜色、纹理、位置、大小和方向等特征,在复杂黄瓜病害叶片图像数据集上进行交叉验证试验。结果表明,ACapsNet能够有效表达不同病害叶片图像的各种特征,加快网络的训练速度,能够应用于田间复杂场景的作物病害识别系统。

基于多尺度双路注意力胶囊网络在水稻害虫识别中的应用

【目的】研究基于多尺度双路注意力胶囊网络(Multi-scale Dual-path Attention Capsule Network, MDACapsNet)的水稻害虫识别方法,为田间害虫自动识别提供参考依据。【方法】针对现有方法对位置、姿势多变的水稻害虫识别准确率低等问题,在胶囊网络(Capsule Network, CapsNet)的基础上,提出一种基于MDACapsNet的水稻害虫识别方法。MDACapsNet由编码模块、重构模块与分类模块组成。在MDACapsNet编码模块中,多尺度双路注意力模块与局部共享动态路由算法用于提高网络的特征提取能力并降低网络计算量;在MDACapsNet的损失函数中增加重构图像损失项,加速网络训练。【结果】在复杂背景下的水稻害虫图像数据集进行实验,识别准确率为95.31%。与VGG16、CapsNet、ResNet相比较,MDACapsNet的识别准确率分别提高5.47%、19.83%、2.83%。【结论】MDACapsNet能较好地识别大小不同、背景复杂、姿势多样的水稻害虫,可应用于田间水稻害虫自动检测系统中。

融合标签特征和胶囊注意力的口语理解方法

针对目前意图检测和槽位填充联合学习中未充分考虑交互前标签特征信息的有效提取和融合,缺乏对交互后标签特征的提炼问题,提出一种融合标签特征和胶囊注意力的口语理解方法。主要由意图与槽位标签特征融合交互(label feature fusion interactive, LFFI)和多头胶囊注意力机制(multi-head capsule attention, MHCA)两大关键模组组成。LFFI-MHCA通过LFFI提取序列中有效的意图和槽位标签信息,对两者进行融合和交互;利用MHCA对交互过程中产生的不同子空间信息进行提炼,获得更为精确的意图和槽位标签特征。该模型在ATIS和SNIPS数据集上进行实验,句子准确率分别为88.1%和89.0%,验证了该模型的有效性。

改进小波阈值去噪和胶囊直连网络的轴承故障诊断

作为轴承故障诊断依据,振动传感器采集的信号易受工作环境噪声干扰。为更加准确提取特征信息,采用改进传统小波阈值去噪方法,利用中间比例系数过渡方法,将传统硬阈值和软阈值结合,信号去噪更加平滑有效。去噪后的信号进行二维短时傅里叶变换,得到二维时频域数据结构。通过胶囊注意力方式改进ResNet网络直连结构,从而得到更好的分类模型Capsut-ResNet。通过对比去噪前后和不同注意力模型结构,证明了方法的有效性,能够实现更高的准确率。

基于胶囊网络的海量指纹纹型精准分类算法

指纹识别作为“物证之首”一直被认为是最可靠的生物特征识别方法,目前已经广泛应用在刑事侦查、居民身份认定及核实等领域。这类应用的特点在于需将待识别指纹与海量指纹数据库中的全部指纹做快速比对,以确定该枚指纹所有人的身份。为了提高指纹识别速度,海量指纹数据库会按照纹型拆分成若干类,待识别指纹仅和同类指纹做逐一比对。随着指纹采集相关的法律生效,近几年指纹数据库规模迅速扩大。一方面库内同类纹型的图像差异性显著增加,另一方面不同类指纹图像的相似性也在增加,指纹分类算法误分率大幅增加。“海量指纹纹型精准分类问题”迅速成为公安应用及指纹识别领域研究的热点。针对上述问题,提出一种基于胶囊网络的指纹纹型精准分类模型Cap-FingerNet。该模型一方面将胶囊网络独有的网络特性与指纹图像特有的自相似纹理特征相结合,可构成更为鲁棒的特征提取器及分类器。新引入的Batch-Normalization方法还可避免典型胶囊网络易于出现“梯度消失”的不足。另一方面,引入注意力胶囊机制,使得Cap-FingerNet较典型胶囊网络更准确且全面地提取出指纹图像细节信息,并使用全局压缩算法对胶囊进行有效挤压。Cap-FingerNet模型在某公安刑侦指纹数据库的4分类纹分类上获得99.63%的极高准确率,并在国际公开指纹数据集NIST-DB04的纹型4分类和5分类任务上分别测得96.25%和94.5%的准确率,取得了目前文献中最好成绩。

基于数据驱动的综采工作面采运协同控制方法研究

目前针对采煤机与刮板输送机协同控制的研究初步建立了采运系统协同控制机制,但均未考虑非结构化综采工作面环境下,影响采运系统稳定运行因素的不确定性和耦合特性,以及煤流状态和刮板输送机负载电流受井下电气系统影响而无法真实反映刮板输送机负载变化的情况。针对上述问题,提出了一种基于刮板输送机负载电流强化和随机自注意力胶囊神经网络(RSACNN)的综采工作面采运协同控制方法。针对刮板输送机电动机电流的电气耦合特性,运用电流强化模型对原始刮板输送机电流进行预处理,得到能够反映煤流系统真实负载的电流分量。针对综采工作面采运系统运行状态参数与采煤机牵引速度存在着高度非线性和不确定性关系,难以建立精确数学模型的问题,基于胶囊神经网络(CNN)可保存综采工作面采运系统运行状态突变等细粒度特征的特性,建立了基于RSACNN的综采工作面采运协同控制模型。实验结果表明:RSACNN算法与自注意力胶囊神经网络(SACNN)算法、CNN算法的调速结果相比,预测的采煤机牵引速度精度更高,预测速度与真实速度的拟合度分别提高了0.03205和0.07504;平均绝对误差分别降低了17.7%,22.6%;平均绝对百分误差分别降低了49.9%,71.5%;均方根误差分别降低了13.3%,34.6%。