基于SMOTE-IKPCA-SeNet深度迁移学习的小批量生产质量预测研究

随着智能制造技术的发展和客户个性化需求的增加,多品种小批量生产方式逐渐成为制造业的主流。面向大批量生产、以统计过程控制为核心的质量管理方式并不适用于小批量生产。针对复杂生产过程存在参数多、非线性和交互作用的问题,提出利用深度迁移学习的方式将历史生产数据作为源域迁移至小样本目标产品数据进行质量预测。首先,通过合成少数类过采样技术(synthetic minority over-sampling technique,SMOTE)和改进的核主成分分析(improved kernel principal component analysis,IKPCA)算法筛选源域和目标域的可迁移特征,这不仅兼顾了特征重要性和可迁移性,还减少了“负迁移”,提高了模型泛化能力;然后,采用结合通道注意力机制的卷积神经网络SeNet构建基于深度迁移学习的质量预测模型。仿真结果表明,随着目标域样本的增加,所提方法的预测准确性明显优于广泛采用的支持向量机建模方法。同时,所提可迁移特征筛选方法显著提高了深度迁移学习的质量预测效果,为复杂的小批量生产过程质量保证提供了新方法。

融合残差SENet的毫米波大规模MIMO信道估计

在户外光线追踪场景下,针对毫米波大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)系统受户外环境噪声干扰导致估计精度低的问题,提出了一种融合残差挤压激励网络(Squeeze-and-Excitation Network,SENet)的条件生成对抗网络的信道估计方法。该方法采用条件生成对抗网络将低分辨率接收信号重建为高分辨率的原始信号完成信道估计,同时在生成器网络中引入SENet网络模块来抑制户外场景下显著性噪声干扰,提高估计精度;最后将残差网络中的残差块添加到SENet的放缩操作后,提高条件生成对抗网络的收敛速度。仿真结果表明,相较于正交匹配追踪算法、卷积神经网络、去噪卷积神经网络和条件生成对抗网络算法,所提方法在户外噪声环境下估计精度平均提高了约2.2 dB,且在高噪声强度下估计精度的提高更为显著。

融合SENet和Transformer的应用层协议识别方法

协议识别技术在网络通信和信息安全领域具有至关重要的地位和作用。针对现有基于时空特征的协议识别方法提取协议特征不充分、不全面的问题,提出了一种基于SENet和Transformer的应用层协议识别方法。该方法关注协议数据的时空特征,由加入SENet注意力的残差网络构成的空间特征提取模块和Trans-former网络编码器构成的时间提取模块组成。空间特征提取阶段,在残差网络结构中加入SE块获取多个卷积通道间的联系,自适应地为通道分配权重,提取不同通道中更加活跃的协议空间特征;时间特征提取阶段,由基于多头注意力机制的Transformer编码器通过堆叠的方式构建时间特征提取模块,利用输入数据的位置信息全面地获取协议数据的时间特征。通过对更加充足的空间特征和更加全面的时间特征的提取和学习,可以获得更有效的协议识别信息,进而提高协议识别性能。在ISCX2012和CSE_CIC_IDS2018混合数据集上的实验结果表明,所提模型的总体识别准确率达到99.20%,F1值达到98.99%,高于对比模型。

SENet生成对抗网络在图像语义描述中的应用

针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题,提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制,使网络能够更加充分和完整地提取图像中显著区域的特征,将提取后的图像特征输入到编码器中。在原始文本语料库中加入情感语料库且通过自然语言处理生成词向量,将词向量与编码后的图像特征相结合输入到解码器中,通过不断对抗训练生成一段符合该图像所示内容的情感描述语句。最后通过仿真实验与现有方法进行对比,该方法的BLEU指标相比SentiCap方法提高了15%左右,其他相关指标均有提升。在自对比实验中,该方法在CIDEr指标上提高3%左右。该网络能够很好地提取图像特征,使描述图像的语句更加准确,情感色彩更加丰富。

基于改进卷积神经网络的中药饮片图像识别

为解决AlexNet网络模型在中药饮片图像识别中存在的识别准确率和鲁棒性不够理想的问题,以常见的50种中药饮片为研究对象,对AlexNet网络模型进行改进优化。首先通过拍摄以及搜索引擎获取中药饮片图像,并对图像进行数据扩充以及细节增强预处理。其次对AlexNet网络模型进行优化改进,通过缩减原网络的卷积核个数和卷积核大小、使用全局平均池化(global average pooling,GAP)替代全连接层以减少网络参数;去除局部响应归一化(local response normalization,LRN)层、引入批量归一化(batch normalization,BN)层和使用Lion优化算法替代随机梯度下降(stochastic gradient descent,SGD)优化算法以提高网络训练速度;使用Mish激活函数替代ReLU激活函数和引入通道注意力机制SENet网络以提高模型的识别精度。实验结果表明,改进后的网络模型相比于AlexNet网络模型,平均识别率提高了6.1%,平均损失率下降了14.4%,网络参数由原来的60 M缩减至1 M,该结果表明在中药饮片数据集上,改进后的网络模型具有更高的识别率和更好的鲁棒性,可为中药饮片图像识别领域的进一步发展提供有力支持。

嵌入SENet结构的改进YOLOV3目标识别算法

为准确识别工业图像中的目标零件,提出一种改进的YOLOV3目标识别算法。结合K-means聚类与粒子群优化算法进行锚框计算,以降低初始点对聚类结果的影响,加快算法收敛速度。同时在YOLOV3网络shortcut层嵌入SENet结构,得到SE-YOLOV3网络。对零件图像进行数据增强并加入零件标注,制作包含10 816张图片的样本集,用于算法训练和测试。实验结果表明,该算法能够获得平均交并比为83.01%的锚框,当样本图像存在较多残缺零件干扰时,YOLOV3存在将背景识别为零件的情况,其查准率与查全率分别为72.11%和97.51%,而SE-YOLOV3能有效减少假正例数量,其查准率与查全率分别为90.39%和93.25%。

基于改进GRNN的光纤光栅解调算法研究

木材干燥室的干燥温度监测是木材加工厂的重要防火措施之一,FBG传感器的材料和传感特性使其可以监测干燥室内部温度而不会成为新的火灾诱因。针对FBG传感器波长解调过程中直接解调精度低的缺点,研究了一种基于柯西分布曲线拟合和SENet改进GRNN在光纤光栅传感器的解调算法。利用柯西曲线拟合和希尔伯特变换分割FBG反射曲线峰值区域,将峰值区域数据组成改进GRNN模型的训练样本和测试样本,将SENet结构嵌入GRNN模型提升GRNN模型的性能,通过PSO算法获取改进GRNN的最优光滑因子。实验结果表明,解调温度误差约为0.15℃,波长误差为1.8 pm,与直接解调法和未改进的GRNN模型相比,嵌入SENET结构的改进GRNN模型解调对比PSO-GRNN法和SE-GRNN法,性能分别提升约76%和约84%,有效提升了光纤光栅传感器的解调精度。

嵌入改进SENet的卷积神经网络连续血压预测

提出了基于改进SENet卷积神经网络和自学习参数滤波器的连续血压预测方法。实验结果表明,改进SENet可以有效增加简单卷积神经网络对时序数据的预测能力,在卷积层数为二层、三层和四层时比简单卷积神经网络预测精度提升了34.8%、23.5%和36.0%,在此基础上利用自学习参数滤波器消除血压预测波形中的毛刺,最终得到平滑的连续血压预测结果。

Research on behavior recognition algorithm based on SE-I3D-GRU network

In order to effectively solve the problems of low accuracy and large amount of calculation of current human behavior recognition,a behavior recognition algorithm based on squeeze-and-excitation network(SENet) combined with 3 D Inception network(I3 D) and gated recurrent unit(GRU) network is proposed.The algorithm first expands the Inception module to three-dimensional,and builds a network based on the three-dimensional module,and expands SENet to three-dimensional,making it an attention mechanism that can pay attention to the three-dimensional channel.Then SENet is introduced into the 13 D network,named SE-I3 D,and SENet is introduced into the CRU network,named SE-GRU.And,SE-13 D and SE-GRU are merged,named SE-13 D-GRU.Finally,the network uses Softmax to classify the results in the UCF-101 dataset.The experimental results show that the SE-I3 D-GRU network achieves a recognition rate of 93.2% on the UCF-101 dataset.

基于SENet多路网络的乳腺癌转移检测

乳腺癌细胞转移是影响病患预后的重要因素,检查前哨淋巴结病理切片可诊断转移情况。传统病理学医生检查过程冗余费时且极易漏检微转移病灶。目前已有利用卷积神经网络研究乳腺癌前哨淋巴结转移的成果,但准确率不高且对微转移情况检测效果不佳。针对以上问题,基于乳腺癌前哨淋巴结病理图像数据集(PCam),设计提出了SENet多路卷积神经网络模型。模型使用堆叠多路卷积单元和SENet模块,采用跳跃跨层连接、标准卷积与深度可分离卷积融合、加和与串联操作组合等策略。使用50%的图像迭代训练35次获得模型权重,然后采用准确率与AUC值指标对测试图像进行测试,准确率为97.32%,AUC值为98.05%。对比已有研究成果和主流卷积网络模型,该模型在49%、51%、100%测试集情况下,AUC值均排名第一。结果表明,该模型对淋巴结转移检测准确率较高,且对微转移也有很好的检测性能。

基于RP-ResNet网络的抓取检测方法

针对目前机器人抓取中实时性差和小目标物体抓取效果不理想的问题,提出基于RP-ResNet网络的抓取检测方法。该方法以模型ResNet-50为基础,引入Region Proposal Network(RPN)网络与改进型空间金字塔结构,使用SENet机构增强通道注意力,充分提取不同深度语义信息,加强对高低层信息的利用,增加了抓取点检测的准确性。在Cornell数据集上进行实验验证,结果表明,RP-ResNet网络结构达到实验要求,能够提高物体检测的准确度与检测效率。

融合注意力机制的输电部件及缺陷检测模型

针对输电线路的多目标识别和缺陷检测中的错检和漏检等问题,提出SE-Faster RCNN模型。在Faster RCNN模型的基础上,将SENet模块嵌入到ResNet模型中,提取关键特征;优化候选框的生成方案;提出基于面积的非极大值抑制算法。通过微调U-Net模型的数据增广方法,构建样本量为23327的数据集,达到91.37%的检测mAP。实验结果表明,提出模型满足输电线路多目标识别和故障检测的鲁棒性和准确性要求。

基于深度学习的金属表面腐蚀等级检测研究

为了实现复杂条件下配电箱金属表面腐蚀等级的快速、较准确检测,结合深度学习对金属腐蚀检测进行深入研究。现场采集了湖北电力公司中配电箱金属表面腐蚀图片,且对配电箱所属区域环境进行了较详细的分析,获得了较好的金属腐蚀等级标签。在使用连续多层小型卷积滤波器的基础上,添加SENet特征提取模块,提出MS1Net卷积神经网络模型,并使用交叉熵损失函数对MS1Net进行优化。为了验证MS1Net有效性,针对同一网络不同损失函数之间进行对比实验,结果验证交叉熵损失函数收敛更快,loss最低值达到0.077 0。针对多个网络结构如ZFNet、VGG16和MS1Net进行对比实验,最终表明MS1Net能够更快速、更准确地对金属表面腐蚀等级进行检测,且检测准确率为98.44%。

基于Se-ResNet50特征编码器的公共环境图像描述生成

针对传统公共环境图像描述模型中编码器—解码器结构在编码过程中特征提取能力不足以及解码过程中上下文信息丢失严重的问题,提出了一种基于Se-ResNet50与M-LSTM的公共环境图像描述模型。将SeNet模块添加到ResNet-50的残差路径中得到改进残差网络提取图像特征,SeNet对特征的各个部分赋予权重生成不同的注意力特征图,再融合文本特征向量输入具有额外门控运算的改进长短期记忆网络(M-LSTM)训练。模型训练结束后,输入公共环境图像就能得到描述图像内容的自然语句。该模型在多种数据集上进行了评估,实验结果表明,提出的模型在MSCOCO数据集上相较传统模型,在BLEU-1、BLEU-2、BLEU-3、BLEU-4、METEOR、CIDEr等评价指标上分别提高了3.2%、2.1%、1.7%、1.7%、1.3%、8.2%,证明了提出的方法在评价指标、语义多样性上具有一定的优越性。

基于深度可分离卷积的多神经网络恶意代码检测模型

针对传统的恶意代码检测方法存在成本过高和检测结果不稳定等问题,提出一种基于深度可分离卷积的多神经网络恶意代码检测模型。该模型使用深度可分离卷积(DSC)、SENet(Squeeze-and-Excitation Network)通道注意力机制和灰度共生矩阵(GLCM),通过三个轻型神经网络与灰度图像纹理特征分类并联检测恶意代码家族及其变种,将多个强分类器检测结果通过朴素贝叶斯分类器融合,在提高检测准确率的同时减少网络计算开销。在MalVis+良性数据的混合数据集上的实验结果表明,该模型对恶意代码家族及其变种的检测准确率达到97.43%,相较于ResNet50、VGGNet模型分别提高了6.19和2.29个百分点,而它的参数量只有ResNet50模型的68%和VGGNet模型的13%;在malimg数据集上该模型的检测准确率达到99.31%。可见,所提模型检测效果较好,且参数量也有所降低。

基于SE-SAE特征融合和BiLSTM的锂电池寿命预测

预测锂电池剩余使用寿命(RUL)时,针对电池外部特性参量电流、电压等单一的健康因子(HI)对电池退化特性无法完整覆盖的问题,提出一种结合通道注意力机制(SENet)和栈式自编码(SAE)进行特征融合并引入双向长短期记忆(BiLSTM)实现锂电池RUL的预测方法。充分提取锂电池电压、电流等HI。利用SAE对多个锂电池HI特征进行特征融合,并结合SENet通道注意力机制,增加重要特征在提取过程中的表现能力。利用BiLSTM网络对融合HI进行训练预测。采用NASA和马里兰大学计算机辅助寿命周期工程中心(CALCE)锂电池数据集进行验证,训练预测数据均采用50%的比例划分,预测结果的均方根误差(RMSE)平均值达到0.017。

基于深度学习的美式车牌检测与识别技术

针对美式车牌存在背景图案多样、文本信息复杂,传统车牌识别方法难以同时满足对不同样式车牌进行识别的问题,通过对文本建议网络和卷积递归神经网络研究,本文提出了一种美式车牌检测与识别方法。针对美式车牌检测时产生多个文本框,且有些车牌号由于被图案隔断不在同一文本框的情况,设计了一套用于筛选车牌号的锚点机制。使用Adam优化算法训练卷积递归神经网络。本文构建了美式车牌数据集,进行验证实验,州名的识别率达到了92%,车牌号的识别率达到了84%,共同识别率达到了82%。且本文提出的网络模型大小不到60 MB,实时性强。提出的SE-MobileNetV2快速特征提取模型,大幅提高特征提取速度。

基于边缘计算的实时目标检测算法

为了解决目标检测算法——SSD算法存在模型参数过多、存储需求大、对小目标检测效果不理想、难以应用于边缘计算设备的问题,提出一种基于SSD的改进算法SFF-SSD。该算法将SSD骨干网络改为ShuffleNet V2,并将网络中的Stage2_3和Stage3_7进行特征融合,形成新的特征提取层N_Stage3_7进行目标检测。同时,使用焦点损失函数处理不均衡正负样本的方法,改善SSD算法检测精度不稳定的问题。最后,采用对不同特征通道的重要性进行重标定的方式,引入SENet,提高网络的表示能力。实验结果表明:SFF-SSD算法在VOC2007数据集上参数量为5.465 MB,检测速度为77 fps,检测精度为73.96%,因此该研究方法可以在保证实时性和检测精度的同时满足边缘设备部署的要求。

基于Double U-Net的基础设施表面裂纹检测

针对基于单一材质的基础设施表面裂纹训练模型鲁棒性弱的问题,建立不同材质的设施表面裂纹数据集,提出一种基于深度学习的双层编解码网络(Double U-Net)模型.在该模型的上层网络中,将改进的Inception模块以及挤压激励网络(squeeze-and-excitation networks,SENet)与U-Net模型的卷积层相结合,从而获取多尺度上下文信息;在下层网络中,利用连接机制实现与上层网络的结合,从而减少特征信息丢失.结果表明,所提出的Double U-Net模型在复杂背景干扰下具有良好的裂纹提取能力,可成功实现对不同基础设施表面裂纹的有效检测.此外,消融实验结果显示,在各个模块的共同作用下Double U-Net模型的F1值和交并比IoU分别较U-Net模型提高了2.99%和3.51%.

改进卷积神经网络的文本主题识别算法研究

针对于传统方法中存在的文本特征表示能力差、模型主题识别准确率低等问题,提出一种融合SENet与卷积神经网络的文本主题识别方法。将每个词对应的Word2vec词向量与LDA主题向量进行融合,并依据词语对主题的贡献度完成文档加权向量化处理;构建SECNN主题识别模型,使用SENet对卷积层输出的特征图进行权值的重标定,依靠其提升重要特征并抑制无用特征的性能,高效地进行主题识别;使用FDA评估样本的类别表征能力,提出FDA-SGD算法对模型参数进行调优,完成文本主题识别任务。使用新闻文本数据集验证改进算法的有效性,通过与传统模型对比表明,改进算法可以有效提高模型的收敛速度,具有较好的主题识别能力。