基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。

基于深层动态特征双流网络的高效行为识别算法

为了更高效地获得视频中的行为信息,提出一种结合时域卷积与双流卷积网络的人体行为识别算法。利用多层时域卷积从视频获取动态信息,得到二维的深层动态特征;构建双流卷积网络并采用深层动态特征代替光流特征作为运动信息流的输入;加权融合双流结果,获得对行为的判定。在公开数据集UCF101、HMDB51与NTU-RGBD-60测试,最高准确率为94.2%、70.9%与89.1%(跨对象实验)。当与经典算法ECO(Efficient Convolutional Network)和TSM(Temporal Shift Module)准确率相近时,平均并行速度分别提高2.1倍和3.6倍。所研究算法提高了计算效率,更具有实用性。

基于跨模态引导和对齐的多模态预训练方法

现有的视觉语言多模态预训练方法仅在图像和文本的全局语义上进行特征对齐,对模态间细粒度特征交互的探索不足.针对这一问题,本文提出了一种基于跨模态引导和对齐的多模态预训练方法.该方法在模态特征提取阶段,采用基于视觉序列压缩的双流特征提取网络,在视觉编码器中联合图像和文本信息逐层引导视觉序列压缩,缓解与文本无关的冗余视觉信息对模态间细粒度交互的干扰;在模态特征对齐阶段,对图像和文本特征进行细粒度关系推理,实现视觉标记与文本标记的局部特征对齐,增强对模态间细粒度对齐关系的理解.实验结果表明,本文方法能够更好地对齐视觉文本的细粒度特征,在图文检索任务中,微调后的图像检索和文本检索的平均召回率分别达到了86.4%和94.88%,且零样本图文检索的整体指标相较于经典图文检索算法CLIP(Contrastive Language-Image Pre-training)提升了5.36%,在视觉问答等分类任务中,准确率也优于目前主流多模态预训练方法.

基于光度立体和双流特征融合网络的工业产品表面缺陷检测方法

表面缺陷检测是现代工业生产流程中的重要环节。现有的视觉缺陷检测方法一般通过对目标对象的单幅RGB或灰度图像进行分析,利用缺陷与背景之间的差异性特征实现检测,适用于目标与背景呈较大区别的对象,如金属表面的氧化、斑点缺陷检测。但单纯的RGB图像无法有效地表征主要由深度变化形成的凹坑、凸包等3维缺陷特征,最终导致漏检。为此,文中根据多方向光照成像及光度立体原理提取待测对象表面的3维几何形貌信息;接着,利用对比度金字塔融合算法对原始的多方向光照图像进行有效融合,得到增强的缺陷的2维RGB融合图像特征;然后,在多目标检测框架YOLOv5的基础上,以上述几何形貌及RGB融合图像为输入,构建一种基于双流特征融合的缺陷检测网络模型,该模型引入了空间通道注意力残差模块和门控循环单元特征融合模块,能在多个层级对不同模态特征进行有机融合,实现对表面缺陷的2维RGB及3维形貌信息的有效提取,达到同时应对2维和3维缺陷检测的目的;最后对若干典型工业产品表面缺陷进行检测实验。结果表明,文中方法在多个数据集上的平均检测准确率均超过90%,且能同时应对2维、3维缺陷的检测,检测性能优于目前的主流方法,能够适应不同工业产品表面的检测需求。

基于双流交互学习的长时空换装行人重识别

近年来深度行人重识别已取得快速进展,但长时空换装问题仍颇具挑战.为此构建一种双流交互学习算法模型(interactive dual-stream learning,IDSL):基于现有公开数据集生成无服装辅助模态图像,构建主辅双流分支网络来分别学习原始图像和无服装模态图像的细粒度特征;设计一种多尺度特征级联融合器(multi-scale feature cascade fusion,MSFCF),对细粒度特征进行重组并引进交叉注意力机制来实现全局语义和局部细节间的联合建模,提升模型鲁棒性;提出一种具有软惩罚机制的颈部网络(soft penalty batch normalization neck network,SoftBNNeck)来更好地区分度量学习和分类学习,使模型训练更稳定和可控;最后定义了双流一致性约束损失(dual-stream consistency constraint loss,DCCLoss)并探索了多损失联合训练策略,以更好地衡量换装行人身份的概率分布差异,提升重识别准确度.实验表明,在复杂换装行人公开数据集LTCC和Celeb-reID上,Rank-1/mAP分别达到73.8%/47.9%和66.7%/22.6%,领先于同类研究算法.

基于通道注意特征融合的轴承故障诊断方法

针对传统故障诊断方法通常依赖单域信息输入,导致信号中的部分信息丢失或信息不完整使用的问题,提出了一种基于通道注意特征融合的轴承故障诊断方法。首先,将原始信号通过快速傅里叶变换(FFT)和连续小波变换(CWT)处理得到频域和时频图。然后,将来自不同域的2个样本输入双流Ghost Module(GM)神经网络故障诊断模型中提取频域和时频域特征,并结合通道注意力机制有效融合频域和时频域的重要特征,从而获得更丰富的故障诊断信息,实现对故障信号的准确分类。最后,利用美国凯斯西储大学、中国江南大学和加拿大渥太华大学的轴承故障数据集进行实验验证。结果表明,与现行主流模型相比,基于通道注意特征融合的轴承故障诊断方法在3个数据集上的分类故障诊断准确率分别达到99.78%、98.50%和97.65%,证明该方法具有良好的诊断效果。

基于高效双流输入结构的自动调制识别方法

自动调制识别是现代通信系统中一项重要技术。为提高通信系统对不同调制信号间的识别性能,文中首先探索了包含11类调制信号的公开数据集RML2016.10A上原始同相正交(In-phase and Quadrature,IQ)格式数据和经过数据预处理后的幅度和相位(Amplitude and Phase,AP)格式数据的差异;随后,依据原始IQ格式数据和AP格式数据在特征提取过程中对局部相关性及时序特征敏感性的差异,设计了针对空间特征提取的SFE-Block模块、针对长期依赖关系提取的TFE-Block模块,以及联合时空特征提取模块STFE-Block,并将前两者的输出特征作为STFE-Block模块输出特征的重要补充进行特征融合,以全连接(Fully Connected)层负责最终分类。实验结果表明,本模型在数据集RML2016.10A上表现良好。当信噪比(Signal to Noise Ratio,SNR)低于-8 dB时,平均识别精度比其他模型提升7%,而SNR在0~18 dB时,平均识别精度比其他模型提高1%~8%,且在SNR为16 dB时,最高识别精度达92.95%。此外,在RML2016.10B数据集上重复了实验以检验模型泛化性,所得结果同样最优,且当SNR为12 dB时,最高识别精度达到93.6%。

品牌电商的直播模式选择与直播双渠道决策模型

直播带货是当前企业促销的利器。基于博弈论方法,在无粉丝效应和存在粉丝效应两种情况下,构建品牌电商分别引入自营直播和网红主播直播下的两种直播双渠道决策模型,并进行模型求解和数值仿真分析。研究发现:品牌电商引入直播渠道可提升总体收益,品牌电商的直播模式选择受到消费者直播渠道偏好、网红主播的佣金率、粉丝规模等因素的影响,两种直播模式下定价和直播营销努力水平受到消费者直播渠道偏好、主播影响力、粉丝规模及佣金率影响,粉丝效应将推升直播模式下的产品售价。

基于双分支多头注意力的场景图生成方法

针对已有场景图生成模型获取上下文信息有限的问题,提出一种有效的上下文融合模块,即双分支多头注意力(dual-stream multi-head attention, DMA)模块,并将DMA分别用于物体分类阶段和关系分类阶段,基于此提出基于双分支多头注意力的场景图生成网络(dual-stream multi-head attention-based scene graph generation network, DMA-Net)。该网络由目标检测、物体语义解析和关系语义解析3个模块组成。首先,通过目标检测模块定位图像中的物体并提取物体特征;其次,使用物体语义解析模块中的节点双分支多头注意力(object dual-stream multi-head attention, O-DMA)获取融合了节点上下文的特征,该特征经过物体语义解码器获得物体类别标签;最后,通过关系语义解析模块中的边双分支多头注意力(relationship dual-stream multi-head attention, R-DMA)输出融合了边上下文的特征,该特征经过关系语义解码器输出关系类别标签。在公开的视觉基因组(visual genome, VG)数据集上分别计算了DMA-Net针对场景图检测、场景图分类和谓词分类3个子任务的图约束召回率和无图约束召回率,并与主流的场景图生成方法进行比较。实验结果表明,所提出的方法能够充分挖掘场景中的上下文信息,基于上下文增强的特征表示有效提升了场景图生成任务的精度。

基于双流特征互补的嵌套命名实体识别

针对以往句子在文本编码后不能获得高效的特征信息,提出一种基于双流特征互补的嵌套命名实体识别模型。句子在嵌入时以单词的字级别和字符级别两种方式嵌入,分别通过神经网络Bi-LSTM获取句子上下文信息,两个向量进入低层级与高层级的特征互补模块,实体词识别模块和细粒度划分模块对实体词区间进行细粒度划分,获取内部实体。实验结果表明,模型相较于经典模型在特征提取上有较大的提升。

基于Swin Transformer的双流遥感图像时空融合超分辨率重建

遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息,生成同时具有高时序密度的高分辨率遥感图像,它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展,研究者们提出了一系列基于CNN的时空融合方法,然而由于卷积的局限性,这些方法在全局信息提取方面仍然存在不足。受Swin Transformer全局能力的启发,提出一种基于Swin Transformer的超分辨重建模型。在特征提取阶段,引入双流结构,将特征提取网络分为两个部分,分别提取时间信息与空间信息,并通过Swin Transformer的全局能力提升模型性能。在特征融合阶段,引入结合通道注意力与空间注意力的卷积块注意力模块(CBAM),用于增强重要特征,提升图像重建精度。在Coleambally灌溉区(CIA)与Gwydir下游流域(LGC)数据集上将该模型与多种时空融合超分辨率重建模型进行对比实验,结果表明该模型在各项评价指标上均取得了最优的结果,具有更出色的性能和更强的泛化能力。

基于帧内-帧间自融合的双流泛化人脸伪造检测方法

现有人脸伪造检测方法往往在已知伪造类型上表现良好,但面对未知数据时检测性能有所下降,模型易受到过拟合的影响,检测泛化性不足。针对此问题,提出一种基于帧内-帧间自融合的双流泛化人脸伪造检测方法,从数据增强和检测器改进2个方面提高检测泛化性。设计帧内-帧间自融合模块,分别利用同帧人脸、帧间人脸进行数据增强:帧内自融合子模块利用同帧人脸生成训练数据,从而避免人脸图像身份信息干扰;帧间自融合子模块利用伪造视频的帧间不一致性,进一步构造多样性丰富、逼真的训练数据集,从而有效防止模型的过拟合,确保检测模型的泛化能力。此外,设计基于通道注意力机制的双流特征融合网络,在网络的浅层提取RGB特征、高频特征并进行融合来挖掘伪造信息,在提升模型性能的同时缓解网络的参数增长。将模型在4个数据集上与9种主流检测方法进行对比实验,结果表明:在跨数据集实验中,所提方法较次优方法AUC均值提高1.52个百分点,EER均值降低1.5个百分点;在跨伪造方法实验中,所提方法在4种伪造方法子数据集上均取得最优或次优效果。实验结果验证了该方法优秀的泛化能力。

基于双流神经网络的个性化联邦学习方法

经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上的问题。针对PFL中的性能与扩展的难题展开研究,提出基于双流神经网络结构的联邦学习模型,简称FedDual。双流神经网络模型通过增加一个用于分析客户端个性化特征的编码器,既能拥有个性化模型的性能,又便于扩展到新客户端。实验结果表明,相较于经典联邦平均(FedAvg)算法,FedDual在MNIST和FashionMNIST等数据集上的准确率有明显提升,而在CIFAR10数据集上的准确率提升了10个百分点以上,且面对新客户端保持准确率不下降,实现了“即插即用”,解决了新客户端难以扩展的问题。

改进的双流多模态信息融合坐姿识别方法

不正确的坐姿通常会导致青少年近视、脊柱侧弯和退行性疾病。研究能够快速、准确识别不规律坐姿的智能监测技术,有助于保持正确的姿势并预防健康问题。为了解决RGB图像易受光照强度以及遮挡因素的干扰并造成的识别率不高等问题,通过采用双流RGB-D图像作为双输入,利用ResNet网络中的残差结构改进EfficientNet基线网络结构,提出了一种基于改进R-EfficientNet的双流RGB-D多模态信息融合的坐姿识别方法。试验结果表明,提出的R-EfficientNet融合方法模型对8种坐姿的识别均值平均精度(mean average precision,mAP)达到了98.5%。与CNN、Vgg16、ResNet18、EfficientNet、RGB-D不同的输入方法相比,所提方法获得了最高的识别率。该方法不仅可以用于坐姿客观监测,具有医学和社会效益,此外还为人体工学研究者们提供改进办公家具的方案。

基于双路时空网络的驾驶员行为识别

驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一,因此识别驾驶员行为具有工程应用上的重要意义。目前,主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究,针对全局空间特征及长时序相关性特征研究较少,这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题,提出一种基于双路时空网络的驾驶员行为识别方法,整合不同时空通路的优点以提高行为特征丰富度。首先,使用一种改进的双流卷积神经网络(TSN)对时空信息进行表征学习,同时降低提取特征的稀疏性;其次,构建一种基于Transformer的串行时空网络补充长时序相关性信息;最后,联合双路时空网络进行融合决策,增强模型的鲁棒性。实验结果表明,所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率,特别是在SynDD1上,与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点;消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。

基于双流增强编码和注意优化解码的图像篡改定位算法

主流图像篡改定位方法通常通过简单操作融合不同流的不一致特征,导致特征冗余且篡改区域的像素误检。基于此,本文提出基于双流增强编码和注意优化解码的图像篡改定位框架。首先,提出双流增强编码分别对图像和频域特征进行基于噪声和通道注意力的自增强和基于特征映射的交叉注意权重的交互增强。随后,引入多级感受野策略探索多尺度上下文信息,设计邻阶特征聚合模块融合多尺度相邻特征。最后,利用篡改区域和非篡改区域协同增强模型的篡改定位能力,提出注意优化解码模块,消除初始篡改区域预测中边缘像素的错误预测,逐步精确细化篡改定位。在4个主流公共基准数据集NIST16、Coverage、Columbia、CASIA和两个现实挑战数据集IMD20、Wild上与主流篡改定位方法进行对比,本文算法在无微调模型和微调模型两个设置下,在6个数据集上的性能最优,证明本文提出的篡改定位网络能够充分利用多种篡改线索,在不同的篡改数据集上实现篡改区域的有效定位,具有更高的定位精度和更强的鲁棒性。

双特征流融合和边界感知的显著性目标检测

显著性目标检测是计算机视觉领域的热门研究方向之一,许多基于深度学习的检测算法虽然已经取得了显著的成果,但是仍然存在待测目标漏检误检和边界模糊等问题。针对这些问题提出了一种基于双特征流融合和边界感知的目标检测算法,通过改变输入图像尺寸来丰富多尺度信息,并自顶向下逐层聚合特征得到精细的预测结果。首先将输入图像调整为两种不同分辨率分别送入编码器,提取丰富的多层级特征形成双特征流;其次将双特征流自顶向下逐层融合,生成由粗到细的显著图;最后构建了边界感知结构,凭借上下文语义信息的指导生成精细的物体轮廓。在五个公开数据集上进行了大量实验,实验结果表明,所提算法在结构相似性(Sm)等多个指标上取得了更高的检测精度,生成的显著图目标完整且边缘清晰。

基于文本特征融合的双流生成对抗修复网络

为解决深度学习技术存在特征挖掘不充分、语义表达不完整等问题,消除修复图像存在伪影或模糊纹理等现象,本文构建了上下文特征融合的双流生成对抗修复网络,以实现重建、感知与风格损失的补偿,从而使修复后的图像实现全局一致性。该网络采用融入注意力机制的U-Net作为主干网络,充分提取图像结构和纹理特征。采用上下文本特征融合网络充分挖掘图像高级语义及特征信息的上下文关系,实现空洞区域的结构及纹理特征的填充与精细修复。采用结构与纹理双流鉴别器来估计纹理和结构的特征并统计信息来区分真实图像和生成图像。采用基于语义的联合损失函数以增强修复图像在语义上的真实性。将本文算法与对比算法中表现最好的CTSDG算法在CelebA和Places2数据集上进行对比,其中PSNR与SSIM值在CelebA上分别提升2.74 dB和5.80%,FID下降4.02;PSNR与SSIM值在Place2上分别提升4.15 dB和3.33%,FID下降2.33。因此,改进的图像修复方法的客观评价指标更优,能够更加有效地修复破损图像的结构和纹理信息,使得图像修复的性能更佳。

面向新型电力系统的粗糙集和双流网络自动化物联设备故障诊断方法研究

在新型电力系统中,自动化物联设备类型多样,性能参数和状态指标众多,而目前主流基于深度学习的故障诊断方法,也存在参数较多、算法复杂等问题,难以满足实时应用。因此,文中提出一种基于粗糙集(rough set,RS)和双流网络(dual-stream network,DSN)的自动化物联设备故障快速诊断方法。首先构建物联设备故障判定函数,计算高压侧三相电流,针对连续属性和定性属性,采用离散化算法进行约简,输出故障特征集;然后利用卷积神经网络(convolutional neural network,CNN)和门控循环单元(gated recurrent unit,GRU)组成的DSN对历史故障信息进行训练,最终实现快速故障诊断。实验证明所提方法能够精准检测新型电力系统的自动化物联设备故障,具有良好的应用性能,和同类深度学习算法相比,精准率平均提升4.35%,时间平均下降14%。

BERT和LSI的端到端方面级情感分析模型

针对现有基于端到端方面的情感分析(E2E-ABSA)方法研究中没有充分利用文本信息的不足,提出了一种基于BERT与融合词性、句法信息(lexical and syntactic information,LSI)的模型LSI-BERT。使用BERT嵌入层和TFM特征提取器来提取语义信息,并通过工业级自然语言处理工具SpaCy提取词性信息,引入两个权重因子α和β对语义与词性信息进行融合;采用图注意网络(graph attention networks,GAT)根据句法依存树生成的邻接矩阵进行句法依存信息的提取;利用双流注意力网络针对句法依存信息和融合了词性信息的文本信息进行融合,使这两种信息实现更好的交互。实验结果表明,模型在三个常用基准数据集上的性能优于当前代表模型。