双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于并行反向投影的图像超分辨率

基于反向投影的残差特征提取与融合,可有效提升深度网络的特征提取能力,从而有益于改善图像的超分辨率重构性能.在此基础上提出了一种改进的采用并行反向投影策略的图像超分辨率深度网络,通过并行增强处于不同频段的高频特征,得到超分辨率性能的进一步提升.具体进行浅层特征提取后,网络经过多级的双路并行的反向投影特征增强模块.每一级模块中包含两个通路,分别采用顺序相反的上下采样,可同时得到处于不同频段的残差特征信息.通过对多级残差特征的融合,图像的高频特征得到不断的增强.同时网络引入了多尺度特征提取与通道注意力机制,以改进特征表达和学习能力.在多个公开的数据集上的大量实验结果表明,该方法可以有效提升超分辨率性能,并且在减少模型复杂度方面有一定的成效.

基于通道注意特征融合的轴承故障诊断方法

针对传统故障诊断方法通常依赖单域信息输入,导致信号中的部分信息丢失或信息不完整使用的问题,提出了一种基于通道注意特征融合的轴承故障诊断方法。首先,将原始信号通过快速傅里叶变换(FFT)和连续小波变换(CWT)处理得到频域和时频图。然后,将来自不同域的2个样本输入双流Ghost Module(GM)神经网络故障诊断模型中提取频域和时频域特征,并结合通道注意力机制有效融合频域和时频域的重要特征,从而获得更丰富的故障诊断信息,实现对故障信号的准确分类。最后,利用美国凯斯西储大学、中国江南大学和加拿大渥太华大学的轴承故障数据集进行实验验证。结果表明,与现行主流模型相比,基于通道注意特征融合的轴承故障诊断方法在3个数据集上的分类故障诊断准确率分别达到99.78%、98.50%和97.65%,证明该方法具有良好的诊断效果。

基于阅读技巧识别和双通道融合机制的机器阅读理解方法

机器阅读理解任务旨在要求系统对给定文章进行理解,然后对给定问题进行回答.先前的工作重点聚焦在问题和文章间的交互信息,忽略了对问题进行更加细粒度的分析(如问题所考察的阅读技巧是什么?).受先前研究的启发,人类对于问题的理解是一个多维度的过程.首先,人类需要理解问题的上下文信息;然后,针对不同类型问题,识别其需要使用的阅读技巧;最后,通过与文章交互回答出问题答案.针对这些问题,提出一种基于阅读技巧识别和双通道融合的机器阅读理解方法,对问题进行更加细致的分析,从而提高模型回答问题的准确性.阅读技巧识别器通过对比学习的方法,能够显式地捕获阅读技巧的语义信息.双通道融合机制将问题与文章的交互信息和阅读技巧的语义信息进行深层次的融合,从而达到辅助系统理解问题和文章的目的.为了验证该模型的效果,在FairytaleQA数据集上进行实验,实验结果表明,该方法实现了在机器阅读理解任务和阅读技巧识别任务上的最好效果.

基于双通道交叉融合的卷积神经网络图像识别方法研究

针对单通道卷积神经网络的特征提取不够充分、深度网络存在训练困难的问题,提出一种双通道交叉融合的卷积神经网络模型。该模型包括三个特征提取阶段,每个阶段分两条通道进行图像卷积,当两条通道的卷积结束后进行特征交叉融合,经过三次交叉融合后输入到全局平均池化层以及全连接层中得到分类结果。将该模型应用于Cifar10、Cifar100和Fashion-MNIST的图像分类任务以验证模型的有效性。结果表明,双通道交叉融合模型可以在当前支持GPU加速的主流笔记本电脑上进行训练,在同样规模的数据集上具有比同类其他模型更好的分类性能。

基于双通道时频卷积神经网络的故障电弧检测

交流故障电弧产生的高温极易点燃周围的可燃材料,是引发电线火灾的重要原因之一.准确检测不同类型的故障电弧对于预防重大火灾事故的发生具有重要意义.然而故障电弧的复杂性与隐蔽性给检测方法带来了极大挑战.基于阈值和电流特征提取的技术难以全面概括故障电弧的特征,而大多数基于深度神经网络的方法直接对电流信号进行特征学习,忽略了信号中的频率信息,从而导致泛化能力差的问题.对此,本文提出了基于时频特征学习的双通道时频卷积神经网络的故障电弧识别方法,设计了可学习的自适应离散小波变换,用于提取一维信号中的多尺度特征,同时通过短时傅里叶变换获取二维的时频图像特征,分别在这2种特征信号上进行卷积,最后将2个通道中学习的特征进行融合,用于分类预测.通过对故障电弧发生器采集到的3种工况下电弧电流信号进行性能评估,验证所提方法的有效性.实验结果表明,该方法与其他同类方法相比具有更高的电弧识别准确率,达到了97.91%.

基于双路并行卷积信息融合的刀具磨损识别

针对机械加工现场环境复杂多变,使用单一信号进行刀具磨损识别难以获取全面的刀具磨损特征信息的问题,提出一种同时利用声音信号和工件表面图像信息结合深度学习网络识别刀具磨损状态的方法。首先采集铣削加工过程中声音信号和工件表面图像数据,然后使用双路并行卷积神经网络对声音信号和工件表面图像进行特征提取及融合,最后进行刀具磨损识别。结果表明,和单一信号识别结果相比,采用信息融合方法能获取更全面的刀具磨损特征信息,有利于增强刀具磨损识别效果,且刀具磨损识别准确率和F1-score均在95%以上,能有效识别刀具磨损状况。

电力设备缺陷文本的双通道语义增强网络挖掘方法

电力设备运维环节积累的缺陷文本可指导设备的状态评价和检修工作。然而缺陷文本结构多样且背景噪声强,导致智能挖掘信息的难度大。针对该问题,提出了基于双通道语义增强网络的电力设备缺陷文本挖掘方法。首先,分析缺陷文本的内容,结合自然语言处理方法预处理缺陷文本。利用Glove词向量嵌入模型将缺陷文本映射至数值空间表征语义。然后,基于词移距离构建缺陷文本的增强文本,通过含注意力机制的双向长短时记忆神经网络分别提取缺陷文本和增强文本的特征,进而在网络末端融合特征实现关键信息加强,提升模型分类性能。实例表明,所提双通道语义增强网络的分类Macro-F1指标相比于传统机器学习方法、单通道深度学习方法至少提高6.2%、5.2%,同时所提方法为实现图像、文本等多源运维数据的特征增强提供新思路。

基于DeepLabV3+孪生网络的遥感建筑物变化检测

针对多尺度下小建筑易漏检及建筑物轮廓边界检测精度不足的情况,提出一种基于DeepLabV3+的双通道孪生网络。首先,为提高分割结果的精确度,同时避免网络层数加深带来的模型过拟合问题,采用改进后的ResNeXt50(32×4d)作为主干网络来提取特征;其次,针对孪生网络特征融合不充分的问题,设计了基于注意力的双通道融合模块;此外,为提高模型整体信息感知能力,对空洞空间卷积金字塔池化做增强处理;最后,在特征恢复阶段引入特征对齐模块和全连接CRF进一步补充和细化分割结果。在LEVIR-CD数据集上精确率(precision)、召回率(recall)和F1指数分别达到了0.9233、0.8994和0.9112。

基于双通道Transformer的地铁站台异物检测

Transformer因其全局注意力优势在异物检测上取得了比卷积神经网络(CNN)更具竞争力的结果,但依然面临计算成本高、输入图像块尺寸固定、局部与全局信息交互匮乏等问题。提出一种基于双通道Transformer骨干网络、金字塔轻量化Transformer块和通道交叉注意力机制的DualF ormer模型,用以检测地铁站台屏蔽门与列车门间隙中存在的异物。针对输入图像块尺寸固定的问题,提出双通道策略,通过设计2种不同的特征提取通道对不同尺度的输入图像块进行特征提取,增强网络对粗、细粒度特征的提取能力,提高对多尺度目标的识别精度;针对计算成本高的问题,构建金字塔轻量化Transformer块,将级联卷积引入到多头自注意力(MHSA)模块中,并利用卷积的维度压缩能力来降低模型的计算成本;针对局部与全局信息交互匮乏的问题,提出通道交叉注意力机制,利用提取到的粗细粒度特征在通道层面进行交互,优化局部与全局信息在网络中的权重。在标准化地铁异物检测数据集上的实验结果表明,DualFormer模型参数量为1.98×10^(7),实现了89.7%的精度和24帧/s的速度,优于对比的Transformer检测算法。

基于声振信号融合的设备智能诊断

单一传感器检测易受外界干扰或自身故障等多种因素限制导致滚动轴承故障诊断结果欠佳一直是设备智能诊断领域难点问题。针对上述问题,提出了一种基于声振信号融合的智能诊断方法。首先,通过传感器配置采集滚动轴承的振动信号和声音信号;然后,利用变分模态分解(variational mode decomposition,VMD)对振动信号和声音信号进行分解与重构;随后,将重构后的声振信号输入双通道卷积神经网络(dual-channel convolutional neural network,DCNN)实现故障特征提取与特征融合;最后,将提取和融合的故障特征输入至DCNN网络SoftMax层进行故障分类建模。结果表明,与基于单一振动信号的CNN故障诊断模型相比,提出的基于声振信号融合的故障诊断方法准确率可以达到99.3%,融合后的特征更能有效区分设备不同的故障状态。

跨级融合门控自适应网络用于视网膜血管分割

针对现有多数算法对浅层特征提取不足,导致分割结果中血管边界模糊、毛细血管欠分割且包含噪声等问题,提出一种跨级融合门控自适应网络。该网络中的密集门控通道变换模块,通过促进通道之间的竞争或协同关系充分提取浅层特征信息,避免浅层粗粒度特征信息丢失;通过跨层次融合模块捕获各层跨维度交互信息,有效聚合多尺度上下文特征;采用双自适应特征融合方法有效引导相邻层次特征融合,抑制噪声。在公共数据集DRIVE、CHASEDB1和STARE上进行验证,结果表明:所提网络准确率分别为0.9652、0.9668和0.9695,F_(1)值分别为0.8544、0.8152和0.8412,在多个指标上均处于较高水平,优于现有先进算法。

结合视觉显著性与Dual-PCNN的红外与可见光图像融合

针对现存的红外与可见光图像融合算法亮度不均、目标不突出、对比度不高、细节丢失等问题,结合非下采样剪切波变换(NSST)具有多尺度、最具稀疏表达的特性,显著性检测具有突出红外目标的优势,双通道脉冲耦合神经网络(Dual-PCNN)具有耦合、脉冲同步激发等优点,提出一种基于NSST结合视觉显著性引导Dual-PCNN的图像融合方法。首先,通过NSST分解红外与可见光图像各方向的高频与低频子带系数;然后,低频子带系数采用基于显著性决策图引导Dual-PCNN融合策略,高频子带系数采用改进的空间频率作为优化Dual-PCNN的激励进行融合;最后,经过NSST逆变换得到融合图像。实验结果表明,融合图像红外目标突出且可见光背景细节丰富。该方法相比于其他融合算法在主观评价与客观评价上都有一定程度的改善。

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题,提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法,实现对图像低级边缘、边界、目标轮廓的检测;首先构建了双通道主干网络,包含语义分支通道和空间细节分支通道;其次,基于多尺度原则构建了多尺度及注意力机制模块,对特征图像的高、宽、通道的维度变换,分配特征权重,在捕捉跨通道信息的同时,还能够捕捉方向感知和位置感知的信息;最后将空洞融合模块融合到语义分支通道中,提升网络提取特征信息的能力。实验结果表明,所提出的算法对光伏板图像边缘检测性能有提升,相较HED、RCF与FCN算法,F_(1)值提升了2.83%、0.37%与1.54%,获得了较为清晰的裂缝图像。

基于多特征融合的双通道医疗实体识别

针对医疗实体识别中词向量特征单一和忽略文本中局部特征的问题,提出一种基于多特征融合的双通道医疗实体识别模型。对医疗文本字形特征和卷积神经网络进行研究,发现构造的外部特征和挖掘的内部特征进行差异融合能够丰富词向量的特征信息;利用注意力机制改进的卷积神经网络实现特征优化选择,区分不同特征的重要性;设计CNN和BiLSTM并行的双通道神经网络,充分考虑文本的局部特征和上下文特征。在CCKS2017数据集上的实验结果表明,该模型能有效提高医疗实体识别的准确率。

结合改进Laplacian能量和参数自适应双通道ULPCNN的遥感影像融合方法

融合SAR影像的后向散射信息和光学影像的光谱信息是提高土地覆盖分类精度的重要手段之一,其中多尺度变换是一种有效的融合方法。然而,多尺度变换方法的融合规则通常根据局部特征信息和脉冲耦合神经网络模型进行设计,存在结构信息和细节信息提取能力有限,以及脉冲耦合神经网络参数设置复杂和空间相关性差等问题。为此,本文提出一种结合改进Laplacian能量和参数自适应双通道单位连接脉冲耦合神经网络(ULPCNN)的遥感影像融合方法。该方法混合成分替换方法和多尺度变换方法,首先对多光谱影像进行IHS变换得到亮度分量I,将亮度分量I与SAR影像通过非下采样剪切波变换(NSST)分解得到高低频子带。然后对低频子带采用结合加权局部能量和八邻域修正拉普拉斯加权和的融合规则,同时对高频子带采用参数自适应双通道ULPCNN的融合规则,将高频子带的多尺度形态梯度作为链接强度,并根据OTSU阈值和影像强度来实现其他参数的自适应表示。最后依次进行NSST重建和IHS逆变换得到融合影像,并选择随机森林分类器对融合影像进行土地覆盖分类。试验结果表明,本文方法相较于13种其他方法在11个融合评价指标和土地覆盖分类精度上总体表现最佳,土地覆盖分类的总体精度和Kappa系数在区域1中比原多光谱影像分别提高了8.350%和0.107,在区域2中比原多光谱影像分别提高了6.896%和0.091。

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。

基于概率切片累积特征的轴承双向传感器信息融合故障诊断

针对采集的轴承振动信号易受环境的影响而导致存在许多不确定性因素的现实情况,采用一种基于概率切片累积特征的轴承双向传感器信息融合故障诊断方法实现对轴承故障的定性分析。首先利用概率盒理论(P-box)将来自水平和垂直方向传感器的时域信号分别进行概率盒建模,从而减小认知不确定性带来的消极影响并充分提取多方位振动信号中故障信息;然后提取模型概率切片累积特征输入到构建的双通道并行卷积神经网络(PCNN)自适应训练,在此基础上通过在网络的全连接层之前添加一个融合层进行双向特征信息融合;最后利用归一化指数函数实现故障部位的辨识。某铁路局机务段轮对轴承数据分析结果表明,所采用方法在应对故障程度不均衡数据集时仍具有较高的准确性和稳定性,且在不同噪声条件下具有一定的鲁棒性。

基于改进YOLOv7的输电线路绝缘子识别检测研究

针对绝缘子目标尺寸小导致检测精度低、误检漏检率高的问题,提出一种基于YOLOv7改进的输电线路绝缘子检测模型。首先,将双支路融合通道注意力机制与主干部分的ELAN模块进行融合,强调重要的通道信息,抑制噪声等无用信息的干扰;其次,在特征融合部分加入局部自注意力机制,使得局部微小区域局部关注度增强;同时,在Neck部分融入BiFPN跨层连接,在增加部分计算量的同时,使得边缘信息得到更好的保留,更利于小目标的检测;最后,以精确度、召回率、平均精度均值等作为评价指标,对采集的数据集进行了消融实验和对比实验。实验结果表明,改进后的网络模型对输电线路绝缘子检测精度为92.1%,相比于传统的YOLOv7网络模型提高3%,并且其平均检测均值、召回率分别提高3.1%、3.6%;同时,改进的模型在各个评估指标上相比YOLOv5-ECA和Faster-R-CNN等均有显著优势,针对输电线路绝缘子检测具有良好效果。