双分支结构的多层级三维点云补全

为了缓解现有点云补全方法在特征提取过程中很难平衡局部特征和全局特征的问题,提出了一种双分支结构的多层级点云补全算法。利用两个独立的分支网络分别提取出输入点云的局部特征信息和全局特征信息,再将两种特征信息进行拼接形成特征向量。使用五层联合感知机将特征向量映射成多个维度,进而提取多维特征信息并将其整合成最终特征向量。采用金字塔结构在256、512、1024特征维度上对最终特征向量进行特征解码,预测三种不同分辨率的点云。引入鉴别器网络,通过联合训练鉴别器产生的对抗损失和分层重建点云产生的补全损失去优化网络。在ShapeNet数据集上进行实验,算法显著提升了点云补全精度,并且在缺失大面积点云时也能恢复出较为完善的物体形状。

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。

结合双分支结构和无配对GAN的低光图像增强

为了解决大部分基于CNN的低光图像增强方法边缘模糊、噪声抑制不足以及对配对数据的依赖等问题,使用生成对抗网络,在生成器上引入双分支结构,可在低光图像和正常光图像无配对的情况下,进行端到端训练。第一个分支使用类U-Net结构的网络学习低光图像到正常光图像的上下文特征映射,第二个分支以低光图像的全分辨率来保留原图的细节,最后通过一个融合层融合两个分支的结果,获得最终增亮后的图像,同时加入了total variation loss来抑制图像噪声。在六个公开数据集(MEF、LIME、NPE、VV、ExDark、LOL)上进行了定性比较和定量实验。实验结果表明该方法在BRISQUE,NIQE和PIQE三种基准测试中优于其他对比算法,平均值分别为17.55、3.74和8.45。该算法增强后的图像边缘细节清晰,减弱了图像噪声。

基于双分支结构的融合多特征微博传播行为预测算法

随着微博平台的高速发展,微博转发行为预测已经成为舆情分析领域中一个热门的研究主题。针对该任务,提出一种添加多层间接粉丝用户权威度信息,基于双分支网络结构模型的微博转发行为预测算法。该方法通过对原始微博进行分析,运用潜在狄利克雷分布模型(latent Dirichlet allocation,LDA)算法提取内容特征、构建用户关系网络提取间接关注用户权威度特征等多元特征,构建基于双分支结构神经网络模型预测微博传播行为。实验结果表明,预测模型相比于其他算法在均方根误差(root mean squard error,RMSE)、平方绝对误差(mean absolute error,MAE)评估指标上都有较好的提高,验证了算法的有效性。

基于双分支结构的电网外部入侵预警识别方法

针对电力网络场景下外部入侵目标的预警识别问题,提出了一种基于双分支结构的预警识别方法。首先,利用加权重采样分支提高对尾部类的识别准确率。其次,提出动态特征集成模块解决目标尺度大小不一的问题,并基于Sigmoid函数的分支融合策略,有效地融合尾部类特征和随机采样分支提取的通用特征。最后,使用数据集验证了所提方法分类的有效性。

双分支GAN与注意力机制的火灾隐患检测算法

针对传统火灾报警在夜间等极端天气下效果不佳,受限于复杂环境等问题,提出一种基于红外与可见光图像融合的火灾预警算法。在生成对抗网络(GAN)中设计并提出双分支注意力结构。其中一条分支通过密集残差子网提取更多鲁棒的特征信息,另一条分支通过注意力子网(efficient coordinate channel attention group,ECCAG)弥补空间信息的缺失,以最大限度获取更多高频细节特征,设计并提出了一种调节损失作为损失函数,通过改进GAN算法得到融合图像,根据提出的火灾预警算法判断是否存在火灾隐患。实验结果表明:改进GAN算法得到的融合数据集目标检测的平均准确率为96.19%,相较于单一红外数据集与原始GAN算法数据集的目标检测平均准确率分别提高了11.09个百分点与6.2个百分点,在公开数据集TNO与LLVIP数据集上测试火灾患检测准确率为97.45%。结果表明,火灾预警算法可以在未发生火灾时及时预警,针对不同场景都可得到显著的检测效果。

一种场景自适应的双分支牛脸高效识别算法

随着智慧牧业的高速发展,牛脸识别已成为牛场智能化养殖的关键,但牛场养殖环境复杂且动物的自主能动性差,导致牛脸数据采集与识别过程会受到模糊、遮挡和光照等环境因素的严重干扰.针对此问题,提出一种复杂场景自适应选择双分支牛脸高效识别算法.该算法首先设计了基于像素融合的数据增强策略,通过Beta分布计算融合系数,将牛的左右脸图像按融合系数进行像素级整合,在丰富样本特征信息同时,增强网络学习模糊和遮挡下的牛脸特征,提升网络对复杂场景的泛化能力;其次,在主干特征提取网络中引入一种新型注意力机制CDAA(Composite Dual-branch Adaptive Attention),可随着场景信息变换,自适应加强通道与空间注意力分支的权重,提高网络在复杂场景下的特征筛选能力;之后,设计FaceNet与U-LBP(Uniform Local Binary Patterns)结合的双分支特征提取结构,并将提取的特征向量实现自适应加权融合,增加网络在过亮或过暗环境下的鲁棒性;最后,在损失函数中加入改进交叉熵损失(Focal Loss),根据场景信息复杂度动态调控权重系数,实现对难易分类样本自主控制.为检测算法的有效性和实时性,在特定数据集上进行消融试验,与多种典型识别算法进行对比.实结果表明,提出的算法能很好满足实时性要求,在开集测试集上准确率达到87.53%,识别速度达到108帧/s,且在复杂场景下,识别效果均优于对比网络.

基于局部-全局特征交互的双分支结肠息肉分割网络

大小、形状、颜色、纹理的多变性以及肠壁分界模糊给结肠息肉的分割带来巨大挑战.针对单分支网络连续采样操作造成部分细节信息丢失以及不同层次特征信息无法交互进而导致分割效果不佳的问题,提出一种基于局部-全局特征交互的双分支结肠息肉分割网络.网络采用CNN与Transformer双分支结构,逐层捕获息肉局部细节特征与全局语义特征;为充分利用不同层级、不同尺度特征信息的互补性,利用深层语义特征对浅层细节特征的引导与增强,设计特征协同交互模块,动态感知并聚合跨层次特征交互信息;为强化病变区域特征,抑制背景噪声,设计特征增强模块,应用空间与通道注意力机制强化息肉病变区域特征,同时采用结合注意力门的跳跃连接机制进一步突出边界信息,提高边缘区域的分割精度.实验表明,所提出网络在多个息肉分割数据集上取得的mDice与mIoU分数均优于基线网络,具有更高的分割准确率和稳定性.

基于无人船的双分支解码轻量型分割网络研究

为保证水面无人艇(USVs)进行水上任务时能够顺利航行,需要对河道信息进行精确的提取,因此,对河道语义分割的网络模型进行了研究。针对河道图像分割中类间不一致和类内不一致的问题,文中提出了分割网络DBDL-Net,网络中设计双分支解码结构和双重损失函数,分别把握语义信息和空间信息;同时在编码部分设计了多尺度残差的轻量模块,一方面减少参数,一方面以不同的比例捕捉特征信息。最后在USVIn-land数据集上对模型进行消融和对比实验,实验结果表明:DBDL-Net的精确度和平均交并比最终达到了93.619%和87.682%,与其他先进分割网络相比,DBDL-Net也具有更佳的综合表现。

基于时域扩张残差网络和双分支结构的人体行为识别

图卷积网络由于能够直接处理关节点拓扑图在行为识别方面表现出较好的性能而备受关注,但是这类方法中经常存在长时信息依赖建模能力较弱以及未关注空间语义与时间事件变化不均衡问题,对此,提出基于时域扩张残差网络和双分支结构的人体行为识别方法.在时空行为特征提取方法中,不仅用图卷积提取空间域特征,而且用扩张因果卷积和残差连接结构来构建时域扩张残差网络以提取时域特征,该网络能够在未大量增加参数的基础上有效扩大在时域上的感受野,从而更好地获得在时域上的人体关节信息的长时依赖关系.同时构建双分支结构,其中低帧率分支以较少的时间帧数和较多的通道数侧重于提取丰富的空间语义信息,高帧率分支以较多的时间帧数和较少的通道数在保证网络轻量级的前提下有效捕捉人体行为的快速变化.实验结果表明,所提出方法在NTU RGB+D数据集上的准确率高于目前先进的行为识别方法.

一种边缘梯度插值的双分支deeplabv3+语义分割模型

针对deeplabv3+解码器采用双线性插值的单一分支结构易导致图像的高频分量损失、语义分割精度不高的问题,采用索伯(Sobel)算子计算各像素点沿不同方向的边缘梯度值并结合双三次插值算法,提出一种边缘梯度插值方法;在此基础上,对1/8输入图像与编码器输出采用边缘梯度2倍上插值再经特征融合和边缘梯度2倍上插值操作,并与1/4输入图像经特征融合后再进行边缘梯度4倍上插值操作,从而提出一种边缘梯度插值的双分支deeplabv3+意义分割模型。对比实验结果表明,本文方法在VOC2012数据集上较原分割模型平均交并比指标有2.2%的提升,且对图像边缘细节分割有较好的视觉效果。

双侧分支结构管道内粉尘爆炸传播规律

为探究粉尘爆炸在工业除尘管网中的传播规律,基于1 m^(3)粉尘爆炸测试系统和自主设计的双侧分支结构管道,对双侧分支结构管道内玉米淀粉爆炸火焰传播速度和超压峰值的变化规律展开研究.实验结果表明:三种粉尘质量浓度下,火焰在主管道内的传播速度随传播距离增加均呈持续上升趋势,双侧分支结构对火焰传播具有弱化作用,且距离点火端越近,弱化作用越显著;双侧分支结构的安装位置会影响管道内超压峰值,其在距离点火端较近时呈持续衰减趋势,距离点火端较远时呈先快速下降后上升再缓慢衰减趋势.以上研究为除尘系统的防爆设计提供参考和依据.

基于双分支融合策略的遥感建筑物提取轻量化网络

针对高分辨率遥感影像建筑物提取时带来的庞大参数与计算量的问题,文章提出了双分支策略融合的轻量化语义分割网络。网络包含全局特征信息提取分支和空间信息提取分支。双分支共享图像底层特征,全局特征信息提取分支连续利用mobileNetV2中的反向瓶颈残差块结构提取特征,并利用空洞空间金字塔池化模块融合多尺度特征;空间信息提取分支添加卷积块注意力模块,更关注待分割区域的细节特征,实现精细化特征融合。最后将双分支特征融合,利用双线性插值上采样恢复图像大小。将文章模型在WHU建筑物影像数据集上进行实验,正确提取建筑物准确度可达92.09%,IoU达86.28%,模型参数大小仅为1.19 M,保证了建筑物提取精度的同时达到了轻量化预期。

基于融合特征与卷积神经网络的耳鸣偏好音自动标注研究

在耳鸣声治疗中加入患者偏好音乐可有效改善耳鸣治疗效果。为满足患者个性化偏好的音乐需求,本研究提出了一种基于logMel与Hpcp融合特征的音乐自动标注新方法。该方法首先通过提取音乐的声学与乐理相关特征,然后输入双分支EfficientNetV2-s网络,进行音乐标注。经测试,本研究方法在MTAT数据集上的ROC-AUC值达到了0.9119,相较于其他音乐标注方法,标注性能有一定提升,对耳鸣偏好音选择具有一定的参考价值。

基于BF-YOLOv5的红外及可见光图像融合的目标检测

在目标检测领域,夜间、大雾、遮挡及战场伪装等复杂的环境中,使用单一的图像传感器不足以反映全部的场景信息,难以提高复杂环境中目标检测精度。为此提出了以YOLOv5为基础的BF-YOLOv5算法,算法采用双分支结构,通过两个Backbone分别读取可见光图像和红外图像,在每个Backbone中分别融合了CBAM,通过学习的方式自动获取每个特征通道的重要程度,并且利用得到的重要程度来提升特征,抑制对当前任务不重要的特征。在Neck部分融合了BiFormer注意力机制,用来提升对小目标的检测能力。实验证明,BF-YOLOv5算法在红外及可见光FLIR数据集和LLVIP数据集上的检测精度均高于原有算法,在FLIR数据集上平均精度均值(mAP)高达86.6%,相比原有双分支算法提升了2.2个百分点,显著提高红外和可见光融合图像的检测性能。

基于自适应卷积的心电图心律分类方法

针对网络轻量化后,模型复杂度降低带来的检测性能不足等问题,提出一种基于自适应卷积的心电图(ECG)心律分类方法。首先,采用轻量级的卷积神经网络模型框架构建双分支结构,主分支提取ECG的波形特征,子分支提取ECG样本与正常心律的差异信息;然后,通过自适应卷积的方法,将ECG样本与正常心律的差异信息融入到主分支中,提高模型的检测性能;最后,在公开的数据集上进行实验,F1分数、准确率、召回率分别为93.58%、95.53%和91.70%,相较于未加入ECG样本与正常心律的差异信息的网络有明显提升,验证了该方法的有效性。

基于视点图像与EPI特征融合的光场超分辨率

光场(Light Field,LF)成像能同时捕获场景中光线的空间信息和角度信息,应用广泛。然而,它的分辨率受到成像设备硬件以及空间和角度分辨率之间制衡的限制。过低的空间分辨率严重影响了光场图像的质量及其应用。因此,本文充分利用光场特性增强图像细节,提出一种基于视点图像(Viewpoint Image,VI)和极平面图像(Epipolar Plane Image,EPI)特征融合的端到端光场超分辨率方法,能够同时超分辨率所有视点图像。本方法将低分辨率光场图像按照水平和垂直EPI方向堆叠排列,利用三维视点图像堆栈中包含EPI信息的特点,采用双分支结构的3D递减卷积网络处理输入的四维光场数据。这样能够同时对视点图像和EPI信息进行特征提取和融合,充分探索光场的纹理信息及几何一致性。在真实和合成光场数据集上的实验结果均表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保持更好的几何一致性,同时还具有更少的模型参数和更快的执行速度。