基于双分支网络的表面肌电信号识别方法

针对目前表面肌电信号(sEMG)手势识别细节信息提取不充分,对相似手势区分困难的问题,提出基于加强二维化特征的双分支网络(ETDTBN)模型.该模型通过加强二维化方法生成二维特征图,使用多层卷积神经网络(ML-CNN)提取sEMG的空间特征,利用双向门控循环单元(Bi-GRU)提取原始信号的时序特征.考虑到不同的特征对网络的影响程度不同,引入自适应特征融合机制对不同分支进行融合,强化有用特征并弱化无用特征,提高表面肌电识别的准确率.实验在电极偏移和不同受试者2种情况下对ETDTBN进行训练与测试,与主流的肌电手势识别模型进行对比.可知,ETDTBN的总体识别准确率分别为86.95%和84.15%,准确率均为最优,证明了该模型的有效性.

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83%和87.50%,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.

双分支网络架构下的图像相似度学习

图像相似度学习是指通过网络学习图像内容信息来预测两张图像是否匹配。迄今为止,基于卷积神经网络改进的变体网络有效提升了学习效率,但由于提取特征比较单一无法准确描述图像特征,导致相似度学习效率较低。为此,本文提出一种基于卷积神经网络结构的双分支网络。该网络为左右分支网络结构相同,但权值不共享,网络输入为双分支输入。首先由左右分支网络分别提取单通道图像特征;然后通过特征融合层进行特征融合;最后将融合特征直接输入全连接层进行相似度学习,既改善了提取的图像特征多样性,又加快了模型训练速度。在实验室工业相机拍摄的芯片卡槽图像数据集上进行对比试验,结果表明,相比其他模型,本文提出的模型具有较强的网络学习能力和模型泛化能力,准确率高达97.96%。

TB-MYOLO:融合MLP与YOLOv5的双分支网络船舶目标检测方法

针对复杂场景下可见光卫星遥感影像的多类别船舶目标检测中易产生误检、漏检的问题,基于YOLOv5算法改进,提出了一种融合MLP的双分支网络船舶目标检测方法TB-MYOLO.该算法通过引入分支网络作为辅助以增强小目标的特征表达能力,分支网络只负责关注小目标物体的学习,携带更多的浅层位置信息.将分支网络学习到的小目标特征向量与主干网络学习到的小目标特征向量相融合,使小目标特征在网络中占有更大的比重,以此增强模型对目标位置的特征学习能力.同时使用MLP模块代替原始YOLOv5的SPPF模块,利用MLP的特征长依赖性的特点对深层网络的特征向量进行筛选加权,突出重点信息,避免了池化层带来的信息损失.实验结果表明,相比原始YOLOv5算法,改进后的TB-MYOLO算法显著提升了小目标类别的召回率和定位精度.对于复杂场景下可见光卫星遥感影像的多类别船舶目标检测,平均准确率mAP50达到了80.8%,相比原始YOLOv5、Retinanet和Faster R-CNN算法、改进后的TB-MYOLO算法,分别提升了2.4%、24.5%和28.1%.

基于视频放大和双分支网络的微表情识别

微表情是指当人们想要隐藏其真实情绪时,所自发产生的表情,持续时间在1/5 s之内,其面部肌肉运动短暂、幅度微小,有限的数据集使得特征提取变得困难,给其识别带来巨大的挑战。针对这些问题,本文提出一种基于图像预处理技术和双分支网络的识别方法,首先利用先进的人脸对齐网络获取有效的面部表情区域,再采取欧拉视频放大技术捕捉面部动作的微弱变化,以及提取光流信息作为视频序列的特征,然后将光流信息不同组合的特征图输入到双分支分类网络中得到表情标签输出。在SMIC和CASMEⅡ两个公开的数据集上进行实验,采用留一法交叉验证,准确率分别达到0.545和0.584,实验结果的定量分析和定性分析均验证了所提出识别模型的有效性。

双分支网络的苹果叶部病害识别

由于复杂背景环境和病斑相似性的影响,苹果叶部病害特征间存在细微的类间差异以及较大的类内差距,给苹果叶部病害识别造成极大困难。针对以上问题,提出了一种新型双分支网络的苹果叶部病害识别方法(DBNet)。DBNet的双分支网络结构由多尺度联合分支(MS)以及多维度注意力分支(DA)构成。首先多尺度联合分支通过不同类型卷积核和跨层连接融合不同尺度层级间的病害特征,用于缓解复杂背景环境带来的不利影响。同时多维度注意力分支通过融合宽、高、通道三个不同维度的注意力,使网络关注病斑间的微小差异,并随着网络层数的加深自动改变三个维度注意力所占比重,该分支用于缓解部分病斑相似性带来的不利影响。最终DBNet将双分支网络提取到的多尺度特征和多维度特征进行融合。并在苹果叶部病害数据集上,与AlexNet、VGG-16、ResNet-50、B-CNN等模型进行实验对比,结果显示所提方法能够有效地提升识别精度。

基于双分支网络特征融合的车辆重识别方法

车辆重识别目的是通过不同的摄像机来识别同一辆车。但是由于车辆图像类内差异性大、类间相似性大,使得车辆重识别成为一个极具挑战性的任务。本文提出了一个基于双分支网络特征融合的车辆重识别方法来解决这一问题。该方法使用2个分支和批擦除策略提取并融合全局特征和局部特征,以突出车辆图像的类内相似性和类间差异性;并且采用圆损失代替传统的三元组损失和交叉熵损失的组合来构造目标函数。最后使用本文方法在VeRi-776和VehicleID两个公共数据集上进行实验,结果表明其检索精度比现有方法提高5%左右,证明了本文方法的有效性。

基于双分支网络联合训练的虚假新闻检测

虚假新闻在社交媒体上的广泛传播,给社会带来了不同程度的负面影响。针对虚假新闻早期检测任务中,社交上下文信息不充分的问题,提出一种基于双分支网络联合训练的虚假新闻检测模型。该模型由最大池化网络分支(max pooling branch,MPB)和广义均值池化网络分支(generalized mean pooling branch,GPB)组成。MPB采用卷积神经网络对新闻文章进行文本特征提取,GPB引入了可训练的池化层,学习新闻文章潜在的语义特征。同时,在每个分支网络中,对新闻标题和正文之间进行语义关联性度量。最终,对两个分支网络联合训练后的结果进行决策融合,判断新闻的真实性。实验结果表明,提出的模型在准确率、召回率、F1值评测指标上均优于基线模型,F1值达到94.1%,比最优的基线模型提升了6.4个百分点。

基于时空双分支网络的行为检测与识别技术研究

针对传统行为识别方法难以适应复杂的电厂环境,且未充分利用监控视频的时序信息等问题,提出了一种基于时空双分支网络的行为检测与识别技术。该技术利用时空双分支网络提取图像特征,分别基于卷积神经网络、循环神经网络获取图像的空域及时域特征,且使用混合组卷积与横向连接完成特征融合。同时将融合特征作为Softmax分类函数的输入,并经过分数计算得到行为类型。以某电厂的视频监控数据集为样本进行的实验分析结果表明,所提技术方案的行为识别准确率高达94%,且收敛速度快,优于其他对比技术,能够有效解决电厂的行为检测与识别问题。

基于双分支网络和领域对抗的埋地管道状态识别研究

针对活动断裂带、采空区跨工况埋地管道不同的服役环境,在不同工况下的不同故障模式下的应变有着差异性且埋地管道采空区数据库建立较为困难的现状,直接影响了埋地管道在线监测的预警精度难题。为建立埋地管道健康状态与监测应变特征的对应关系,提出一种基于双分支网络和领域对抗的跨工况埋地管道状态识别方法。该方法首先使用双分支网络训练出埋地管道在活动断裂带工况下的识别模型;模型准确率为94.95%,提高活动断裂带预警精度,进一步根据活动断裂带、采空区数据特征联系,接着使用领域对抗的方法训练出采空区埋地管道健康状态与应变对应关系网络模型;可以实现小样本下采空区精准预测。最后通过实验表明该方法在线监测的预警精度为96.61%,证实该方法有效性。

融合形状结构恢复和细节补偿的双分支点云修复网络

针对传统点云修复中难以有效地保持原始形状细节结构信息的问题,提出一种融合形状全局结构恢复和局部细节补偿的双分支点云形状修复网络.网络中的形状全局结构恢复分支为编解码-解码器结构,编码器对缺失点云数据进行特征变换以克服点云形状的旋转不变性,利用最大池化操作解决点云的无序性问题,并通过多层感知器生成原始点云的特征码字,解码器对编码得到的特征码字使用4个二维网格进行2次折叠操作,拟合点云形状得到粗修复结果;为了补偿点云粗修复结果的形状细节信息,网络中的局部细节补偿分支对编码器提取得到的不同维度特征,通过层次特征学习和多层次特征融合学习点云形状的几何结构特征,有效地恢复缺失点云数据并保留原始形状细节信息;最终将经全局结构恢复分支和局部细节补偿分支分别得到的点云数据拼接融合,再进行迭代最远点重采样,得到点云形状精修复结果.实验结果表明,在ShapeNet数据集上,所提网络比已有网络修复结果的平均CD误差和平均EMD误差分别低16%~29%和19%~65%;在ModelNet数据集上,比已有网络修复结果的平均CD误差和平均EMD误差分别低6%~41%和31%~59%;该网络可以修复原始形状的整体结构信息并能有效地恢复其形状细节,生成采样点分布均匀的完整点云模型,且对模型噪声和不同程度的模型缺失均具有鲁棒性.

结合空间域和频域信息的双分支低光照图像增强网络

针对低光照图像增强中纹理细节模糊和颜色失真的问题,从空间域和频域信息结合的角度出发,提出一个端到端的轻量级双分支网络(SAFNet)。SAFNet使用基于Transformer的空间域处理模块和频域处理模块在空间域分支和频域分支分别对图像的空间域信息和傅里叶变换后的频域信息进行处理,并通过注意力机制引导两个分支的特征进行自适应融合,得到最终增强的图像。此外,针对频域信息提出一个频域损失函数作为联合损失函数的一部分,通过联合损失函数在空间域和频域都对SAFNet进行约束。在公开数据集LOL和LSRW上进行实验,在LOL上,SAFNet在客观指标结构相似性(SSIM)和学习感知图像块相似度(LPIPS)两项指标上分别达到0.823和0.114;在LSRW上,峰值信噪比(PSNR)和SSIM分别达到17.234 dB和0.550,均优于LLFormer(Low-Light Transformer)、IAT(Illumination Adaptive Transformer)、KinD(Kindling the Darkness)++等主流方法,且网络参数量仅为0.07×10^(6);在DarkFace数据集上,使用SAFNet作为预处理步骤对待检测图像进行增强,可以使人脸检测平均精确率从52.6%提升至72.5%。实验结果表明,SAFNet能有效提高低光照图像的质量,并能显著改善下游任务低光照人脸检测的性能。

一种基于双分支注意力神经网络的皮肤癌检测框架

皮肤癌是一种主要的癌症,在过去几十年中快速增长,早期发现可以极大提高治愈率。近年来,基于皮肤镜图像利用深度学习模型(尤其是各种卷积神经网络)对皮肤癌进行识别和分类获得了广泛应用。但是与传统的图像识别分类不同,皮肤病检测任务存在数据不平衡、类间差异性小以及皮损面积占比少等方面的挑战。为此,本研究提出一种基于双分支注意力卷积神经网络(DACNN)皮肤癌分类框架。在数据预处理阶段,根据更细粒度的皮肤病类别,对数据集进行分解,降低数据不平衡程度。从网络结构上,上分支网络利用注意力残差学习(ARL)模块有效提取潜在的病变区域特征,接着利用损伤定位网络(LLN)模块定位病变区域。对其裁剪放大输入由ARL构成的下分支网络,进行局部细节的特征提取,然后结合上下分支网络的特征,进行有效的识别。最后,为了进一步缓解数据不平衡问题,在训练阶段中采用加权损失函数。在包含10015张皮肤镜图像数据集上,对所提出的DACNN模型与几种典型的皮肤病变检测框架进行了实验验证和比较。结果表明,DACNN皮肤癌变检测框架的Sensitivity、Accuracy和F1_score等性能指标分别达到了0.922、0.942和0.933,与已有的递归注意力卷积神经网络模型RACNN相比,以上3个指标分别提升了3.48%、2.95%和3.44%。总之,对于各类图像数不平衡,类间图像差异性小以及皮损面积占比少的皮肤镜图像而言,采用适当的类分解,以及双分支注意力神经网络结构首先对潜在的病变区域进行定位放大,然后进行局部细节的特征提取,能够极大的提高皮肤癌的检测准确度。

基于双分支卷积神经网络和迁移学习的刀具磨损状态预测方法

刀具作为切削过程中状态变化最多的要素,其实时健康状态直接影响加工精度和生产质量。在同一工况下,模型在历史刀具磨损数据集下训练完成后,在新采集的刀具磨损数据集中数据分布不同,不能准确预测刀具的磨损状态。针对这一现象,提出一种基于双分支卷积神经网络和迁移学习的刀具磨损状态预测方法,双分支结构提高了网络的收敛速度和精度。迁移学习通过使用最大均值差异的方法对齐源域和目标域的边缘分布,提升模型在目标域上的性能。经实验验证,迁移后的模型在新采集数据集上预测准确率和有标签迁移学习准确率相差不大,证明该方法能够在新采集数据集上较为准确地预测刀具磨损状态。

基于双分支卷积网络的玉米叶片叶绿素含量高光谱和多光谱协同反演

针对智慧农业中叶绿素的精准预测问题,本文提出了基于双分支网络的玉米叶片叶绿素含量高光谱与多光谱协同反演的方法。使用欠完备自编码器进行数据降维,捕捉数据中最为显著的特征,使降维后的数据可以代替原始数据进行训练,从而加快训练效率,使用双分支卷积网络将多光谱数据用于填充高光谱数据信息,充分利用高光谱数据的空间细节信息,再结合1DCNN建立玉米叶片叶绿素含量预测模型。结果表明,与传统降维算法相比较,欠完备自编码器处理后预测结果最佳,决定系数R2为0.988,均方根误差(RMSE)为0.273,表明使用欠完备自编码器进行降维可以有效提高数据反演精度;与单一的高光谱数据反演模型和多光谱数据反演模型相比,双分支卷积网络预测模型均取得较优的预测结果,R2在0.932以上,RMSE均在1.765以下,表明基于双分支卷积网络的高光谱与多光谱图像协同反演模型可以有效地利用数据的特征;对于其他数据结合本文提及的双分支卷积网络模型进行反演,其R2均在0.905以上,RMSE均在2.149以下,表明该预测模型具有一定的普适性。

基于双分支分割网络的复杂环境车道线检测方法

对车道线实现准确检测是自动驾驶中的关键技术。针对现有的车道线检测方法对复杂工况下的车道线检测精度不足的问题,提出一个面向复杂场景下的车道线检测模型。基于LaneNet网络设计一种双分支分割网络,利用网络模型中的损失函数使图像像素点占比提高,实现网络参数的优化。通过编码器与解码器结构对车道线采样,实现语义分割与车道线像素点嵌入分割;并通过自适应DBSCAN聚类算法实现对邻域半径和最小样本个数两个参数的自主选择,引入H-Net网络中的图像逆透视变换与车道线拟合实现检测。最后,利用图森数据集对所设计模型进行验证。结果表明,所提出的车道线检测模型有较高的精度,能实现复杂场景下的车道线检测。

基于双分支注意力网络的青光眼诊断方法

通过分割眼底图像的视杯(OC)与视盘(OD)区域并计算二者直径之比得到的杯盘比(CDR)是诊断青光眼的一个重要指标,然而现有视杯/视盘分割方法的准确度较低,为此提出一种基于双分支注意力网络的青光眼诊断方法。首先,在图像输入主干网络前使用边界到像素方向(BPD)方法增强眼底图像的轮廓信息;其次,在网络编码器部分结合ConvNeXt的全局交互优势以及U-Net的局部处理优势,充分提取全局和局部的病理语义信息;最后,在解码器特征重建阶段采用多重注意力融合模块,通过直接和间接映射重组两个编码器和上采样模块提取的平滑和突出特征,深度挖掘目标区域信息,以提高模型对视杯/视盘区域分割的准确性。在REFUGE、DRISHTI-GS和RIM-ONEr3三个具有互补性的临床数据集上进行对比实验,验证了所设计的改进模块在提高眼底图像分割效果上的有效性,而且本文方法可有效平衡OC和OD两个目标区域的分割精度,在定量指标和可视化效果上均优于对比方法。

基于双分支特征提取和自适应胶囊网络的DGA域名检测方法

面向域名生成算法(domain generation algorithm,DGA)的域名检测方法普遍具有特征提取能力弱、特征信息压缩比高等特点,这导致特征信息丢失、特征结构破坏以及域名检测效果较差等诸多不足.针对上述问题,提出一种基于双分支特征提取和自适应胶囊网络的DGA域名检测方法.首先,通过样本清洗和字典构建重构原始样本并生成重构样本集;其次,通过双分支特征提取网络处理重构样本,在其中,利用切片金字塔网络提取域名局部特征,利用Transformer提取域名全局特征,并利用轻量级注意力融合不同层次的域名特征;然后,利用自适应胶囊网络计算域名特征图的重要度系数,将域名文本特征转换为向量域名特征,并通过特征转移计算基于文本特征的域名分类概率;同时,利用多层感知机处理域名统计特征,以此计算基于统计特征的域名分类概率;最后,通过合并得到的两种不同视角的域名分类概率进行域名检测.大量的实验表明,所提方法在DGA域名检测以及DGA域名家族检测分类方面均取得了当前领先的检测效果.在DGA域名检测中,F1分数提升了0.76%-5.57%;在DGA域名家族检测分类中,F1分数(宏平均)提升了1.79%-3.68%.

基于双分支边缘卷积融合网络的红外与可见光图像融合方法

提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。

基于散射点拓扑和双分支卷积神经网络的SAR图像小样本舰船分类

随着合成孔径雷达(SAR)图像在舰船检测和识别领域的广泛应用,准确而高效地进行舰船分类已经成为一个亟待解决的问题。在小样本学习场景下,一般的方法面临着泛化能力不足的问题,因此该文引入了额外的信息和特征,旨在增加模型对目标的理解和泛化能力。该文通过散射关键点构建拓扑结构以表征舰船目标的结构和形状特征,并计算拓扑结构的拉普拉斯矩阵,将散射点之间的拓扑关系转化为矩阵形式,最后将SAR图像和拉普拉斯矩阵分别作为双分支网络的输入进行特征提取。在网络结构方面,该文设计了一个由两个独立的卷积分支组成的双分支卷积神经网络,分别负责处理视觉特征和拓扑特征,并用两个交叉融合注意力模块分别对两个分支的特征进行交互融合。该方法有效地将目标散射点拓扑关系与网络的自动学习过程相结合,从而增强模型的泛化能力并提高分类精度。实验结果表明,在OpenSARShip数据集上,所提方法在1-shot和5-shot任务的平均准确率分别为53.80%和73.00%。而在FUSAR-Ship数据集上,所提方法分别取得了54.44%和71.36%的平均准确率。所提方法在1-shot和5-shot的设置下相比基础方法准确率均提升超过15%,证明了散射点拓扑的应用对SAR图像小样本舰船分类的有效性。