一种双路网络语义分割模型

深度卷积神经网络对高分辨率遥感影像进行语义分割时,对图像的下采样会造成物体边缘模糊,使分割结果在边缘附近划分不清晰,误分类较多。通过在网络中增加边缘信息可以提升模型对遥感图像的分割能力。因此,提出了一个用于语义分割的双路网络模型,增加一路边缘网络学习目标的边缘特征,并利用边缘特征对分割特征进行细化。同时,作为一个多任务学习模型,分割网络和边缘网络可以同时进行训练。本文在ISPRS Potsdam和ISPRS Vaihingen数据集上证明了双路网络模型的有效性,对比多种语义分割模型,均取得了领先的效果。

基于双路时空网络的驾驶员行为识别

驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一,因此识别驾驶员行为具有工程应用上的重要意义。目前,主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究,针对全局空间特征及长时序相关性特征研究较少,这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题,提出一种基于双路时空网络的驾驶员行为识别方法,整合不同时空通路的优点以提高行为特征丰富度。首先,使用一种改进的双流卷积神经网络(TSN)对时空信息进行表征学习,同时降低提取特征的稀疏性;其次,构建一种基于Transformer的串行时空网络补充长时序相关性信息;最后,联合双路时空网络进行融合决策,增强模型的鲁棒性。实验结果表明,所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率,特别是在SynDD1上,与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点;消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。

基于双路径网络的矿井无线信号检测方法的研究

目前针对矿井无线信号检测的研究大多只考虑了比较理想的加性高斯白噪声信道和瑞利衰落信道,且信号检测误码率高,网络结构复杂。针对上述问题,提出一种基于双路径网络(DPN)的矿井无线信号检测方法,采用双路网络接收机(DPNR)优化正交频分复用(OFDM)接收端的整体性能,解决常规接收机的误差累积问题。首先采用残差(Res)块的shortcut对浅层特征进行一次卷积,将经过一次卷积后的特征图与经过多次卷积后的特征图相加。然后将密集(Dense)块浅层重复利用,并进行Dense块的卷积计算,得到卷积计算后的特征图。最后将两者的特征图融合成新的特征图,在牺牲较少复杂度的情况下,提取更多的特征,从而提高检测性能。实验结果表明:(1)在OFDM系统中,DPNR的误码率比常规接收机低,在信噪比为13时,误码率为零;在信噪比大于7时,DPNR的误码率较矿井环境下的常规接收机降低1个数量级以上;在信噪比大于11时,DPNR的误码率较加性高斯白噪声下的常规接收机降低1个数量级以上。(2)在通信系统滤波器组多载波/偏置正交幅度调制中,DPNR的误码率较常规接收机的降低2个数量级以上,说明其具有较好的鲁棒性。(3)随着信噪比的增加,DPNR和残差神经网络(ResNet)接收机的误码率较密集连接卷积网络(DenseNet)接收机低,且DPNR的误码率在最后阶段即信噪比大于13时更低。(4)在较高信噪比情况下,DPNR的误码率远远低于深度接收机,在信噪比大于8时,DPNR的误码率较深度接收机降低1个数量级以上。

基于双路射频指纹卷积神经网络与特征融合的雷达辐射源个体识别

为实现雷达辐射源个体识别不受信号参数、调制方式的影响,该文提出基于双路射频指纹卷积神经网络(Dual RFF-CNN2)和特征融合的雷达辐射源个体识别方法。首先从接收的射频信号中提取原始I/Q(Raw-I/Q)信号;其次分别对Raw-I/Q两路信号进行轴向积分双谱(AIB)和围线积分双谱(SIB)降维以构建双谱积分矩阵;最后将Raw-I/Q信号及双谱积分矩阵共同送入Dual RFF-CNN2网络并进行特征融合以实现雷达辐射源个体识别。实验结果表明,该方法具有较高的识别准确率,提取的“指纹特征”具备稳定性、鲁棒性。

双路注意力循环网络的轻量化语音分离

提出了双路注意力循环网络的轻量化语音分离方法。首先,该方法使用基于“双路注意力机制”和“双路循环网络”的可选择分支结构对语音信号进行建模,从而提取深层特征信息并降低模型的参数量。其次,引入子带处理技术,从而降低模型的计算量。在LibriCSS数据集上的实验结果表明,该方法取得的平均词错误率为8.6%,且参数量和计算量分别仅为0.15 MiB和15.2 G/6s,与当前主流方法相比,分别减小了3.3~391.3倍和1.1~3.2倍。这表明,所提方法在取得高语音分离性能的同时,能有效地降低模型的参数量和计算量。

基于双路并行卷积信息融合的刀具磨损识别

针对机械加工现场环境复杂多变,使用单一信号进行刀具磨损识别难以获取全面的刀具磨损特征信息的问题,提出一种同时利用声音信号和工件表面图像信息结合深度学习网络识别刀具磨损状态的方法。首先采集铣削加工过程中声音信号和工件表面图像数据,然后使用双路并行卷积神经网络对声音信号和工件表面图像进行特征提取及融合,最后进行刀具磨损识别。结果表明,和单一信号识别结果相比,采用信息融合方法能获取更全面的刀具磨损特征信息,有利于增强刀具磨损识别效果,且刀具磨损识别准确率和F1-score均在95%以上,能有效识别刀具磨损状况。

基于编解码双路卷积神经网络的视觉自定位方法

为了从单张RGB图像估计出相机的位姿信息,提出了一种深度编解码双路卷积神经网络(CNN),提升了视觉自定位的精度。首先,使用编码器从输入图像中提取高维特征;然后,使用解码器提升特征的空间分辨率;最后,通过多尺度位姿预测器输出位姿参数。由于位置和姿态的特性不同,网络从解码器开始采用双路结构,对位置和姿态分别进行处理,并且在编解码之间增加跳跃连接以保持空间信息。实验结果表明:所提网络的精度与目前同类型算法相比有明显提升,其中相机姿态角度精度有较大提升。

多尺度注意力机制的双路人群计数网络

针对密集人群计数任务中人群尺度变化大、背景干扰以及特征融合导致的语义失调问题,提出了一种多尺度注意力机制的双路人群计数网络。网络主要由骨干网络、尺度增强模块、多尺度模块、上下文注意模块、注意力掩膜分支网络组成。首先,尺度增强模块通过捕捉不同尺度下的人群特征,并学习图像上每个特征的重要性,从而增强对尺度快速变化的适应性。其次,多尺度模块通过使用不同膨胀率的空洞卷积在保持原有特征图大小的前提下,对特征图进行多尺度变换,使得网络能够适应不同密度的人群场景。再次,上下文注意模块通过自适应地加权局部和全局上下文信息,实现了特征的融合与优化,以缓解不同级别特征存在的语义失调问题。最后,注意力掩膜分支网络通过生成与输入图像尺度相关的掩膜,降低背景干扰对网络性能的影响。通过这4个模块的相互配合,有效地提高了密集人群计数任务的准确性和稳定性,在多个数据集上的实验结果表明,该方法取得了较好的效果。

基于非对称双路识别网络的步态识别方法

步态作为一种人体躯干、关节、上下肢及各肌群的周期性行为模式,是可用于身份识别过程的一种重要生物特征。针对现有的步态识别方法大都是基于步态轮廓图或者步态能量图提取的全局特征,而忽视了对细粒度步态信息的有效利用的问题,提出了一种包括全局通路和局部通路的非对称双路识别网络。其中全局通路采用三元组损失函数,用于提取步态的全局时空特征;局部通路采用交叉熵损失函数,用于识别步态中显著不同的局部特征。此外,在局部通路中加入了一个显著性特征检测器模块,用于实现有效的细粒度步态信息识别。在公开数据集CASIAB和OU-ISIR-LP上进行了对比实验,结果表明,在跨视角和跨场景的环境下,该方法相对现有方法在步态识别的准确率方面都有显著提升。

基于双路式卷积神经网络的车辆与行人检测

针对低能见度状态下对车辆与行人的视觉特征难以提取的问题,提出一种将2路卷积神经网络融合从而实现对车辆与行人识别的方法。采用高斯背景差分法实现图像去模糊,在双路网络中分别采用不同尺寸的滤波器,调整滤波器的大小得到不同环境下图片的特征值,采用反向传播算法计算梯度。实验结果显示,与单路式卷积神经网络对比,在能见度低的环境中,该方法对车辆的辨识率提高至83. 49%,对行人的辨识率提高至87. 36%,表明在低能见度环境中,双路式卷积神经网络识别准确率高于单路式卷积神经网络。

采用词向量注意力机制的双路卷积神经网络句子分类模型

针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型(AT-DouCNN).该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明:所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果.

轻量级双路卷积神经网络与帧间信息推理的人体姿态估计

为了提高视频中人体姿态估计检测效果,在保留结构化信息的同时弥补下采样导致的空间分辨率的损失,增加视频中检测效率,本文结合时序信息提出了一种轻量级双路神经网络帧间信息推理的视频人体姿态估计方法.首先,基于最新的人体关键点检测网络训练一个基于该方法两路融合全卷积网络,一路选用金字塔全卷积网络,并选用采用轻量级Inverted residuals作为网络模块,另外一路保持分辨率大小不变以减少空间分辨率的损失,然后提出了一种利用帧间关键点信息建立时序模型,从而推理预测帧的关键点信息.本文在PoseTrack数据集中与最新的方法进行比较,关键点检测mAP提高1.3%,速度提升20%,关键点跟踪MOT提高2.8%,经过实验验证,本文算法可以保留结构化信息的同时有效弥补空间分辨率的损失并提高检测精度,同时提高了视频检测中的速度.

基于3D卷积双路神经网络的考场行为异常识别

经过深入研究近年来发展迅速的深度学习技术,并学习卷积神经网络处理视频数据的方法本文,在传统3D卷积神经网络的基础上改进了网络结构。同时,考虑到考场采用双摄像头监控系统,可从不同视角观察考生的考试行为,本文提出了基于双路的考场异常行为识别方法。该方法结合了改进的3D卷积神经网络和双摄像头的监控系统,设计了新的双路网络结构的视频特征提取器,可以提取不同视角下的考生行为特征,并将双路网络提取到的行为特征向量进行融合。通过提取正常考试行为的特征向量,在LibSVM中训练出考场行为的分类器,该分类器可以对测试视频的特征向量进行分类,由此判断测试视频中是否存在异常行为。该方法使用双路视频特征进行异常识别,在考场行为数据集中有着较高的识别正确率。

基于并行双路卷积神经网络的安全帽识别

文章针对人工监看视频判断是否佩戴安全帽的低效率现状,改进LeNet_5,提出一种并行双路卷积神经网络方法识别安全帽。该方法在输入通道添加图像的HOG特征通道,然后通过两路输入图像尺寸和层次深度不同的卷积神经网络并将所得图像特征进行串接融合,输入SVM识别人体,最后结合目标区域的颜色特征判别安全帽。实验结果表明,文中方法能更有效识别多姿态施工现场人员,并且适应多样的施工场景,达到0.867的安全帽识别率。

基于多尺度双路注意力胶囊网络在水稻害虫识别中的应用

【目的】研究基于多尺度双路注意力胶囊网络(Multi-scale Dual-path Attention Capsule Network, MDACapsNet)的水稻害虫识别方法,为田间害虫自动识别提供参考依据。【方法】针对现有方法对位置、姿势多变的水稻害虫识别准确率低等问题,在胶囊网络(Capsule Network, CapsNet)的基础上,提出一种基于MDACapsNet的水稻害虫识别方法。MDACapsNet由编码模块、重构模块与分类模块组成。在MDACapsNet编码模块中,多尺度双路注意力模块与局部共享动态路由算法用于提高网络的特征提取能力并降低网络计算量;在MDACapsNet的损失函数中增加重构图像损失项,加速网络训练。【结果】在复杂背景下的水稻害虫图像数据集进行实验,识别准确率为95.31%。与VGG16、CapsNet、ResNet相比较,MDACapsNet的识别准确率分别提高5.47%、19.83%、2.83%。【结论】MDACapsNet能较好地识别大小不同、背景复杂、姿势多样的水稻害虫,可应用于田间水稻害虫自动检测系统中。

基于边缘的双路卷积神经网络及其可视化

为提高小尺度复杂图像识别准确率,通过对LeNet-5卷积神经网络并入一个新通道,让其处理与边缘有关的信息。结合两种通道产生的不同特征构造分类器,提出一种基于边缘的双路卷积神经网络,对小尺度复杂数据集进行识别。在包含10类产品数据上分类的结果表明,双路卷积神经网络的识别准确率远高于传统网络。最后通过神经网络可视化算法对双路卷积神经网络进行了可视化分析。

基于双路卷积神经网络的人脸性别识别

为了解决近、远景下拍摄的图片中由于语义信息相差过大造成人脸性别识别准确率低的问题,建立一种双路卷积神经网络模型。首先模型分别采用深度不同的两路网络进行特征提取再融合以此丰富人脸特征语义信息;同时在模型中引入Slice和Eltwise层对特征映射图进行筛选以降低运算量;此外还采用AM-Softmax函数,进一步增大类间,缩小类内差异。模型分别在多个人脸数据集上进行实验,结果表明双路卷积神经网络模型对于提高近、远景下人脸的性别识别准确率有良好的效果。

基于TPAM-DPN网络的雷达辐射源识别方法

针对传统依靠人工经验设计并提取雷达辐射源特征的繁琐和区分度不够的问题,提出了一种改进的双路网络(DPN)自动提取特征并识别的方法。首先将一维的雷达时域信号变换到二维时频域,然后直接输入双路网络进行识别,即将雷达辐射源的识别转化为图像的识别,有效缓解了上述问题。同时,针对双路网络层次过深带来的特征流失问题,提出用于对雷达辐射源特征图校准重采样的轻量级模块——三流注意力模块(TPAM),并嵌入双路网络构成三流注意力双路网络(TPAM-DPN)对雷达辐射源进行识别。对6种常见的雷达信号进行了仿真实验,证明了所提方法提取的特征更有利于提高雷达辐射源识别率,且时效性更好。

基于双路信息互补增强的压缩感知深度重构

深度学习的方法在压缩感知重构中表现了良好潜能,而如何提升网络的深度特征表示能力是其中的一个关键问题.基于多通道网络能较好改善深度特征表示能力的发现,设计了一种双路信息互补增强的压缩感知深度重构网络,以更好地提升网络的重构性能.具体地,重构网络由两个并行通道组成,一个通道实现对图像原始分辨率的重构,而另一个通道实现对图像的降采样重构;两个通道的中间特征提取部分采用交叉融合技术,以实现信息提取的互补增强.基于公开发布的标准测试集的实验验证了所提出的方法在提升压缩感知图像的深度重构质量的有效性.

针对视频运动向量隐写的深度神经网络检测方法

现有的深度神经网络隐写检测技术主要针对数字图像隐写,但视频隐写与图像隐写存在很大差异,因此无法将用于图像隐写分析的深度神经网络直接用于视频隐写分析。为此,文中以修改运动向量的视频隐写为检测对象,在新型图像隐写分析网络SRNet基础上,设计了一种用于视频隐写检测的深度神经网络,构造了能准确反映运动向量隐写修改的输入矩阵。实验结果表明,文中提出的方法对中低码率的视频检测准确率明显高于两种传统的视频隐写分析方法,且对不同码率的视频检测性能平稳。