自监督双流融合的小样本雷达辐射源识别方法

针对实际场景中辐射源数据稀缺造成的小样本问题,提出了一种基于自监督和双流融合的小样本雷达辐射源识别方法。首先利用高斯分布噪声、莱斯多径衰落、设计时钟偏移信号等减损方法,基于有限数量的真实样本构建类均衡辐射源信号样本集。基于增强数据集,提出一种信号时间序列与时频图的双流特征融合模型。采用对比学习方法构建双流特征融合模型的自监督上游任务,以提升在有限标签数据情况下信号多域特征的表征能力与泛化能力。实验结果证明,该方法在小样本条件下能够有效地实现较好的辐射源类型识别能力,在目标域每个类别100个样本限制下,识别精度达到97.1%,与传统一维特征方法和基于长短期记忆(Long Short Term Memory,LSTM)的方法相比均有较大提升。

基于交互机制卷积双流融合神经网络的视频浓缩

视频浓缩时运动目标之间的相互遮挡和背景的复杂性使得难以准确提取运动目标,导致浓缩比降低.针对此问题,提出了一种基于交互机制的卷积双流融合网络视频浓缩方法.首先,对输入的视频帧进行感兴趣区域选取;然后,卷积双流融合网络分流提取运动目标特征和背景特征并进行特征融合,以减弱运动目标之间相互遮挡的影响;最后,通过交互机制将融合后的特征进行关联性运算,以有效提高运动目标之间及运动目标与背景之间的相关性,再根据相似矩阵进行场景聚类得到关键帧.实验结果表明:通过该网络结构进行视频浓缩,浓缩比和召回率都有所提高.

基于光度立体和双流特征融合网络的工业产品表面缺陷检测方法

表面缺陷检测是现代工业生产流程中的重要环节。现有的视觉缺陷检测方法一般通过对目标对象的单幅RGB或灰度图像进行分析,利用缺陷与背景之间的差异性特征实现检测,适用于目标与背景呈较大区别的对象,如金属表面的氧化、斑点缺陷检测。但单纯的RGB图像无法有效地表征主要由深度变化形成的凹坑、凸包等3维缺陷特征,最终导致漏检。为此,文中根据多方向光照成像及光度立体原理提取待测对象表面的3维几何形貌信息;接着,利用对比度金字塔融合算法对原始的多方向光照图像进行有效融合,得到增强的缺陷的2维RGB融合图像特征;然后,在多目标检测框架YOLOv5的基础上,以上述几何形貌及RGB融合图像为输入,构建一种基于双流特征融合的缺陷检测网络模型,该模型引入了空间通道注意力残差模块和门控循环单元特征融合模块,能在多个层级对不同模态特征进行有机融合,实现对表面缺陷的2维RGB及3维形貌信息的有效提取,达到同时应对2维和3维缺陷检测的目的;最后对若干典型工业产品表面缺陷进行检测实验。结果表明,文中方法在多个数据集上的平均检测准确率均超过90%,且能同时应对2维、3维缺陷的检测,检测性能优于目前的主流方法,能够适应不同工业产品表面的检测需求。

基于改进慢快双流网络的锌快粗选工况识别

锌快粗选是锌浮选的第一个浮选工艺,其工况状态直接影响后续精选和扫选的性能效果。现有基于卷积神经网络的浮选工况识别方法直接构建泡沫图像和工况类别的关系模型,自动挖掘与工况关联的泡沫深度特征,取得了一定的效果,但忽略了不同采样率下泡沫视频的动态时序信息。为此,提出一种基于改进慢快双流网络的模型,通过泡沫视频对锌快粗选工况进行识别。首先,以慢快双流网络作为主干网络,引入P3D-A轻量化结构减少网络参数,提高模型推理效率。然后,融入时间注意力模块(Time Attention, TA)、空间注意力模块(Channel Spatial Attention, CSA)和空间时间聚合模块(Spatial Time Together, STT),对泡沫视频时空特征进行有效表征,促进双流网络融合。最后,设计辅助网络(Auxiliary Network, AN),降低模型过拟合,提高工况识别准确率。实验结果表明,所提方法能准确地识别锌快粗选工况,准确率达82.54%,与已有的慢快双流网络相比,准确率提高了11.98%。

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题。提出了一种基于时空卷积神经网络的人体行为识别网络。将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征。形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别。在UCF-101和HMDB-51数据集上进行实验,获得了92.1%和66.1%的准确率。实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高。

新时代任中经济责任审计“双流”融合转型模式研究

本文从新时代经济责任审计转型的背景入手,阐述了以任中为主的经济责任审计转型的意义。从流程再造和流程优化"双流"的视角出发,提出新时代经济责任审计转型的思路与方向;围绕"双流"融合模式的应用策略、应用选择、应用架构等问题,探讨了经济责任审计转型的模式、主要路径及若干具体措施。

结合双流特征融合及对抗学习的图像显著性检测

为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实现自底向上、不同级别的特征提取;之后,分别针对每个流结构,将相同级别的特征图送入卷积塔模块,以增强级内特征图的多尺度信息;进一步,采用自顶向下、跨流特征图逐级侧向融合方式生成显著图;最后,在条件生成对抗网络的主体框架下,利用对抗学习提升显著性检测结果与显著目标的结构相似性.以P-R曲线、F-measure、平均绝对误差、S-measure为评价指标,在ECSSD,PASCAL-S,DUT-OMRON以及DUTS-test 4个公开数据集上与其他10种基于深度学习的显著性检测算法的对比实验表明,SaTSAL算法优于其他大部分算法.

用于动作识别的双流自适应注意力图卷积网络

人体动作识别因在公共安全方面具有重要的作用而在计算机视觉领域备受关注。然而,现有的图卷积网络在融合多尺度节点的邻域特征时,通常采用各阶邻接矩阵直接相加的方法,各项重要性一致,难以聚焦于重要特征,不利于最优节点关系的建立,同时采用对不同模型的预测结果求平均的双流融合方法,忽略了潜在数据的分布差异,融合效果欠佳。为此,文中提出了一种双流自适应注意力图卷积网络,用于对人体动作进行识别。首先,设计了能自适应平衡权重的多阶邻接矩阵,使模型聚焦于更加重要的邻域;然后,设计了多尺度的时空自注意力模块及通道注意力模块,以增强模型的特征提取能力;最后,提出了一种双流融合网络,利用双流预测结果的数据分布来决定融合系数,提高融合效果。该算法在NTU RGB+D的跨主体和跨视角两个子数据集上的识别准确率分别达92.3%和97.5%,在Kinetics-Skeleton数据集上的识别准确率达39.8%,均高于已有算法,表明了文中算法对于人体动作识别的优越性。

基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计

传统的松耦合视觉惯性里程计需要标定噪声和偏置等参数,而端到端学习的方法耦合性高、普适性低.因此,本文提出了一种由长短期记忆网络融合的端到端松耦合视觉惯性里程计EE-LCVIO(End-to-End Loosely Coupled Visual-Inertial Odometry).首先,在相机位姿和IMU融合部分,构建了一个时序缓存器和由一维卷积神经网络和长短期记忆网络相结合的融合网络;其次,为了解决现有单目深度视觉里程计难以利用长序列时域信息的问题,通过使用相邻图像对和帧间密集光流作为输入,设计了一种基于时空双流卷积的视觉里程计TSVO(Visual Odometry with Spatial-Temporal Two-Stream Networks).与DeepVO最多只能利用5帧图像信息相比,本文提出的视觉里程计可以利用连续10帧图像的时序信息.在KITTI和EUROC数据集上的定性和定量实验表明,TSVO在平移和旋转方面超过了DeepVO的44.6%和43.3%,同时,在传感器数据没有紧密同步的情况下,本文的视觉惯性里程计EE-LCVIO优于传统单目OKVIS(Open Keyframe-based Visual-Inertial SLAM)的78.7%和31.3%,鲁棒性高.与现有单目深度视觉惯性里程计VINet相比,EE-LCVIO获得了可接受的位姿精度,耦合性低,无需标定任何参数.

时空特征与通道注意力融合的视觉手势识别技术

为了解决双流融合网络对动态手势关键帧及手部轮廓特征检测不足的问题,提出一种手势时空特征与通道注意力融合的动态手势识别方法.首先,在双流融合网络中引入有效通道注意力(eficient channel attention,ECA)增强双流识别算法对手势关键帧的关注度,并利用双流中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术(single shot multibox detector,SSD)提取相应手部轮廓特征;最后,将手部轮廓特征与双流中提取的人体姿态特征、时序特征融合后分类识别手势.该方法在Chalearn 2013多模态手语识别数据集上进行了验证,准确率为66.23%,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果.

FMCW毫米波雷达跌倒检测算法研究

跌倒所带来的伤害威胁着老年人的生命安全,为实时监控造成人体严重损伤的跌倒行为,为减轻子女、养老机构等人员在养老看护方面的压力,对调频连续波(Frequency Modulated Continuous Wave,FMCW)毫米波雷达的跌倒检测算法进行研究,在跌倒检测方面,通过对雷达信号进行预处理,得到距离-速度和多普勒两种特征图像,并使用帧差法去除静态物体干扰,为充分提取距离-速度图像和多普勒图像的特征,提出一种双流融合特征提取网络算法。实验结果表明,所提双流融合特征提取网络算法较其他网络算法,出现误报、漏报情况的概率大大减小,检测准确率高达98.75%,并且系统的整体网络结构简单,在当前环境下具有较大的实用价值。

基于时空关注度LSTM的行为识别

针对现有基于视频整体序列结构建模的行为识别方法中,存在着大量时空背景混杂信息,而引起的行为表达的判决能力低和行为类别错误判定的问题,提出一种基于双流特征的时空关注度长短时记忆网络模型.首先,本文定义了一种基于双流的时空关注度模块,其中,空间关注度用于抑制空间背景混杂,时间关注度用于抑制低信息量的视频帧.其次,本文为双流模型设计了两种不同的时空关注度模块,分别讨论不带融合形式和双流融合的形式对行为识别的影响.最后,为了适应不同长度视频的处理需求,本文方法采用分段策略构建行为识别框架,通过调整段的数量自适应视频长度.在UCF101和HMDB51两个数据集上进行实验验证,与现有多种基于时间和空间显著性模型的行为识别方法进行比较,实验结果表明,本文方法在识别率上优于现有行为识别方法I3D,在UCF101上提高了0.66%,在HMDB51上提高了0.75%.

多源域混淆的双流深度迁移学习

目的针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。