基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。

基于通道注意特征融合的轴承故障诊断方法

针对传统故障诊断方法通常依赖单域信息输入,导致信号中的部分信息丢失或信息不完整使用的问题,提出了一种基于通道注意特征融合的轴承故障诊断方法。首先,将原始信号通过快速傅里叶变换(FFT)和连续小波变换(CWT)处理得到频域和时频图。然后,将来自不同域的2个样本输入双流Ghost Module(GM)神经网络故障诊断模型中提取频域和时频域特征,并结合通道注意力机制有效融合频域和时频域的重要特征,从而获得更丰富的故障诊断信息,实现对故障信号的准确分类。最后,利用美国凯斯西储大学、中国江南大学和加拿大渥太华大学的轴承故障数据集进行实验验证。结果表明,与现行主流模型相比,基于通道注意特征融合的轴承故障诊断方法在3个数据集上的分类故障诊断准确率分别达到99.78%、98.50%和97.65%,证明该方法具有良好的诊断效果。

基于高效双流输入结构的自动调制识别方法

自动调制识别是现代通信系统中一项重要技术。为提高通信系统对不同调制信号间的识别性能,文中首先探索了包含11类调制信号的公开数据集RML2016.10A上原始同相正交(In-phase and Quadrature,IQ)格式数据和经过数据预处理后的幅度和相位(Amplitude and Phase,AP)格式数据的差异;随后,依据原始IQ格式数据和AP格式数据在特征提取过程中对局部相关性及时序特征敏感性的差异,设计了针对空间特征提取的SFE-Block模块、针对长期依赖关系提取的TFE-Block模块,以及联合时空特征提取模块STFE-Block,并将前两者的输出特征作为STFE-Block模块输出特征的重要补充进行特征融合,以全连接(Fully Connected)层负责最终分类。实验结果表明,本模型在数据集RML2016.10A上表现良好。当信噪比(Signal to Noise Ratio,SNR)低于-8 dB时,平均识别精度比其他模型提升7%,而SNR在0~18 dB时,平均识别精度比其他模型提高1%~8%,且在SNR为16 dB时,最高识别精度达92.95%。此外,在RML2016.10B数据集上重复了实验以检验模型泛化性,所得结果同样最优,且当SNR为12 dB时,最高识别精度达到93.6%。

基于双流特征互补的嵌套命名实体识别

针对以往句子在文本编码后不能获得高效的特征信息,提出一种基于双流特征互补的嵌套命名实体识别模型。句子在嵌入时以单词的字级别和字符级别两种方式嵌入,分别通过神经网络Bi-LSTM获取句子上下文信息,两个向量进入低层级与高层级的特征互补模块,实体词识别模块和细粒度划分模块对实体词区间进行细粒度划分,获取内部实体。实验结果表明,模型相较于经典模型在特征提取上有较大的提升。

改进的双流多模态信息融合坐姿识别方法

不正确的坐姿通常会导致青少年近视、脊柱侧弯和退行性疾病。研究能够快速、准确识别不规律坐姿的智能监测技术,有助于保持正确的姿势并预防健康问题。为了解决RGB图像易受光照强度以及遮挡因素的干扰并造成的识别率不高等问题,通过采用双流RGB-D图像作为双输入,利用ResNet网络中的残差结构改进EfficientNet基线网络结构,提出了一种基于改进R-EfficientNet的双流RGB-D多模态信息融合的坐姿识别方法。试验结果表明,提出的R-EfficientNet融合方法模型对8种坐姿的识别均值平均精度(mean average precision,mAP)达到了98.5%。与CNN、Vgg16、ResNet18、EfficientNet、RGB-D不同的输入方法相比,所提方法获得了最高的识别率。该方法不仅可以用于坐姿客观监测,具有医学和社会效益,此外还为人体工学研究者们提供改进办公家具的方案。

基于双路时空网络的驾驶员行为识别

驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一,因此识别驾驶员行为具有工程应用上的重要意义。目前,主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究,针对全局空间特征及长时序相关性特征研究较少,这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题,提出一种基于双路时空网络的驾驶员行为识别方法,整合不同时空通路的优点以提高行为特征丰富度。首先,使用一种改进的双流卷积神经网络(TSN)对时空信息进行表征学习,同时降低提取特征的稀疏性;其次,构建一种基于Transformer的串行时空网络补充长时序相关性信息;最后,联合双路时空网络进行融合决策,增强模型的鲁棒性。实验结果表明,所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率,特别是在SynDD1上,与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点;消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。

双特征流融合和边界感知的显著性目标检测

显著性目标检测是计算机视觉领域的热门研究方向之一,许多基于深度学习的检测算法虽然已经取得了显著的成果,但是仍然存在待测目标漏检误检和边界模糊等问题。针对这些问题提出了一种基于双特征流融合和边界感知的目标检测算法,通过改变输入图像尺寸来丰富多尺度信息,并自顶向下逐层聚合特征得到精细的预测结果。首先将输入图像调整为两种不同分辨率分别送入编码器,提取丰富的多层级特征形成双特征流;其次将双特征流自顶向下逐层融合,生成由粗到细的显著图;最后构建了边界感知结构,凭借上下文语义信息的指导生成精细的物体轮廓。在五个公开数据集上进行了大量实验,实验结果表明,所提算法在结构相似性(Sm)等多个指标上取得了更高的检测精度,生成的显著图目标完整且边缘清晰。

基于文本特征融合的双流生成对抗修复网络

为解决深度学习技术存在特征挖掘不充分、语义表达不完整等问题,消除修复图像存在伪影或模糊纹理等现象,本文构建了上下文特征融合的双流生成对抗修复网络,以实现重建、感知与风格损失的补偿,从而使修复后的图像实现全局一致性。该网络采用融入注意力机制的U-Net作为主干网络,充分提取图像结构和纹理特征。采用上下文本特征融合网络充分挖掘图像高级语义及特征信息的上下文关系,实现空洞区域的结构及纹理特征的填充与精细修复。采用结构与纹理双流鉴别器来估计纹理和结构的特征并统计信息来区分真实图像和生成图像。采用基于语义的联合损失函数以增强修复图像在语义上的真实性。将本文算法与对比算法中表现最好的CTSDG算法在CelebA和Places2数据集上进行对比,其中PSNR与SSIM值在CelebA上分别提升2.74 dB和5.80%,FID下降4.02;PSNR与SSIM值在Place2上分别提升4.15 dB和3.33%,FID下降2.33。因此,改进的图像修复方法的客观评价指标更优,能够更加有效地修复破损图像的结构和纹理信息,使得图像修复的性能更佳。

BERT和LSI的端到端方面级情感分析模型

针对现有基于端到端方面的情感分析(E2E-ABSA)方法研究中没有充分利用文本信息的不足,提出了一种基于BERT与融合词性、句法信息(lexical and syntactic information,LSI)的模型LSI-BERT。使用BERT嵌入层和TFM特征提取器来提取语义信息,并通过工业级自然语言处理工具SpaCy提取词性信息,引入两个权重因子α和β对语义与词性信息进行融合;采用图注意网络(graph attention networks,GAT)根据句法依存树生成的邻接矩阵进行句法依存信息的提取;利用双流注意力网络针对句法依存信息和融合了词性信息的文本信息进行融合,使这两种信息实现更好的交互。实验结果表明,模型在三个常用基准数据集上的性能优于当前代表模型。

视频相似性检测方法综述

针对大数据时代服务器端存在众多冗余数据,降低文件检索效率的问题,对代表性的视频相似性检测方法和研究进展进行了总结。首先,介绍了相似性视频的定义及检测流程,分析完整检测系统应具备的视频预处理、特征提取、特征匹配3大模块,并详述了具体实施方法;然后,针对视频相似性检测方法展开阐述,从基于视频时空信息分类、视频特征分类和视频多模态检测方法3个层面深入分析了各方案的实现原理及优缺点;最后,对相似性检测领域常用的数据集进行归纳,对经典算法的检测性能进行了对比,并探讨了视频相似性检测领域存在的问题,对未来发展趋势进行了展望。

“双碳”目标下我国绿色金融政策议程分析——基于多源流理论视角

绿色金融的创新支持工具对助推高质量发展、“双碳”目标实现具有强大动能,绿色金融基本政策体系逐步建立。多源流理论模型分析适配性较强,从问题源流分析,全球气候变化、金融行业风险加剧等不同程度推动政策出台;从政策源流分析,政府部门、人大代表和专家学者就丰富完善绿色金融政策方案达成一致;从政治源流分析,绿色金融政策的政治流由执政理念的推动、国民情绪与媒体传播和国际政策的带动构成。独立运行的三股源流在实现“双碳”目标背景下交汇,开启政策之窗,为推动绿色金融政策配套措施出台提供了实践指导。

基于At-LSTM模型的音/视频双流语音识别算法仿真

语音中的噪声会影响语音信号中的正常信息,影响语音识别效果,为提升音/视频双流语音识别准确率与效率,提出基于注意力LSTM的音/视频双流语音识别算法。使用小波阈值方法对音/视频双流语音数据实施去噪处理,依据去噪结果对语音数据矢量量化;基于语音数据量化结果构建At-LSTM模型,运用该模型提取语音数据的局部与整体特征,并融合处理特征;基于语音数据特征融合结果,对语音数据实施分类,实现音/视频双流语音的识别。实验结果表明,使用上述方法识别音/视频双流语音时,识别准确率高、识别时间短,且语音中的含噪部分较少,识别的语音更加流畅。

基于双流结构的跨模态行人重识别关系网络

针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络(IVRNBDS)。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失(HC Loss)函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification)和Reg DB(Dongguk Body-based person Recognition)上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1)指标和平均精度均值(m AP)指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。

基于深度展开和双流网络的高光谱图像融合

针对基于深度学习的高光谱图像融合算法通常堆积多个卷积以学习映射关系、没有充分利用问题的特性以及缺乏可解释性等问题,提出一种结合深度展开与双流网络的深度网络。首先使用卷积稀疏编码建立融合模型,该模型将低分辨率高光谱图像(Low-resolution hyperspectral images,LR-HSI)和高分辨率多光谱图像(high-resolution multispectral images,HR-MSI)映射到低维子空间中。在融合模型设计中,考虑了LR-HSI和HR-MSI的共有信息以及LR-HSI的独有信息,并将HR-MSI作为辅助信息加入模型中。其次将该融合模型展开为可学习的可解释深度网络。最后,使用双流网络获取更精确的高分辨率高光谱图像(High-resolution hyperspectral images,HR-HSI)。实验表明,该网络在高光谱图像融合中可以获得出色的效果。

基于机器视觉的乒乓球动作分类研究

针对传统乒乓球动作分类准确率低的问题,提出一种基于双流卷积神经网络的乒乓球动作识别与分类方法。以稀疏动作采样数据作为网络输入,利用双流卷积神经网络对运动特征进行提取,进而提取光流图像得到运动时间信息,从而对动作连续帧图像运动变化进行表示;之后融合时间流和空间流,采用卷积层融合网络,对动作特征进行聚合运算,以此构建识别模型,实现对乒乓球动作的分类。实验结果表明,相较于单一的时间流和空间流,双流卷积方法对模型进行训练后的识别准确率提高了20%左右,最高可达93.6%。该方法对比于其他动作识别方法,受时间影响较小;且针对不同的乒乓球动作,识别准确率保持在92%及以上。综合分析可知,本方法的识别准确率显著提高,模型性能优越,可以准确地对乒乓球动作进行识别。

基于双中间模态的四流网络跨模态行人重识别

摄像头大多配备红外和可见光功能,因此,重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异,提高识别精度,提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像,并从可见光图像和红外图像中继承标签,通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络。此外,还探讨了四流骨干网络中的参数共享问题,分析四模态共享块数量对于跨模态行人重识别的影响。实验结果表明,相比HcTri,该方法在SYSUMM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点,在室内检索模式下分别提高6.24和6.77个百分点,在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点,在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点。

基于特征鲁棒性增强的多摄像头下车辆识别方法

由于多摄像头下的视角变化、复杂环境和姿态差异等因素,同一辆车在不同场景下的图像表现出巨大的外观歧义性,为车辆的身份匹配带来了挑战。为解决这一难题,在transformer框架下提出了一种面向车辆识别的特征鲁棒性增强的方法。基于车辆结构信息是多个摄像头下域不变的信息,设计了一种轮廓特征引导增强结构信息的模块,并提出了一种结构特征感知损失来促进模型对结构信息的融合;通过将车辆的属性信息作为矢量嵌入到transformer框架中,进一步缓解多视角下车辆姿态改变带来的影响。实验结果表明,所提方法在数据集VeRi-776和VehicleID上均展现出对比同类方法的优越性与更好的识别效果。

基于偏振特征与强度信息融合的工件目标检测

针对目前工件尺寸测量在工件关键测量点的准确提取阶段存在的问题,因此本文提出一种基于偏振特征与强度信息融合的工件目标检测方法。在工件强度图像的基础上引入偏振特征,建立强度信息与偏振特征差异化式高效交互的双流网络模型,以实现更高效的偏振特征和强度信息融合。为验证算法的效果,本文建立了偏振图像工件目标显著性检测数据集。在此数据集上,本文提出的算法在精确度Precision、max-F和相似性值S-measure三个指标上和视觉结果均在对比算法中达到了最优结果,充分表明了本文算法出色的工件目标检测性能,具有极佳的工件目标检测效果。

基于离散等收缩比的前体/进气道流向双乘波一体化设计

前体/进气道一体化设计是高超声速飞行的关键技术,一体化设计的核心是前体与进气道在基准流场上的气动融合.针对腹部进气布局中前体压缩后的非均匀流影响进气道性能的问题,文章基于局部收缩比处处一致的思想,提出了离散等收缩比设计方法,实现了乘波前体/内转式进气道流向气动融合与遵循气动规律的变截面流道设计.将进气道的三维流场分解成一簇具有相同收缩比的三维流管,视每根流管侧壁为轴对称流场;以锥导乘波前体压缩后的非均匀流作为来流条件,以总压恢复为目标对每根流管进行优化设计;通过匹配激波反射位置将流管重新组合起来,流管的对应边界组成内转式变截面进气道.该设计方法适配任何已知的非均匀来流,可灵活控制唇口位置,且适用于任意形状之间的变截面转换.数值研究表明,依托该方法设计的一体化构型性能符合预期,出口流场均匀,具有优越的抗反压能力,且非设计点流场波系结构良好.离散等收缩比设计方法为腹部进气布局中前体/进气道一体化气动融合设计提供了新思路.

双流增强融合网络微表情识别

为解决微表情识别领域数据集样本数量少,样本类型分布不均导致识别率鲁棒性差的问题,提出了一种基于双流增强网络的微表情识别模型。该模型基于单帧RGB图像流及光流图像流的双流卷积神经网络,以权威数据集为基础,数据增强为基准,构建微表情识别模型。通过在SoftMax逻辑回归层融合单帧空域信息和光流时域信息,对两个独立流的网络性能进行提升,并通过引入基于带循环约束的生成对抗网络的图像生成方式对数据集进行扩充。通过将输入微表情视频帧序列进行分解,将其分割为双流网络的灰度单帧序列与光流单帧序列,对两类序列图进行数据增强,再进行微表情识别模型构建的方法,有效提高了微表情识别率。基于双流增强网络的微表情识别模型可以较好提升微表情识别准确度,鲁棒性较好,泛化状态较稳定。