基于轻量型空间特征编码网络的驾驶人注视区域估计算法

实时监测驾驶人注视区有助于人机共驾汽车理解并判断驾驶人的意图。针对车载环境下算法精度和实时性难以平衡的问题,提出了一种基于轻量型空间特征编码网络(lightweight spatial feature encoding network, LSFENet)的驾驶人注视区估计算法。通过人脸对齐和眼镜移除步骤对采集的驾驶人上半身图像序列进行预处理,得到左右眼图像和人脸关键点坐标;在MobileNetV2的基础上构建基于GCSbottleneck模块的LSFENet特征提取网络,集成注意力机制模块增强关键特征权重,生成左右两眼特征;利用Kronecker积融合眼部与人脸关键点特征,将连续帧图像融合后的特征输入循环神经网络中,得到该图像序列的注视区域估计结果;利用公开数据集和自制数据集对新算法进行测试。实验结果表明:LSFENet算法的注视区估计准确率可达97.08%,每秒能检测约103帧图像,满足车载环境下运算效率和精度需求;LSFENet算法对注视区1、 2、 3、 4、 9的估计准确率均在85%以上,且对不同光照条件和眼镜遮挡情况均具有较强的适应能力。研究结果对驾驶人视觉分心状态识别具有重要意义。

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域.为了提升人体关键点的检测精度,很多网络采用运算量、参数量和复杂度不断增加的模型架构,导致无法直接部署到低算力设备.为了解决上述问题,本文提出了一种多路特征注意力融合的轻量型方法.模型基于HigherHRNet网络进行轻量化设计和训练,包括:采用通道拆分和通道混洗,解决分组卷积后特征层之间存在的信息隔离;采用线性运算的特征生成方法,解决不同特征层之间存在的冗余性;采用融合注意力信息的方法,缓解因轻量化导致的准确率下降.在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验.实验结果表明本文的轻量化方法在保证直观的检测精度前提下,能够显著降低人体姿态估计的计算量.

基于注意力机制ResNet轻量网络的面部表情识别

针对ResNet18网络模型在面部表情识别时存在网络模型大、准确率低等问题,提出了一种基于注意力机制ResNet轻量网络模型(Multi-Scale CBAM Lightweight ResNet,MCLResNet),能够以较少的参数量、较高的准确率实现面部表情的识别。首先,采用ResNet18作为主干网络提取特征,引入分组卷积减少ResNet18的参数量;利用倒残差结构增加网络深度,优化了图像特征提取效果。其次,将CBAM(Convolutional Block Attention Module)通道注意力模块中的共享全连接层替换为1×3的卷积模块,有效减少了通道信息的丢失;在CBAM空间注意力模块中添加多尺度卷积模块获得了不同尺度的空间特征信息。最后,将多尺度空间特征融合的CBAM模块(Multi-Scale CBAM,MSCBAM)添加到轻量的ResNet模型中,有效增加了网络模型的特征表达能力,另外在引入MSCBAM的网络模型输出层增加一层全连接层,以此增加模型在输出时的非线性表示。该模型在FER2013和CK+数据集上的实验结果表明,本文提出的模型参数量相比ResNet18下降82.58%,并且有较好的识别准确率。

基于多层空间特征融合的三维人体姿态估计

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用,利用Transformer编码器建立关节之间的上下文关系,可以更好地推断出人体姿态;在大模型的背景下,如何在保证模型性能的同时,降低参数量,也显得尤为重要.针对上述问题,设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN),在使用相对少量的参数基础上,有效地融合了局部和全局空间特征.实验结果表明,本文提出的方法在仅需2.1M参数量的情况下,在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE).此外,模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.

基于知识蒸馏的轻量型神经网络设计

为了解决神经网络深度不断加深带来结构冗余的问题,提出了一种基于改进知识蒸馏算法的轻量型神经网络设计方法。该方法中,轻量型神经网络的卷积结构使用分组卷积与点式卷积相结合的残差结构,并结合基于风格迁移与特征重建的知识蒸馏算法对模型进行训练。网络在Cifar10和Cifar100中的实验结果表明,在准确率相当的前提下,轻量型神经网络的参数数量比普通残差网络减少了20%以上。同时,两种知识蒸馏算法结果的相近性说明分组卷积的人工设计部分对网络的影响较小。

改进卷积神经网络的单词级语音活体检测方法

为提高智能家居语音验证系统中重放语音的检测精度,提出了一种新型的单词级语音活体检测方法,采用轻量型卷积全局门控循环神经网络(light convolutional global gate recurrent neural network, LC-GGRNN)作为深度特征提取器,由支持向量机(support vector machine, SVM)执行真实和重放语音的分类,即LC-GGRNN-SVM框架。LC-GGRNN是在轻量型卷积神经网络的基础上引入了全局注意力机制和门控循环单元,前者关注提取特征的通道信息、空间信息以及通道与空间相互作用的信息,后者学习深度特征的长期相关性。提取POCO(pop noise corpus)数据集中音频文件的3种声学特征分别用于模型训练、验证和测试。结果表明,提取的伽马通频率倒谱系数声学特征在所提方法上检测效果最好,准确率、等错误率分别为85.72%、14.28%,错误接受率和错误拒绝率之和为28.59%,所提方法在POCO上的语音活体检测还具有性别依赖性。此外,所提方法对句子级重放语音检测也具有较好的泛化性。

基于双流U型的单图像超分辨率重建方法研究

深度神经网络在图像超分辨方面吸引了广泛的关注。然而,许多超分辨网络忽略了多种不同特征信息中对图像重建的贡献。针对以上的问题,设计了一种双流U型超分辨网络,该网络利用U型结构中所产生的不同尺度的特征图来重建图像特征,并且还使用新颖的投影结构来增强差异特征的表达。此外为了嵌入到现实中的小型设备,还设计了一种轻量型网络。实验表明,设计的网络在流行的数据集上取得了不错的指标值和高质量的视觉效果。

基于NSGA-Ⅱ的自适应多尺度特征通道分组优化算法

针对轻量型卷积神经网络(LCNN)的精确度和复杂度均衡优化问题,提出基于快速非支配排序遗传算法(NSGA-Ⅱ)的自适应多尺度特征通道分组优化算法对LCNN特征通道分组结构进行优化。首先,将LCNN中的特征融合层结构的复杂度最小化和精确度最大化作为两个优化目标,进行双目标函数建模及理论分析;然后,设计基于NSGA-Ⅱ的LCNN结构优化框架,并在原始LCNN结构的深度卷积层之上增加基于NSGA-Ⅱ的自适应分组层,构建基于NSGA-Ⅱ的自适应多尺度的特征融合网络NSGA2-AMFFNetwork。在图像分类数据集上的实验结果显示,与手工设计的网络结构M_blockNet_v1相比,NSGA2-AMFFNetwork的平均精确度提升了1.2202个百分点,运行时间降低了41.07%。这表明所提优化算法能较好平衡LCNN的复杂度和精确度,同时还可为领域知识不足的普通用户提供更多性能表现均衡的网络结构选择方案。

基于改进MobileNetV2模型的农作物叶片病害识别研究

为实现基于移动端的农作物叶部病害图像便捷识别,提高农作物病害识别效率进而更好地指导作物病害防治,基于改进的轻量级卷积神经网络MobileNetV2建立农作物病害识别模型。首先,建立含有15种病害叶片和4种健康叶片的农作物数据集,采用数据增强操作进行数据平衡。其次,对MobileNetV2进行改进,引入高效通道注意力(Efficient channel attention,ECA)与注意力特征融合(Attentional feature fusion,AFF),并通过模型剪枝去除冗余层,建立了高性能的轻量级农作物病害识别模型。结果表明:改进MobileNetV2模型参数量与初始MobileNetV2参数量相比减少15.37%,同时识别准确率提升0.9个百分点,达到了98.4%。相比EfficientNet-b0、ShuffleNetV2-0.5X等经典卷积神经网络模型,改进的模型不仅识别准确率最高,且训练过程收敛速度更快。

引入重影特征映射和通道注意力机制的手势识别算法

针对轻量型目标检测网络对静态手势特征提取能力不足、错检率和漏检率高的问题,基于YOLOv4-tiny网络结构提出轻量型手势识别算法.首先引入表征力更强、成本更低的重影特征映射,增强网络获取多尺度手势特征的能力;然后嵌入通道注意力机制实现特征重标定,达到减少背景干扰的目的;最后采用Swish作为主激活函数,进一步提升手势识别准确率.在手势数据集上的实验结果表明,相比YOLOv4-tiny,所提算法具有较优的识别性能;并且对于不同环境条件下的多尺度手势,该算法能够实现精准的分类和实时的检测,对小尺度的手势具有更好的识别效果.

基于LAM-Net的轨道侵入界异物自主检测系统

针对轨道入侵异物对行车安全造成的极大威胁,而现有的轨道目标检测算法难以平衡检测精度和速度、易受复杂环境影响以及难以部署于嵌入式设备等问题,提出了一种轻量型自适应多尺度卷积神经网络,其通过特征图线性变换简化特征提取过程,使用自适应多尺度特征融合优化特征表达能力,并通过设计轻量型注意力进一步提升异物检测精度;同时,结合NVIDIA Jetson TX2嵌入式平台,研制了轨道入侵异物自主检测系统。实验结果表明,本文提出的模型很好地平衡了检测速度和精度,在NVIDIA GeForce GTX1080Ti的GPU平台上对轨道数据集的检测速度为297 FPS,检测精度为92.96%,比YOLOv4-tiny高7.72%,实现了在轨道交通复杂场景下高精度、高速度以及高鲁棒性的检测入侵异物。

基于负样本挖掘与特征融合的高速跟踪算法

随着目标跟踪技术在多种视觉任务中的广泛应用,跟踪算法的实时性变得越来越重要.全卷积孪生网络跟踪算法(SiamFC)虽然在跟踪速度方面较为理想,但在复杂的跟踪环境下很容易出现跟踪漂移.为了能在提高算法精度的同时保证实时性,提出一种基于负样本挖掘与特征融合的高速跟踪算法.首先,为了学到更深层次特征,又不过多增加额外参数运算,使用增加了剪裁层的轻量级网络ShuffleNetV2进行特征提取,提升跟踪速度;其次,在离线训练阶段引入不同种类的负样本对,加强对语义信息的学习,从而提升模型的特征判别能力;最后,为了得到更高质量的响应图,提出一种多尺度特征融合策略,充分利用浅层与深层特征,提高跟踪精度.在OTB100和VOT2018两个数据集上与其他跟踪算法进行对比实验,结果表明:所提出算法较基准算法SiamFC在各项指标上有大幅度提升,在两个数据集下分别收获8.3%和7.9%的增益;同时在NIVIDA GTX l070下的速度可达114 FPS.