基于无人机高光谱遥感和3D-ResNet的荒漠草原地物分类

荒漠草原生态信息调查与统计的瓶颈是效率与精度,传统的人工地面调查效率低,航天航空遥感调查受空间分辨率限制,精度难以满足要求。建立的无人机高光谱遥感系统兼具高光谱分辨率、高空间分辨率和高效性等优势,为基于遥感的高精度荒漠草原生态信息调查与统计提供硬件基础。利用深度学习经典网络模型VGG16与ResNet18和改进为3D卷积核的不同卷积核数量的3D-ResNet18-A、3D-ResNet18-B和3D-ResNet18-C模型对采集到的荒漠草原高光谱数据进行地物分类。结果表明,两种经典模型对荒漠草原中植被、裸土展现出较好的分类效果,而改进为3D卷积核的3D-ResNet模型具备更佳的分类效果,同时对小样本地物具备更强分类性能,其中3D-ResNet18-B的分类性能最好,对植被、土壤、阴影和其他四种地物的总体分类精度达到97.73%。无人机高光谱遥感系统和3D-ResNet模型的深度融合为地物精细分类与统计奠定基础。

基于改进3D ResNet的视频人体行为识别方法研究

针对人体行为在视频中呈现的时序性特点,提出了一种融合非对称卷积和CBR模块的视频人体行为识别方法。该方法使用3D ResNet-50作为主干网络。首先,将网络中较大的卷积核拆分为2个非对称3D卷积核的串联,加深卷积层在水平和竖直方向上的局部关键特征提取;其次,加入了CBR模块,以增加网络层数。该网络对连续的视频帧序列进行图像和时序的多角度特征提取,并根据特征数据对其进行分类,最后输出识别结果。在基准数据集UCF101上的大量实验结果表明,所提方法的Top1准确率和Top5准确率与原始3D ResNet网络相比分别提升了4.03%和4.99%,且该方法的识别准确率也优于其他主流方法的识别准确率。

联合3D建模与改进CycleGAN的故障数据集扩增方法

基于深度学习的设备故障检测系统性能很大程度上依赖于样本集的规模及类别多样性。由于工业生产中难以全面采集各类故障样本,由此就有样本集扩增需求。本文提出联合3D模型和改进CycleGAN的故障数据集扩增方法。首先,提出利用3D建模软件模拟生成各类故障图片,将其作为CycleGAN迁移网络输入,约束引导生成真实故障图像,以解决样本不足及分布不均衡问题;其次,对CycleGAN网络生成器进行改进,提出U-ResNet生成器,用以解决数据集扩增过程中的边缘模糊和梯度消失问题。将该方法应用于带式输送机跑偏检测任务,结果表明相较于其他扩增方法,该方法训练过程中轮廓结构收敛快,时效性好,应用于目标检测网络准确率达到98.1%,较原真实数据集提升4.5%。说明该数据集扩增方法可以满足故障数据集类别分布均衡,图像质量高的要求。

3D多重注意力机制下的行为识别

为解决传统3D卷积中难以提取时空信息的缺点,提出一种适用于3D卷积网络的多重注意力机制模块.该模块是由通道结合时间子模块和空间子模块组成的多维度特征调整模块.在通道结合时间模块中,通过调整池化层和卷积层的顺序,保留更多的有效通道信息和时间信息;在空间模块中,压缩冗余时间信息以减少计算量.该模块的整体计算量较少,可嵌入到各3D卷积网络中.为验证多重注意力机制模块的性能,基于3D ResNet网络设计部署了该多重注意力机制模块,并在UCF-101和HMDB-51两个行为识别数据集上分别进行训练.结果表明,改进后的3D ResNet在UCF-101上可提升1.50%的精度,在HMDB-51可提升1.24%的精度,而参数量只增加0.24%.

基于深度学习的黑暗环境动作识别

黑暗条件下的人体识别是一般人体动作识别的一个分支,其中黑暗环境图像具有的特殊性使得人体动作识别更具挑战性。人工神经网络和图像处理等技术的不断发展使得黑暗环境中的人体动作高精度识别成为可能,文章利用结合ResNet和3D CNN的识别模型,并使用FFmpeg预处理方法对不同主干网络和模型进行了对比和消融实验,结合跨域数据交互技术实现了更出色的黑暗环境人体动作识别效果。

一种3D残差神经网络视频行人动作分类改进方法

对于视频行人动作分类方法中,卷积神经网络模型对时域信息理解能力不足的问题,针对拥有深层的3D残差卷积神经网络提出一种联合计算方法,使深层特征的时域信息差异与损失差异共同参与模型的梯度下降过程,提升网络所学特征对时域信息的稳健表达,改进网络对时域信息的理解能力。经仿真实验证明,3DResNeXt-101网络在添加了联合计算方法后,对UCF-101和HMDB-51数据集的测试准确度都有不同程度的提升,网络模型的性能经由联合计算方法的辅助得到了增强。

基于3D金字塔残差网络的高光谱图像分类方法

鉴于提取高光谱图像深层次特征时,深度学习网络面临的网络层数加深、特征图数量增多、计算量增大、梯度消失等问题,提出了一种3D金字塔残差卷积神经网络,通过将3D卷积块引入金字塔残差模型中,实现了高光谱图像空谱特征的同时提取,并利用金字塔残差网络逐级增加特征图维度,大大降低了模型的参数量.Pavia University和Salinas数据集测试结果显示,该方法分别取得了99.936%和99.879%的总体分类精度,分类效果优于SVM、3D-CNN、ResNet18等3D卷积模型,且网络参数仅为ResNet18等模型的1%.可见,该方法达到了网络参数和图像分类精度的双优表现,是一种有效的高光谱遥感影像分类方法.

基于计算机视觉的健身指导系统设计

随着国务院《全民健身计划》的印发,健身被推向了新的高度,但健身爱好者存在没有专业健身教练指导、健身房费用高昂、无法利用碎片时间高效健身等问题。该文针对此类问题设计出一款基于计算机视觉技术的健身动作指导系统,通过3D-ResNet模型对健身动作识别,将其与笔者构建的专业动作数据进行对比,并实时反馈动作纠正意见。该系统帮助了想利用零碎时间来进行健身的人群,使其可以得到正确指导,可以更好地锻炼目标肌群,避免因动作错误而造成的运动损伤。

基于光流和集成时-空-通道注意力的ResNet-10的微表情识别模型

针对一般模型很难捕捉微表情不同尺度上的特征,提出一种基于LiteFlowNet和改进的ResNet-10的微表情识别网络以充分提取微表情不同维度信息。先通过欧拉视频放大技术(EVM)突出面部微小动作,再将处理后的数据通过轻量级光流估计网络LiteFlowNet提取视频帧中的运动信息。在用于特征提取的ResNet-10上引入三维注意力机制(3D-Attention),以适应性地聚焦于微表情视频中最具辨别力的通道、空间和时间特征。实验结果验证了该网络有效提升了微表情识别性能。

乘务员值乘状态监测技术研究

利用多维度视频融合感知技术对机车乘务员值乘状态进行实时分析,通过乘务员前方图像采集设备和后上方图像采集设备实时获取视频,先对视频图像进行动态自适应校正,再利用mobilenet-yolov3轻量级网络检测视频中乘务员的人脸多维特征信息、玩手机以及驾驶室车门开闭等特征,采用Hu矩不变量特征辅助分析乘务员的盹睡状态,从而及时提醒司机规范驾驶行为,实时预警,对保障行车安全具有重大意义。

基于注意力的短视频多模态情感分析

针对现有的情感分析方法缺乏对短视频中信息的充分考虑,从而导致不恰当的情感分析结果。基于音视频的多模态情感分析(AV-MSA)模型便由此产生,模型通过利用视频帧图像中的视觉特征和音频信息来完成短视频的情感分析。模型分为视觉与音频2分支,音频分支采用卷积神经网络(CNN)架构来提取音频图谱中的情感特征,实现情感分析的目的;视觉分支则采用3D卷积操作来增加视觉特征的时间相关性。并在Resnet的基础上,突出情感相关特征,添加了注意力机制,以提高模型对信息特征的敏感性。最后,设计了一种交叉投票机制用于融合视觉分支和音频分支的结果,产生情感分析的最终结果。AV-MSA模型在IEMOCAP和微博视听(WB-AV)数据集上进行了评估,实验结果表明,与现有算法相比,AV-MSA在分类精确度上有了较大的提升。

面向AR沙盘异地协同标绘的动作重构技术

为真实再现增强现实环境下全息沙盘异地协同标绘的交互过程,提出了一种基于视频的异地协同标绘动作重构技术.使用单目RGB相机采集作业人员的实时视频信息,基于YOLO实现多人检测,并确定作业人员在三维空间中的相对位置关系;基于改进的ResNet网络对检测到的每个作业人员进行关节点的三维位置预测;然后将估算出的本地作业人员的关节位置实时传送到异地,经过逆向运动学及低通滤波器的优化驱动虚拟化身的运动.实验结果表明,能够准确地再现异地作业人员的标绘动作,满足实际应用需求.

基于ShuffleNet V2算法的三维视线估计

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNet V2网络对脸部图片进行特征处理,并加入人脸对齐算法,减少头部角度误差的影响。眼睛子网络通过ShuffleNet V2与ResNet V2算法进行眼睛图片的并行特征处理。网络对特征图片处理后得到角度参数,最后通过坐标变换得到视线角度。并在MPIIGaze数据集上进行了实验。针对精度的不足对算法进行改进,在ShuffleNet V2中加入注意力机制(逐点平方操作模块),并进行了改进算法的验证实验,最后和多种先进的算法进行了实验对比。实验表明,改进后的算法比其他算法的精度要高。

星际争霸图像序列的群体行为识别研究

以星际争霸游戏图像数据的群体目标行为识别为研究目标,构建游戏中群体目标典型行为的数据集,并应用当前主流的行为识别方法对游戏图像序列进行了群体行为识别。群体目标典型行为的数据集共包含战斗、移动、静止这3类典型行为,每个行为样本中包含不同数量、不同背景和不同行为表示形式的目标单元,充分保证了数据样本的多样性。分别使用时间段网络(TSN)、3D卷积(C3D)网络、膨胀3D卷积网络(I3D)以及时间移位模块(TSM)这4种行为识别方法,对构建的星际争霸图像序列群体目标行为识别数据集进行了验证。实验结果表明,本数据集有效,且基于3D卷积网络的C3D模型取得了最好的行为识别效果和最短的计算时间,满足群体目标行为识别任务需求。本文为后续研究遥感图像的群体目标行为识别方法提供了指导和迁移学习的原始数据。

结合残差网络及目标掩膜的人脸微表情识别

微表情是一种能反映隐藏在人内心最真实情感状态的面部特征,现有的微表情识别技术经常会提取一些与微表情无关的运动特征信息干扰情感的真实性识别。为解决上述问题,提出一种结合残差网络及目标掩膜的特征提取方法。本文首先对原始的微表情序列进行一系列预处理,定位人眼的关键区域,对眼部区域进行图像掩膜,进而减少眨眼动作对微表情特征提取造成的干扰,然后使用欧拉视频放大算法对人脸微表情变化的关键区域进行放大,使得微表情变化更为明显,最后通过3D ResNet网络对连续的微表情序列进行训练和识别。本文方法在CASME Ⅱ和SMIC数据集上进行了测试,准确率分别达到77.3%和72.4%,与最新方法DSSN、CNN+LSTM等相比,准确率至少提高5%。

基于残差网络的三维人脸识别方法

针对目前三维人脸识别在时间成本和识别精度的平衡问题上,提出了一种基于残差网络的三维人脸识别方法.该方法首先定义了一个二维平均人脸特征点和一个三维平均人脸特征点,将三维点云向三维平均人脸特征点对齐后,做统一的透视投影得到深度图像,再经过人脸区域裁剪得到用于训练的数据,最后使用27层的残差网络训练分类模型,从而实现三维人脸识别.由于提前设计平均人脸特征点,故大幅缩短了数据预处理时间,在FRGCv2.0数据集上进行测试取得了很好的效果:中性对中性实验、对全部实验、对非中性实验,识别率分别为98.8%、98.5%、98.5%,且总耗时仅为0.5秒.

低照度环境乡村公路行人穿越行为识别

为提高低照度环境下乡村公路行人穿越安全水平,提出了一种基于车载远红外视频的夜间行人穿越行为识别系统,该系统主要是利用YOLOv4和DeepSort对远红外视频中的行人进行检测跟踪,然后考虑到行人与路边缘的相对位置关系和行人的运动状态这两个因素与行人穿越行为的联系,进行车道线检测和行人运动光流检测,最后利用3D ResNet模型对检测处理后的行人进行过街行为识别。研究结果表明:所提方法对夜间行人穿越行为识别的准确率高达88.42%,同R(2+1)D、DenseNet等动作识别网络相比,分别提高了3.07%、7.01%。所提识别模型性能较好,可为后续的乡村公路行人穿越安全研究奠定基础。