基于RGB-D视频的多模态手势识别

本文是对SKIG RGB-D多模态的孤立手势视频进行手势识别研究.首先将RGB和Depth两种单模态视频提取成图片的形式保存,然后采样成长度为32帧的手势序列分别输入到本文提出的稠密连接的3DCNN组件学习短期的时空域特征,然后将提取的时空域特征输入到卷积GRU网络进行长期的时空域特征学习,最终对单模态训练好的网络进行多模态融合,提升网络识别准确率.本文在SKIG数据集上取得了99.07%的识别准确率,达到了极高的准确率,证明了本文提出的网络模型的有效性.

基于深度学习的地下震源定位方法

本文提出了一种基于深度学习的地下震源定位方法。首先,利用稠密连接网络能够促进特征重复利用的优势,设计了稠密连接的3D卷积神经网络(3DCNN);其次,利用空间金字塔池化层(SPP)可以对高层特征进行多尺度提取再聚合的特点,设计了3D空间金字塔池化结构(3DSPP);最后,将三维能量场图像输入到设计的稠密连接的3DCNN+3DSPP+全连接层(FC)模型中进行训练和测试,最终输出震源坐标。实验结果表明,本文设计的深度神经网络能够实现能量聚焦点的准确定位。