基于时空双流3D残差网络的服务动作识别

人工抽查服务录像是目前企事业单位规范员工服务动作的主要途径,但这种方法费时费力。针对当前供电营业厅服务动作自动识别难题,提出基于时空双流3D残差网络的服务动作识别方法,建立供电营业厅服务动作数据集。将时空双流3D残差网络分为两个通道。RGB通道采用3D残差网络提取信息丰富的RGB图像提升对动作幅度较小的识别率;光流通道采用C3D网络提取能消除场景信息的光流图特征。根据训练时两个通道的识别率,分配对应的通道融合权重值。对两个通道的预测结果进行加权融合得到服务动作识别结果。实验结果表明,使用时空双流3D残差网络对供电营业厅服务动作的识别准确率为90.65%。

基于非局部3D残差网络的视频指纹算法

为了实现视频拷贝的快速准确检索,提出一种基于非局部3D残差网络的紧凑视频指纹。该算法以三胞胎网络架构为基础,采用非局部模块3D残差网络同时捕获视频的全局与局部时空信息,在特征提取部分末端加入量化编码层,实现了原始视频数据到离散指纹码的端到端映射;设计了由角度关系三元组损失和量化误差损失组成的网络目标函数。大量的实验结果表明,与对比算法相比,该算法在保持紧凑的同时鲁棒性与独特性均表现突出,查准率与查全率有明显提升。

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。

基于3D卷积残差网络的人体动作识别算法

针对3D卷积神经网络在卷积过程中产生较大的参数量和计算量的问题,提出了一种结合3D卷积残差网络和轻量级多尺度卷积模块的人体动作识别算法。该轻量级多尺度卷积模块首先将中间特征图分割为若干子图;然后将每个子图经3D卷积后的特征图融合,提取目标的多尺度特征;再对多尺度特征图上的每个通道赋予不同权值;最后使用softmax分类器进行分类。在UCF-101数据集上的实验结果表明,相比较其他3D卷积神经网络算法,该算法不仅加快了模型收敛速度,而且进一步提高了动作识别率。

基于3D深度残差网络和多模态MRI的脑胶质瘤自动分级

目的:利用3D深度残差网络和多模态MRI实现对脑胶质瘤的自动分级。方法:利用BraTS2020公共数据集的293例高级别胶质瘤(HGG)和76例低级别胶质瘤(LGG)的多模态MRI数据训练和测试3D深度残差卷积网络模型。多模态MRI图像经过3D剪裁、重采样和归一化的预处理,随机分组为训练(64%)、验证(16%)和测试(20%)样本,将预处理后的多模态MRI图像和分级标注输入到网络模型进行训练、验证和测试。利用准确率(ACC)和受试者工作特征(ROC)曲线下面积(AUC)评价分级结果。结果:在59例(48例HGG和11例LGG)验证数据集上,ACC和AUC分别为0.93和0.97,在75例(62例HGG和13例LGG)测试数据集上,ACC和AUC分别为0.89和0.93。结论:3D深度残差网络在多模态MRI数据集上获得了较好的脑胶质瘤自动分级结果,可以为确定治疗方案和预测预后方面提供重要参考。

一种3D残差神经网络视频行人动作分类改进方法

对于视频行人动作分类方法中,卷积神经网络模型对时域信息理解能力不足的问题,针对拥有深层的3D残差卷积神经网络提出一种联合计算方法,使深层特征的时域信息差异与损失差异共同参与模型的梯度下降过程,提升网络所学特征对时域信息的稳健表达,改进网络对时域信息的理解能力。经仿真实验证明,3DResNeXt-101网络在添加了联合计算方法后,对UCF-101和HMDB-51数据集的测试准确度都有不同程度的提升,网络模型的性能经由联合计算方法的辅助得到了增强。

基于3D金字塔残差网络的高光谱图像分类方法

鉴于提取高光谱图像深层次特征时,深度学习网络面临的网络层数加深、特征图数量增多、计算量增大、梯度消失等问题,提出了一种3D金字塔残差卷积神经网络,通过将3D卷积块引入金字塔残差模型中,实现了高光谱图像空谱特征的同时提取,并利用金字塔残差网络逐级增加特征图维度,大大降低了模型的参数量.Pavia University和Salinas数据集测试结果显示,该方法分别取得了99.936%和99.879%的总体分类精度,分类效果优于SVM、3D-CNN、ResNet18等3D卷积模型,且网络参数仅为ResNet18等模型的1%.可见,该方法达到了网络参数和图像分类精度的双优表现,是一种有效的高光谱遥感影像分类方法.

基于时空注意力网络的中国手语识别

手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3DConvolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域;随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。

基于有序多分类的肺结节良恶性分析

在肺癌的早期诊断过程中,肺癌的筛查是常用手段。但是人工筛查效率低下,对医生而言负担过重,采用深度学习技术的影像筛查,自动高效,成为研究的热点。其中,从影像中检测到的肺结节存在着假阳性过高的问题,因此准确判断患者肺结节的良性恶性成为筛查过程中关键的一步。本文提出一种深度学习模型,在损失函数上着眼于良恶性分类之间的有序行,关联性,从而有效去除假阳性。我们的方法在LIDC-IDRI数据集上获得很高的准确率和召回率。