3维卷积递归神经网络的高光谱图像分类方法

为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取,提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息,然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练,提取空谱联合特征,最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理,可以实现端到端的训练,并且能够充分提取空间与光谱数据中的语义信息。结果表明,与其它基于深度学习的分类方法相比,本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度,有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。

三维卷积神经网络及其在视频理解领域中的应用研究

3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本原理和模型结构,接着从网络结构、网络内部和优化方法总结3维卷积神经网络的相关改进工作,然后对3维卷积神经网络在视频理解领域中的应用进行总结,最后总结全文内容并对未来发展方向进行展望。该文针对3维卷积神经网络的最新研究进展以及在视频理解领域中的应用进行了系统的综述,对3维卷积神经网络的研究发展具有一定的积极意义。

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。

基于三维卷积神经网络的工作流识别方法

鉴于传统的依赖于目标物体检测与跟踪的动作识别方法很难适用于复杂的生产制造环境,为了实现有效的工作流识别,从运动物体的检测与分割、视频序列中多视图特征向量的提取及工人生产动作的分类识别3方面入手,提出基于3D卷积神经网络的工作流识别框架。给出计算模型与相应的算法,并进行了系统的对比实验。通过实验发现,该方法比传统的隐Markov方法和其他方法在识别速度上提升了32%,在识别率上也提升了9%。

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。

基于三维卷积的帕金森患者拖步识别

冻结步态(FoG)是一种在帕金森病(PD)中常见的异常步态,而拖步则是冻结步态的一种表现形式,也是医生用来判断患者的治疗状况的重要因素,并且拖步状态也对PD患者的日常生活有很大影响。该文提出一种通过计算机视觉来实现患者拖步状态自动识别的方法,该方法通过以3维卷积为基础的网络结构,可以从PD患者的TUG测试视频中自动识别出患者是否具有拖步症状。其思路是首先利用特征提取模块从经过预处理的视频序列中提取出时空特征,然后将得到的特征在不同空间和时间尺度上进行融合,之后将这些特征送入分类网络中得到相应的识别结果。在该工作中共收集364个正常步态样本和362个具有拖步状态的样本来构成实验数据集,在该数据集上的实验表明,该方法的平均准确率能够达到91.3%。并且其能从临床常用的TUG测试视频中自动准确地识别出患者的拖步状态,这也为远程监测帕金森病患者的治疗状态提供了助力。

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。

基于3DCNN的CSI-cluster室内指纹定位算法

针对室内环境中复杂的多径效应影响定位精度问题,提出一种基于3维卷积神经网络(3 dimensional convolutional neural network,3DCNN)多径程度划分的自校准指纹定位算法。该算法利用MeanShift方法分析定位区域内每一个采样点的信道状态信息数据分布特性,得到其可代表多径效应程度的簇类数量,结合阈值原则将指纹库划分为2种不同多径程度的子库,从而减少多径程度差异较大的指纹点对后续定位影响利用3DCNN深度学习2类指纹子库。在定位阶段,根据校准算法判断待测数据所属子库,并采用相应的3DCNN模型估计位置。通过仿真实验验证,该方法在保证指纹库构建合理性和高效性的同时,在定位精度方面实现了明显的提升,优于与之对比的相关算法。

SA-C3D神经网络在动作识别上的应用

本文的主要目的是利用自注意力机制加强C3D网络在动作识别方面的准确率。C3D神经网络作为比较早提出的模型,在视频动作识别领域中有着重要的地位。随着各项研究的进展,C3D网络已经渐渐过时,识别准确率也较低。所以本文主要以C3D网络为基础,结合目前的自注意力机制,在C3D网络中集成了Non-Local模块,同时将固定学习率衰减替换为余弦退火学习率衰减,提高模型跳出局部最优解的能力。利用3D卷积提取动作视频的局部特征,再使用自注意力机制捕捉人体动作的全局信息,开发出新的SA-C3D网络。在没有预训练的前提下,对UCF-101数据集进行训练,识别准确率较之前的C3D网络以及一系列优秀的动作识别模型有了较大的提高,识别准确率高达95%。

湍流穿越理论与气候变化的研究

在理论上对大气湍流进行3维卷积封闭,建立了描述平均量的统计平流扩散方程,其一维形式同于Transilient理论。使用该封闭建立了简化气候模型,数值试验表明该模型相空间有4个螺旋吸引子:两个问冰期、冰期和深冻冰期。该系统对气候参数敏感,在吸引子间跳跃,准周期为万年到百万年,伴有数十年准周期波动。该研究得到了以下3个主要成果:

融合自编码器和one-class SVM的异常事件检测

目的在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机(support vector machine,SVM)的异常事件检测模型。方法通过高斯混合模型(Gaussian mixture model,GMM)提取固定大小的时空兴趣块(region of interest,ROI);通过预训练的3维卷积神经网络(3D convolutional neural network,C3D)对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC(area under ROC)和等错误率(equal error rate,EER)两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征(receiver operating characteristic,ROC)曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD(University of California,San Diego)Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。

基于LBP与双时空神经网络的微表情识别

针对传统微表情识别方法识别率低及过程复杂等问题,设计了一种浅层的双时空多尺度神经网络TSTNet (Two-Stream spatial-Temporal Network)模型.利用局部二值模式(LBP)提取SMIC和CASMEⅡ微表情数据库的纹理特性,将其输入到组合的3维卷积神经网络(3DCNN)与卷积的长短期记忆网络(ConvLSTM)中同时提取时间和空间信息,在模型中加入丢弃算法并多路提取特征,减小过拟合风险的同时学习更丰富的特征.在SMIC和CASMEⅡ微表情数据库上的识别率分别达到了67.30%和65.34%,与现有的深度学习方法相比,该模型提高了网络的训练速度与微表情的识别率.

局部双目视差回归的目标距离估计

目的双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法提出一个基于R-CNN(region convolutional neural network)结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法(11.3%),与基于3维目标检测的算法接近(约为3.9%)。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。

多特征融合的行为识别模型

目的视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets(3D convolutional neural networks)结构。然后,采用BiConvLSTM(bidirectional convolutional long short-term memory network)网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。