基于改进时空图卷积网络的人员交互行为识别

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。

基于空洞-稠密网络的交通拥堵预测模型

在利用卷积神经网络模型对短时交通拥堵情况等预测场景进行预测时,由于模型的卷积池化操作过程会丢失部分数据,使得目标位置的信息出现丢失及特征的分辨率持续下降,导致模型的预测能力降低.针对此,本文提出一种空洞-稠密神经网络模型.首先,利用空洞卷积用较少的网络参数获取更大感受野的特点,充分提取出复杂多变的数据时空特征.其次,通过下采样及稠密网络的等值映射,解决参数在神经网络层数增加过程出现退化的问题.最后,取实际的城市道路平均车速数据块对网络结构的有效性进行验证.结果表明:同卷积神经网络模型相比,该网络结构预测平均绝对误差降低3%~23%.

基于空间变换密集卷积网络的图片敏感文字识别

互联网上含有大量多字体混合、形变、拉伸、左右结构字形、倾斜畸变等复杂场景下的敏感文字图片,在处理相关图片过程中存在特征提取难、识别率低的问题.本文提出基于空间变换网络与密集神经网络的方法对图片敏感文字进行特征提取与变换矫正,使用了深层双向GRU网络与CTC时域连接网络对序列特征信息进行标记预测,序列化处理文本的方式可较好地提升距离较宽文字与模糊文字信息的处理能力.实验结果表明,本模型在Caffe-OCR中文合成数据集和CTW数据集中分别实现了87.0%和90.3%识别准确率,平均识别时间达到了26.3 ms/图.

基于卷积自编码与密集时间卷积网络的回转支承退化趋势预测

为了对反映回转支承性能退化状况的健康指标进行准确预测,提出了一种基于改进时间卷积网络(temporal convolution network,TCN)的退化趋势预测模型——密集时间卷积网络(densely temporal convolution network,DTCN)。该模型借鉴Dense-Net网络中的Dense-block模块对网络结构进行改进,以解决时间卷积网络在训练中损失函数下降缓慢,以及网络不易收敛、收敛效果差的问题;使用回转支承全寿命试验数据,借助卷积自编码网络(convolutional auto-encoders,CAE)与隐马尔可夫模型(hidden Markov model,HMM)建立健康指标,验证该改进算法的有效性;将DTCN与其他序列预测模型如长短时记忆网络(long short-term memory,LSTM)、门控循环单元网络(gated recurrent unit,GRU)等对比。结果表明,该模型在预测效果上具有优越性,能够更准确地预测健康指标的变化情况,可用于回转支承的退化趋势预测任务。

时域注意力Dense-TCNs在多模手势识别中的应用

为增强时间卷积网络(TCNs)在时间特征提取方面的能力,提出一种基于三维密集卷积网络与改进TCNs的多模态手势识别方法。通过时空特征表示方法将手势视频分析任务分为空间分析和时间分析两部分。在空间分析中采用三维DenseNets学习短期的时空特征,在时间分析中使用TCNs提取时间特征。在此基础上引入注意力机制,使用时域维度的压缩-激励网络调整每个TCNs层特征在时间维度上的权值比重。分别在VIVA和NVGesture两个动态手势数据集上对该方法进行评价,实验结果表明,该方法在VIVA数据集上的正确率为91.54%,在NVGesture数据集上的正确率为86.37%,且与最新的MTUT方法水平相近。

基于改进TCN模型的野外运动目标分类

野外运动目标信号的背景噪声复杂,利用单模态声音信号进行野外目标分类识别率低且鲁棒性差。针对该问题,提出一种基于声震多模态融合的网络模型。借鉴DenseNet网络密集连接的思想改进时域卷积网络,从而对四通道声音信号和单通道震动信号进行深层次的特征提取,并将两种信号相互融合得到最终的目标分类结果。同时,使用带权重的损失函数解决因数据不均衡导致的泛化性能差的问题。实验结果表明,融合网络的识别准确率达到92.92%,较单模态输入网络提高了6.63%~9.46%,且该网络具有较强的鲁棒性。

面向网络舆情分析的多任务学习策略时间卷积网络

检测与识别网络中语音的情感状态有助于把控舆情信息,若能同时辨别说话人及其性别,则对掌握舆情的真实意图更有帮助。基于数据集EMODB,提出用于情感分类、说话人辨别和性别识别的多任务学习策略时间卷积网络(DTCN)。针对多任务学习中数据集较小的问题,设计数据增强技术,在不同信噪比下采用加噪的方式对数据集EMODB进行扩充,构建单信噪比含噪数据集EMODB-10、EMODB-5、EMODB0、EMODB5、EMODB10以及多信噪比含噪数据集EMODBM。同时,通过研究单一噪声和混合噪声,验证不同噪声对DTCN模型性能的影响。为了更好地表征数据特性,提出适用于多任务学习的声学特征集。实验结果表明,在具有正信噪比和多信噪比含噪数据集上进行测试时,DTCN模型在多任务学习场景下的表现均优于基线,较容易辨别说话人性别,且随着噪声种类增多,对多任务学习的性能不断提高,在混合噪声下鲁棒性和泛化性更好。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

基于空洞卷积的密集连接网络人流量预测模型

针对人流量数据的时空特性和外部因素等对预测精度的影响,提出一种基于空洞卷积的密集连接网络人流量预测模型。通过空洞密集连接模块捕获相邻区域之间的空间依赖关系,采用SE-LSTM模块帮助网络学习更重要的特征并学习数据中的周期性和动态时间性;对于外部因素,利用全连接网络对天气、假期、事件等数据进行处理来辅助预测。采用2个公开的数据集验证提出的模型。实验结果表明,与其他基线模型相比,该模型将预测误差分别从6.33、16.69降低到5.30、15.41,能够更好地学习数据中的时空依赖关系,提升预测精度。