基于多模态注意力网络的红外人体行为识别方法

深度学习网络对红外单一模态数据的学习表征能力具有一定的局限性,针对该问题,文中提出了基于多模态注意力网络的红外人体行为识别方法。由于深度学习网络模型无法直接对视频信息进行训练和分类,首先,通过预处理模块将得到的视频信息预处理成红外视图,再将得到的红外视图通过Sobel算子和基于L 1范数的全变分光流法分别提取红外视图的边缘信息和光流信息得到边缘视图和光流视图;其次,将红外视图、边缘视图、光流视图分别输入融合注意力机制模块的三流网络中进行特征学习;然后,对三流网络中每个网络提取的多模态特征进行融合;最后,将融合得到的特征向量输入随机森林进行训练和分类。在公开数据集NTU RGB+D和自建数据集上进行实验,结果表明了所提方法具有不错的识别效果。

一种基于帧序列特征的三流网络人体行为识别方法

随着计算机科学和深度学习技术的发展,人体行为识别研究逐渐成为计算机视觉的一个重要课题。目前主流的双流网络模型无法做到在提取图像和运动特征的同时提取视频的帧间序列特征,当局部序列特征与长短时运动特征发生时空交互时,双流网络模型鲁棒性严重降低。针对于此,提出了一种基于视频序列特征的三流网络人体行为识别方法。通过预处理将视频的稠密光流帧输入时间网络,RGB帧输入空间网络和帧序列特征提取网络,同时对三个网络进行预训练。网络输出其对应的特征后使用权重相加的融合方法进行特征融合,最后采用多层感知机得到行为分类结果。将该方法分别在UCF11、UCF50和HMDB51数据集进行实验,得到行为分类准确率分别为99.17%、97.40%和96.88%。与传统的双流网络方法相比,该方法有效综合了行为的空间信息,时间信息和帧序列信息,识别准确率得到较大提升,具有更强的泛化能力。

数据流驱动的电压三相不平衡异常检测研究

为了提高当前电力计量系统中的电能量时间序列数据异常检测的准确率与效率,该文提出一种数据流驱动的电压三相不平衡异常检测方法。结合已有的面向数据流异常检测思路,实现对时间序列电能量数据的采样。采用基于循环神经网络的长短期记忆神经网络对数据建模预测,计算实际值与预测值之间的误差。采用指数加权平均的滑动窗口对误差进行平滑,实现了在过滤了三相电压数据正常波动的影响下判断某一时间段是否出现异常。试验结果证明,该方法在召回率和综合评价指标等有所提高,验证了该文方法对于电压三相不平衡的异常检测问题的可行性和有效性。

基于三流卷积神经网络模型的图像分类方法

为了提高卷积神经网络在提取图像特征的充分性与有效性,提出了一种基于三流卷积神经网络模型的图像分类方法.第一个和第二个网络流的特征提取部分采用交叉“间隔”的方式训练提取图像的不同特征,第三个网络流的特征提取部分采用初始参数,以此来构建三流卷积神经网络模型,提取到更充分有效的图像特征.同时针对每个网络流训练一个分类器,然后运用分类器融合算法对每个网络流的分类器赋予不同权重,得到3个网络流的融合输出,实现最终的分类.在CIFAR-100、Stanford Dogs和UEC FOOD-100和数据集上的实验结果验证了该方法的有效性和鲁棒性.

网络融合与宽带

网络是各种信息的传输通道 ,三网 (电话网、有线电视网和因特网 )因各有需求而传输不同信息 ,随着技术的创新和市场的需求 ,三网趋向融合。就三网融合的基础、融合的内涵、融合的趋势加以剖析 。

基于三流联合卷积神经网络的机械臂抓取检测

目前已有一些研究将深度学习应用于机械臂的抓取检测中,但很难同时保证检测的实时性和准确性.本文提出一种用于抓取检测的三流联合卷积神经网络模型,该模型由三个独立的深度卷积神经网络流组成,其中每个流分别处理其对应的输入模态,并将它们以一种后期融合的方式结合在一起;然后利用改进的单级回归算法进行抓取位置预测,并提出一种新的置信度计算方式.该模型在康奈尔抓取数据集上图像分割和对象分割的准确率分别为94.9%和93.7%.并且在GPU上以每秒14.2帧的速度进行实时检测.测试结果表明,我们的模型同时保证了抓取检测的实时性与准确性,提高了检测的速度与精度.

基于双流P3D-Resnet的人体行为识别研究

由于三维卷积神经网络的层数加深会使得网络模型所需要计算的参数量较大,导致网络难以训练,且对人体行为的识别率不高。论文提出了三维残差网络结合底层注意力机制的人体行为识别改进算法。首先将RGB视频帧和光流帧分别输入到卷积神经网络,然后通过注意力机制提取人体行为的特征,最后对双流卷积网络进行融合。在有效降低网络模型参数量的基础上能够较好地提升网络的精度。在UCF101数据集上的实验验证表明,该算法的识别率达到了94.3%。

面向近重复文本图像检索的三分支孪生网络

针对传统近重复文本图像检索方法需人工事先确定近重复文本图像之间存在的变换类型,易受到人主观性影响这一问题,提出一个面向近重复文本图像检索的三分支孪生网络,能自动学习图像之间存在的各种变换。该网络输入为三元组,包括查询图像、查询图像的近重复图像以及其非近重复图像,训练时采用三元损失使得查询图像和近重复图像之间的距离小于查询图像与非近重复图像之间的距离。提出的方法在两个数据集上的mAP(mean average precision)分别达到98.76%和96.50%,优于目前已有方法。

基于改进的三向流Faster R-CNN的篡改图像识别

为了进一步提高对拼接、缩放旋转、复制粘贴三种主要篡改手段的识别准确率,增强算法普适性,提出了一个基于三向流特征提取的卷积神经网络篡改图像识别系统。首先,分别根据图像局部彩色不变量特性比较特征子块相似度,根据噪声相关性比较篡改区域边缘的噪声相关系数,以及根据图像重采样痕迹计算子块标准偏差对比度,完成了对图像RGB流、噪声流和信号流的特征提取;然后,通过多线性池化,结合改进的分段AdaGrad梯度算法,实现了特征降维和参数自适应更新;最后,通过网络训练和分类,完成了对拼接、缩放旋转、复制粘贴这三种主要的图像篡改手段的识别与相应的篡改区域的定位。为衡量所提模型的效果,在VOC2007和CIFAR-10两个数据集上进行了实验。在约9000张图像上的实验结果表明,该模型对拼接、缩放旋转、复制粘贴这三种篡改手段均能进行较准确的识别与定位,识别率分别为0.962、0.956和0.935。与对照文献的双向流特征提取方法相比,该模型的识别率分别提高了1.050%、2.137%、2.860%。三向流特征提取模型丰富了卷积神经网络对图像的特征信息采集,提高了网络的学习性能与识别精度,同时改进的梯度算法通过分段控制参数学习率的下降速度,降低了过拟合,减少了收敛震荡,提高了收降速度,实现了算法的优化设计。

基于三维流函数的无线传感器网络移动Sink避障机制研究

面向存在障碍物的三维无线传感网络环境,本文提出了一种利用流体力学中的流函数为移动Sink节点规划避障路径的方法。本文方法借鉴了真实洋流运动的避障特性为移动Sink节点提供连续且平滑的流线轨迹,而且理论分析解决了存在多障碍物情况下流函数的拉普拉斯方程边界无解的问题。同时,本文将传统的二维流函数扩展应用到三维空间,研究了三维流函数的构造方法和"滞点"解决方案。仿真结果表明,采用本文提出的三维流函数所规划的移动Sink避障路径可实现多障碍物环境下的高效避障,还具有较好的连续性和平滑性,满足移动Sink节点在移动过程中智能躲避多障碍物的实际需求。

三网融合技术中一种高速流媒体服务器平台的设计

高速流媒体服务器是三网融合中流媒体服务的关键设备。本文介绍一种高速流媒体服务器的网络结构、系统架构到关键技术的设计方案,该方案解决了海量存储并发、实时动态编解码技术等,为用户搭建系统提供了一种可靠的选择。

IPTV主要技术及解决方案

IPTV是电视媒体向新型网络媒体转化的重要一步,作为当前热点技术已经引起了越来越多的关注。介绍了IPTV的主要技术和解决方案,并指出了其发展方向是三网融合。

矿山企业远程视频会议系统设计与应用

为进一步加强企业内部的业务沟通,以音频、视频和网络等技术为基础建设了一个集音频、视频、数据一体的远程视频会议系统。系统具有多画面会议、双流推送、字幕、系统的双视传送等功能。远程视频会议系统通过其稳定、安全、可靠的优势在网络视频会议、技术培训、教育讲座等方面得到了较好应用;同时各单位之间可通过远程视频会议系统进行技术交流,为高效办公提供强力支撑。

注意力引导的三流卷积神经网络用于微表情识别

目的微表情识别在心理咨询、置信测谎和意图分析等多个领域都有着重要的应用价值。然而,由于微表情自身具有动作幅度小、持续时间短的特点,到目前为止,微表情的识别性能仍然有很大的提升空间。为了进一步推动微表情识别的发展,提出了一种注意力引导的三流卷积神经网络(attention-guided three-stream convolutional neural network,ATSCNN)用于微表情识别。方法首先,对所有微表情序列的起始帧和峰值帧进行预处理;然后,利用TV-L1(total variation-L1)能量泛函提取微表情两帧之间的光流;接下来,在特征提取阶段,为了克服有限样本量带来的过拟合问题,通过3个相同的浅层卷积神经网络分别提取输入3个光流值的特征,再引入卷积块注意力模块以聚焦重要信息并抑制不相关信息,提高微表情的识别性能;最后,将提取到的特征送入全连接层分类。此外,整个模型架构采用SELU(scaled exponential linear unit)激活函数以加快收敛速度。结果本文在微表情组合数据集上进行LOSO(leave-one-subject-out)交叉验证,未加权平均召回率(unweighted average recall,UAR)以及未加权F1-Score(unweighted F1-score,UF1)分别达到了0.7351和0.7205。与对比方法中性能最优的Dual-Inception模型相比,UAR和UF1分别提高了0.0607和0.0683。实验结果证实了本文方法的可行性。结论本文方法所提出的微表情识别网络,在有效缓解过拟合的同时,也能在小规模的微表情数据集上达到先进的识别效果。

FARREL-F370密炼机控制系统改造

本文首先介绍FARREL-F370密炼机电气系统总体构成。因原密炼机电气系统存在运行状况差、故障率高等因素而需要对其进行改造。详细介绍F370密炼机控制系统改造的方案选择及硬件软件的设计实施过程,改造范围涉及主机控制柜、上辅机控制柜,供胶机控制柜、三区温控控制柜、电房主机驱动柜。