一种基于时空运动信息交互建模的三维人体姿态估计方法

三维人体姿态估计在虚拟现实和人机交互等领域具有重要作用。近年来,Transformer已被引入三维人体姿态估计领域,用于捕捉人体关节点的时空运动信息。然而,现有研究通常只关注于人体关节点群的整体运动,或只对单独的人体关节点运动进行建模,均没有深入地探讨每个关节点的独特运动模式及不同关节点运动间的相互影响。因此,提出了一种创新的方法,旨在细致地学习每帧中的二维人体关节点的空间信息,并对每个关节点的特定运动模式进行深入分析。通过设计一个基于Transformer编码器的运动信息交互模块,精确地捕捉不同关节点之间的动态运动关系。相较于已有直接对人体关节点的整体运动进行学习的模型,此方法能够使得预测精度提高约3%。与注重单节点运动的最先进MixSTE模型相比,该模型在捕捉关节点的时空特征方面更为高效,推理速度实现了20%以上提升,使其更适合于实时推理的场景。

一种基于序列到序列时空注意力学习的交通流预测模型

城市交通流预测是研究交通时空序列数据的动态演化并预测未来交通情况的关键技术,对于智能交通预警及管理决策来讲至关重要.但是有效的交通流建模非常具有挑战性,因为它受到很多复杂因素的影响,例如交通网络的时空依赖性和序列突变性等问题.一些研究工作将卷积神经网络(convolutional neural networks, CNN)或循环神经网络(recurrent neural networks, RNN)用于交通流量预测建模.但是,直接使用经典的深度学习模型难以有效捕获与交通流相关的多通道多变量序列数据中的隐含时空依赖性特征.针对上述问题,提出了一种新的序列到序列时空注意力深度学习框架(spatial-temporal attention traffic forecasting, STATF)来处理城市交通流建模任务,它是一种基于卷积LSTM编码层和LSTM解码层,并辅助注意力机制的端到端深度学习模型,可以自适应地学习与城市交通流相关的多通道多变量时空序列数据中的时空依赖性和非线性相关性特征.基于3个真实的交通流数据集实验结果表明:不管是单步预测还是多步预测条件下,STATF模型都具有更优的预测性能.

基于脉冲神经网络的类脑计算

针对当前重要国际科技前沿--类脑计算进行研究,讨论了类脑计算的研究内容、特点和研究现状.类脑计算不是简单的人脑神经元的模拟和神经元模型的应用,而是对人脑的信息处理规律、复杂的工作模式及思维、学习、推理、决策本质性机理的深层次模拟.脉冲神经网络比传统神经网络具有更好的生物似真性,并能同时融入时、空信息,更适用于受人类推理、判断、决策等思维过程启发的类脑计算.因此,介绍了脉冲神经网络的特点、脉冲神经元模型、脉冲编码,以及脉冲神经网络在模式识别等领域中的应用,并对基于脉冲神经网络的类脑计算方法和神经形态芯片的研究现状及未来的发展进行了讨论.基于脉冲神经网络的类脑计算会对未来的生活、经济发展产生深远影响.

一种面向时空数据的关联规则更新算法

现有的关联规则更新算法大多具有产生大量候选项集和多次扫描数据库的弊端,而且对时空数据的研究少之又少。针对此问题,论文提出一种基于滑动窗口的关联规则更新算法,此算法将访问数据进行行程长度编码并存储于存储器中,然后只需对存储器中的编码数据进行挖掘,不需反复读取数据库信息。同时该算法在由频繁项集产生候选项集时添加了空间约束条件,过滤了空间不相关数据,提高了算法的执行速度和处理效能。通过实验论证,此算法具有更高的挖掘效率,对智能交通、指挥控制等领域有着重要的应用价值。

数字的时间特性:时间数字联合反应编码效应

本研究采用SNARC效应的实验变式探讨了数字的时间特性。结果发现:(1)大数字在前信号处反应会更快,小数字在前信号处反应相对较慢。时间数字联合反应编码效应(TNARC效应)是存在的。(2)空间任务中未能发现数字的时间特性起作用,排除空间因素后出现TNARC效应。研究结果表明,数字加工中除了空间编码,也存在时间编码。

信鸽视顶盖中间层ON-OFF神经元在空间统一白噪声刺激下的编码

感知系统神经科学的一个基本目标是刻画刺激和神经元响应之间的功能性关系。空间统一白噪声(spatial uniform white noise,SUN)刺激包含了丰富的时间变化信息,SUN刺激下的神经响应揭示了其时间编码属性。基于视网膜神经节细胞-视顶盖(retinal ganglion cells-optic tectum,RGC-OT)神经回路的信息整合假设,提出了信鸽视顶盖浅中层ON-OFF神经元SUN刺激响应的双滤波器半波整流模型,用于SUN刺激响应的预报。为解决凸优化问题,利用二次曲线对半波整流进行近似,将双滤波器模型转换为广义二次模型(generalized quadratic model,GQM),然后进行优化,预报结果表明二次模型与传统的线性-非线性-泊松分布(linear nolinear possion,LNP)模型相比较,获得了更好的预报效果。该结果也验证了OT神经元以不同的通路进行时变的亮度增强和降低的信息处理的假设。

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆(LSTM)网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励(SE)模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差(RMSE)分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。

基于3D卷积和LSTM编码解码的出行需求预测

可靠的区域出行需求预测能够为交通资源的调度和规划提供合理有效的建议。但是,出行预测是一个非常具有挑战性的问题,面临海量的时空大数据建模问题,如何有效地提取时空大数据中的空间特征和时间特征,成为当前城市计算的研究热点。文中提出了一种基于3D卷积和编码-解码注意力机制的需求预测模型(3D Convolution and Encoder-Decoder Attention Demand Forecasting,3D-EDADF),用于同时预测城市区域的出行需求流入量和流出量。3D-EDADF模型首先利用3D卷积来提取时空数据的时空相关性,然后使用LSTM编码解码来对时间依赖性进行捕获,并结合注意力机制来描述流入流出的差异性。3D-EDADF模型对临近依赖性、日常依赖性和周期依赖性这3种时间依赖特征进行混合建模,然后将它们的多维特征进行加权融合得到最终的预测结果。采用真实的出行需求数据集进行了大量的实验,结果表明,与基准模型相比,3D-EDADF模型的整体预测误差较低,具有较好的预测性能。

H.263编码视频流的混合错误掩盖

当H.263编码视频流在因特网上传输时,易受错误的影响,错误不但会影响当前帧还会连续扩散到以后的解码帧,从而导致图像质量的严重恶化,目前消除错误影响的常用算法是空域掩盖和时域掩盖算法,但是单纯地使用空域算法会造成图像的钝化,而时域算法则无法处理大运动的图像区域,因此,建议了一种时域和空域混合掩盖算法,同时使用两类算法对发生错误的图像帧进行掩盖。模拟结果显示该算法能够达到可以接受的图像质量,适应于视频会议、远程教育等应用的要求。

基于H.263视频码流的差错掩蔽算法

在H.263视频信号的传输过程中,由于采用了可变长编码,当发生比特错误时,很容易造成错误的扩散传播及图像质量下降。由于H.263为低速率传输模式,在进行错误恢复时不适于采用网络开销较大的前向纠错方式,所以采用了基于解码器端的差错掩蔽方法来消除错误的影响。使用的是自适应分类差错掩蔽方法,通过分析图像的运动剧烈程度,将图像分为三类进行掩蔽,既降低了运算复杂度,又取得了较好的掩蔽效果。

时空依赖的城市道路旅行时间预测

城市道路的旅行时间预测,对于路径规划以及交通管理至关重要.尽管旅行时间预测会受路段依赖、时空相关性以及其他因素的影响,但现有的方法并未考虑如何结合外部因素进行建模,因而可能会有引入错误信息、路段建模时忽略上下游路段间的依赖关系等问题,导致预测精度较差.鉴于此,提出了两阶段的旅行时间预测框架:首先,使用Skip-Gram模型对轨迹数据地图匹配后的路段序列进行编码,将其映射为低维向量,通过该编码方式避免引入错误信息的同时保留了路段间的上下游依赖信息.随后,基于路段编码模式整合天气、日期等外部因素,设计了基于深度神经网络的城市道路旅行时间预测模型.基于真实出租车轨迹数据集的对比实验结果表明,所提方法比对比算法具有更高的预测精度.

时空注意图卷积网络的交通流量预测研究

准确实时的交通预测在交通管理和规划中起重要作用,而交通数据是典型的时空数据,目前大部分的预测方法没有完全考虑交通数据的动态时空相关性、周期性和稳定预测性能等要素。针对这些要素,本文提出了一种时空注意图卷积网络(spatial-temporal attention graph convolutional network,STAGCN),该网络采用了Encoder-Decoder框架,其中k阶切比雪夫(ChebNet)图卷积网络用于提取交通网络的空间相关性,同时将历史时间步长和与预测时间段间隔相同的周交通数据堆叠作为输入,更好地捕获时间和周期性。在解码器中加入时间注意机制,自适应地学习编码器输出中更重要的部分。此外,设计了残差网络稳定预测性能。最后,在2个真实的交通数据集上进行大量实验,结果表明STAGCN优于其他现有的方法。

情绪效价对非符号数字空间编码的影响

工作记忆在加工非符号数字时,会根据非符号数字的数量信息,将其以空间的方式进行编码后,把小数字表征在左侧、大数字表征在右侧。但是,工作记忆对非符号数字的空间编码是否会受到情绪效价的调节呢?本研究采用非符号数字快速分类范式对这一问题进行实验研究。实验随机向被试呈现1~5个(3个除外)数量不等的蜘蛛(实验1)或花朵(实验2),要求被试以按压左右键的方式判断呈现刺激的数量小于3还是大于3。结果发现,在蜘蛛数量分类中未出现SNARC效应(实验1),在花朵数量分类中出现了经典的SNARC效应(实验2)。说明工作记忆以空间的方式编码花朵,但未以空间的方式编码蜘蛛。由此可以推测,非符号数字在工作记忆中的空间编码受到情绪效价的调节。

面向弱势道路使用者的多目标运动轨迹预测方法

针对复杂行驶环境下弱势道路使用者(VRU)多目标轨迹预测方法存在的预测精度不足和预测性能不稳定的问题,提出一种基于历史序列信息的面向VRU的多目标轨迹预测方法(Vulnerable Road User Trajectory Predictor, VRU;P)。首先,为了解决预测精度不足的难题,该轨迹预测方法框架融合时空的多维运动状态特征和多维外观语义特征因子,同时基于外观特征综合考虑目标的运动意图,提取多线索的轨迹预测因子作为各个VRU目标历史轨迹的编码输入。其次,为了克服现有方法预测性能不稳定的难题,在序列到序列的编解码器方法(Seq2Seq Encoder-decoder)的基础上,从网络结构设计和网络优化策略等方面提出适用于VRU轨迹预测的门循环神经网络(GRU)。该网络融合设计的plelu6激活函数,能基于历史的序列信息映射学习未来的轨迹信息,用来提高编解码器对未来轨迹的解码能力。最后,为了验证时空多元轨迹线索和门循环神经网络优化方法的有效性和实用性,在已公开的MOT16数据库和提出的VRU-Track数据库上,采用在图像空间上通用的归一化平均位置偏移(NADE)、平均重叠率分值(AOS)评价指标以及平均成功率(ASR)和成功率曲线(Success Plot)评价指标,并进行试验验证。研究结果表明:在MOT16划分的验证集中,相比于基准方法,NADE下降了19.4%,ASR提高了22.6%;在VRU-Track数据库测试集中,NADE下降了23.0%,AOS提高了17.1%,ASR提高了16.5%;提出的VRU;P方法减少了预测值与真值之间的位置偏移,增加了预测值与真值的重叠率,提升了各类VRU目标轨迹预测的性能,而验证了该方法的有效性。

以运动矢量残差为载体的视频隐写算法

目的以运动矢量(MV)为载体的视频隐写算法会破坏同一帧内相邻宏块或者相邻帧相同位置宏块的运动矢量之间的相关性,从而容易被基于运动矢量时空相关性(temporal-spatial correlation)特征的隐写分析算法检测到。为了解决这个问题,在H.264/AVC的视频编解码标准下构建了一种能抵抗基于运动矢量时空相关性隐写分析的视频隐算法。方法通过分析运动矢量残差(MVD)与运动矢量时空相关性的联系,证明了保持运动矢量残差的统计特征的隐写算法能够很好地保持视频运动矢量的时空相关性;通过分析运动矢量残差的统计特征设置了一种能保持其直方图特征的嵌入规则,使用4个标记符和一个队列来记录修改载体造成的特征改变,并进行相应的补偿操作,将秘密信息嵌入到视频压缩过程中的熵编码之前的运动矢量残差中;结合可变长度的矩阵编码,有效降低了嵌入秘密信息对载体的修改量。结果实验结果表明,该算法能较好地保持运动矢量残差在隐写前后的直方图特征,具有较好的视觉不可见性,对视频峰值信噪比(PSNR)和码率影响都不超过0.5%,满载嵌入的情况下基于运动矢量时空相关性的隐写分析算法对其的检测正确率只有70%左右。结论本文算法以运动矢量残差为隐写嵌入的载体,使用保持其直方图特征的嵌入规则,结合了矩阵编码以减低对载体的修改量,能较好抵抗基于运动矢量时空相关性的隐写分析。

基于旋转散斑结构光投影的三维人脸采集

设计由两个红外相机和一个紧凑散斑结构光投射器构成的三维人脸采集系统,可根据采集精度和运算效率的折衷配置采集散斑图像。散斑模板固定在垂直于投射器光轴的齿轮上,使用齿轮机构驱动散斑模板作旋转运动,使用波长为735nm的LED照亮散斑,在测量空间中形成时间和空间上互不相关的散斑编码结构光图案,采用时空相关立体匹配算法实现人脸三维重建。通过理论分析和实验验证散斑模板的旋转角度对测量精度的影响,进而确定最佳的旋转角度。采用德国ATOS高精度工业3D扫描仪获取人脸面具三维数据并将其作为真值,同时测试真实人脸的三维采集效果。实验结果表明,当投射散斑数量为5时,三维重建的平均误差为0.063mm,误差标准差为0.111mm。