基于EMD-Multi-Modal-LSTM的多尺度组合水质预测模型——不同水质断面的视角

本文以地表水氨氮因子作为水质分析的研究对象,将系统降噪方法(Seasonal-HybridExtreme Studentized Deviate test,S-H-ESD)、经验模态分解(Empirical Mode Decomposition,EMD)方法和多模态输入长短期记忆模型(Multi-Modal Long Short-Term Memory,Multi-Modal-LSTM)相结合,构建了一个多尺度模态组合预测模型,EMD-Multi-ModalLSTM。在模型构建过程中,首先通过S-H-ESD算法对原始波动数据进行系统性降噪;其次,对降噪后的序列采用EMD分解为不同特征尺度的本征模态分量(IMF)和一个趋势项。在此基础上,对各分量再分别结合其他相关的序列信息,单独构建Multi-Modal-LSTM模型,并进一步通过集成各预测分量获得整体氨氮序列预测值。以珠三角地区两种不同水质断面氨氮浓度为例进行实证分析,结果表明本文方法相比于传统机器学习算法及深度学习算法具有更高的模型预测精度,且对数据波动较大的氨氮序列及高浓度时刻预测效果提升明显,预测性能更加稳定。

一种联合时空信息与社交互动特征的行人轨迹预测方法

针对目前基于数据驱动的建模方法,难以有效表达和综合行人时序运动特征及行人间复杂抽象的社交互动行为的问题,本文提出了一种联合时空信息和社交互动特征的行人轨迹预测方法。首先,对行人历史运动轨迹编码得到行人的运动特征;其次,结合长短期记忆网络和特征注意力机制,捕获行人自我运动序列的时空关联信息;再者,在时序特征提取基础上,使用图卷积网络建模行人间的社交互动特征;最后,利用多模态未来轨迹解码模块预测行人的多模态未来运动轨迹,并采用ETH、UCY数据集对所提出的模型进行评价分析。结果表明,本方法具备有效性,能够稳健可靠地实现行人轨迹预测。

基于深度长短记忆模型的民航安保事件分析

为辅助公安民警分析民航安保事件,采用深度长短记忆(LSTM)模型,研究民航安保事件行为主体识别问题。通过搭建民航安保事件数据库,对民航安保事件概念信息进行多模态信息表示,提取安保事件时序特征,构建深度LSTM模型,进而实现安保事件行为主体的学习与预测。结果表明:该模型可基于事件时序特征分析事件行为主体,预测精度更优,且在有噪声情况下也可得出良好结果,相关研究成果已在SZX机场成功应用。

基于多层LSTM融合的多模态情绪识别

情绪分析一直是自然语言处理领域的研究热点,而多模态情绪分析是当前该领域的一个挑战。已有研究在上下文信息和不同模态时间序列信息交互方面存在不足,该文提出了一个新颖的多层LSTM融合模型(Multi-LSTMs Fusion Model, MLFN),通过分层LSTM分别设置单模态模内特征提取层、双模态和三模态模间融合层进行文本、语音和图像三个模态之间的深度融合,在考虑模态内部信息特征的同时深度捕获模态之间的交互信息。实验结果表明,基于多层LSTM多模态融合网路能够较好地融合多模态信息,大幅度提升多模态情绪识别的准确率。

基于多任务学习与层叠Transformer的多模态情感分析模型

针对单模态特征提取存在的模态特征异质性难以保留问题和跨模态特征融合存在的特征冗余问题,基于跨模态Transformer,提出新的多模态情感分析模型(MTSA).使用长短时记忆(LSTM)与多任务学习框架提取单模态上下文语义信息,通过累加辅助模态任务损失以筛除噪声并保留模态特征异质性.使用多任务门控机制调整跨模态特征融合,通过层叠Transformer结构融合文本、音频与视觉模态特征,提升融合深度,避免融合特征冗余.在2个公开数据集MOSEI和SIMS上的实验结果表明,相较于其他先进模型,MTSA的整体性能表现更好,二分类准确率分别达到83.51%和84.18%.

基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

为了提高情感识别的分类准确率,提出一种将栈式自编码神经网络(SAE)和长短周期记忆单元循环神经网络(LSTM RNN)融合的多模态融合特征情感识别方法。该方法通过SAE对不同模态的生理特征进行信息融合和压缩,随后用LSTM RNN对长时间周期的融合进行情感分类识别。通过将该方法用到开源数据集中进行验证,得到情感分类准确率达到0.792 6。实验结果表明,SAE对多模态生理特征进行了有效融合,LSTM RNN能够有效地对长时间周期中的关键特征进行识别。

基于可穿戴传感器的普适化人体活动识别

为了提高日常活动识别的准确性和自动化程度,减少人为干预,提出了利用可穿戴传感信号作为输入,通过深度神经网络进行人体活动识别的方法。首先,设计了普适环境下人体活动识别的系统架构,建立了一套加速度、生理信号等传感数据的采集系统;然后,对获取的传感数据进行降噪、加窗与归一化等预处理,并设计了长短时记忆递归神经网络来进行特征的自动提取和融合,从而实现活动识别。实验结果表明,该方法减少了对人工和专家知识的依赖,自动进行多模态传感器的融合,智能化程度高,分类效果好。

基于长短记忆与信息注意的视频–脑电交互协同情感识别

基于视频–脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory,LSTM)和注意机制(Attention mechanism)的视频–脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号,输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network,CNN)的人脸视频特征与对应的脑电信号特征,通过LSTM进行融合并预测下一个时间点上的关键情感信号帧,直至最后一个时间点上计算出情感识别结果.在这一过程中,该模型通过空域频带注意机制计算脑电信号α波,β波与θ波的重要度,从而更加有效地利用脑电信号的空域关键信息;通过时域注意机制,预测下一时间点上的关键信号帧,从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型,取得了良好的识别效果.实验结果表明本文的工作为视频–脑电信号交互协同的情感识别问题提供了一种有效的解决方法.

基于混合深度学习的多模态场景指令分类方法

为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法。该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码。对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码。最终得到每个目标-源对可能性的区域范围。实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法。

结合LSTM与CNN的野外车辆声信号分类

针对野外环境下微声传感器采集的小型轮式车、大型轮式车和履带车3种车辆声信号受风噪影响严重、分类性能较低的问题,提出了一种长短时记忆网络(LSTM)与多尺度、多层次特征融合卷积神经网络(CNN)相结合的分类算法——野外车辆识别算法(FVNet)。该算法先采用一层LSTM网络提取声信号的时序特征,充分利用声信号的长时依赖关系;再用CNN并行提取多尺度特征,避免网络加深过程中特征的流失;引入通道注意力机制进行多尺度和多层次特征融合,增强多尺度、多层次关键特征信息;最后在相同数据集上进行验证。实验结果表明,FVNet算法对3种车辆的总识别率可达94.95%,与传统方法相比,其总识别率提高了14.61%,取得了较好的分类效果。

基于多尺度卷积和LSTM的多模态隐式认证

针对以往身份认证大多基于单一模态信号、准确率不够高等问题,提出了一种基于多尺度卷积和长短期记忆网络融合的多模态隐式认证方案(MMC-LSTM)。结合智能移动设备在多传感器下的运动特征和触摸特征作为多模态特征进行输入,根据并行的多尺度卷积层捕获多维度的行为特征,并使用长短期记忆网络弥补对短序列识别的不足,从而实现更准确的认证。为减少用户姿态转变带来的影响,构建了先识别不同姿态再进行认证的总体框架。实验结果表明,所提方案在公开数据集上的认证准确率可达到98.2%,比单模态特征认证准确率提高了1.3%,能有效提升身份认证的准确性。

基于多模态和关键帧的视频犯罪事件检测

针对监控视频及网络上传视频中存在的犯罪事件问题,提出基于多模态融合和关键帧提取的视频犯罪事件检测方法,旨在准确高效的检测出视频中存在的犯罪事件,解决公共安全问题,为网民营造健康绿色的上网环境。该方法首先使用关键帧提取技术提取视频中的关键帧序列;然后,将提取的关键帧序列输入到深度卷积神经网络中提取关键帧序列的局部特征;将提取到的局部特征再分别输入到长短期记忆网络中(Long Shor-Term Memory Network,LSTM)和Transformer网络中,提取关键帧序列之间的时序特征和语义特征;同时,使用VGG(Visual Geometry Group)网络提取视频的音频特征;最后,将以上提取到的3种视频特征融合在一起,输入到图注意力网络(Graph Attention Network,GAT)中,提取融合特征的内部依赖关系,并检测出结果。论文实验在公开数据集XD-Violence上进行验证,犯罪事件检测的平均精度可达到86.45%。测试结果表明,基于多模态和关键帧的视频犯罪事件检测方法能够较有效的检测出视频中的犯罪事件。

面向电网工程数据识别的多模态融合技术研究

针对电网工程数据评估准确性差、效率低的问题,文中提出了一种基于BiLSTM-XGBoost的电网工程数据评估算法。该算法利用BiLSTM模型挖掘文本数据长距离的语义依赖关系,实现中文实体的准确识别。并进一步将多源数据作为输入,利用XGBoost算法进行特征分类和残差拟合,最终实现电网工程数据的精准评估。通过数据的算例分析结果表明,文中所提中文实体识别算法,具有更高的准确度和更快的训练速度。利用该算法对电网工程进行造价识别的平均误差仅为3.07%,相比于BiLSTM-DTA算法和LSTM-XGBoost算法,误差降低约5%,具有更高的评估准确度,对于电网工程精细化管控具有重要意义。