基于注意力的短视频多模态情感分析

针对现有的情感分析方法缺乏对短视频中信息的充分考虑,从而导致不恰当的情感分析结果。基于音视频的多模态情感分析(AV-MSA)模型便由此产生,模型通过利用视频帧图像中的视觉特征和音频信息来完成短视频的情感分析。模型分为视觉与音频2分支,音频分支采用卷积神经网络(CNN)架构来提取音频图谱中的情感特征,实现情感分析的目的;视觉分支则采用3D卷积操作来增加视觉特征的时间相关性。并在Resnet的基础上,突出情感相关特征,添加了注意力机制,以提高模型对信息特征的敏感性。最后,设计了一种交叉投票机制用于融合视觉分支和音频分支的结果,产生情感分析的最终结果。AV-MSA模型在IEMOCAP和微博视听(WB-AV)数据集上进行了评估,实验结果表明,与现有算法相比,AV-MSA在分类精确度上有了较大的提升。

基于递归定量分析的生理信号情感识别

基于常规统计的人体生理信号特征提取应用广泛,然而基于常规统计特征的方法在分类识别效果上并不理想。为了解决这类问题,在研究人体生理信号的基础上,提出了一种基于递归图和递归定量分析相结合的方法,提取了生理信号在递归图中的递归率、确定率、对角线结构长度等特征。采用神经网络(neural network,NN)、K最近邻(K nearest neighbor,KNN)、朴素贝叶斯(naive Bayesian,NB)、决策树(decision tree,DT)算法进行情感识别。实验结果表明,递归图中的特征是一组非常有效的特征。相对于传统的统计特征提取,非线性特征提取方法提取的特征更少,但是在情感分类识别效果上优于统计特征提取的方法。所采用的方法改进了传统特征提取数目庞大、效果不理想的问题,较好地实现了基于人体生理信号的情感识别。

基于双神经网络的RFID室内定位方法

在室内定位中,传统的RFID定位方法由于方法简单,无法随着室内环境的变化准确估计当前的路径损耗系数,存在受环境影响大,定位精度不高,实时性差等缺点.为了解决以上问题,提出一种基于双神经网络模型的室内定位算法,建立BP网络和DNN网络的双神经网络模型,将采集到的RSSI信号值预处理后输入到BP网络模型中,输出路径损耗系数n,再将接收信号强度值RSSI和通过BP模型得到的路径损耗系数n作为输入,输入到DNN网络模型中,得到待测标签的精确定位坐标.实验表明,与传统的基于RSSI和基于ANN模型的室内定位算法相比,本算法有效提高了定位精度和定位实时性.

基于皮肤电信号与文本信息的双模态情感识别系统

人机交互离不开情感识别,目前无论是单模态的情感识别还是多生理参数融合的情感识别都存在识别率低,鲁棒性差的问题.为了克服上述问题,故提出一种基于两种不同类型信号的融合情感识别系统,即生理参数皮肤电信号和文本信息融合的双模态情感识别系统.首先通过采集与分析相应情感皮肤电信号特征参数和文本信息的情感关键词特征参数并对其进行优化,分别设计人工神经网络算法和高斯混合模型算法作为单个模态的情感分类器,最后利用改进的高斯混合模型对判决层进行加权融合.实验结果表明,该种融合系统比单模态和多生理参数融合的多模态情感识别精度都要高.所以,依据皮肤电信号和文本信息这两种不同类型的情感特征可以构建出识别率高,鲁棒性好的情感识别系统.

基于RFID无源标签的智能开关控制系统

针对传统手势控制系统制作成本高和对光线依赖性强等问题,设计了一种基于RFID无源标签的智能开关控制系统。系统以RFID技术与蓝牙mesh技术为支撑,将手势识别技术与智能开关控制技术有机结合,首先通过提取用户所佩戴的RFID无源标签的运动轨迹,并在PC端中构建手势数据指令库,同时利用加窗处理来解决无源标签运动时反射信号的不连续性,提取标签运动时相位流中的波纹特征分段,继而利用动态时间规整(dynamic time warping,DTW)算法计算当前手势运动分段与预先设置的手势指令库中各维分量的匹配度,同时在此基础上结合KNN邻近算法实现手势分类,之后将识别的手势指令与PC端构建的数据指令库进行匹配,通过蓝牙mesh系统将控制指令传递给各个用电器,实现用户对智能开关系统的手势控制。实验结果显示该系统可以对多个智能开关进行远程实时控制,智能开关对手势指令正确反馈率达到90%。