基于深度学习的视听多模态情感识别研究

情感在同一情境下通常是逐渐变化的,而目前视听情感识别研究大部分集中在融合静态人脸图像特征和语音特征上,忽略了视频图像序列之间的时序关系,也忽略了姿态的作用。因此论文结合卷积神经网络(VGG)和长短期记忆网络(LSTM)构建了一个基于深度神经网络的视听多模态情感识别模型,整合了表情、姿态和语音的特征来进行视听情感识别。首先,使用VGG提取人脸图像和姿态图像的视觉特征,然后使用LSTM提取人脸图像序列和姿态图像序列的时序特征,同时使用opensmile提取音频特征,最后将提取的人脸、姿态和音频特征用DNN网络进行多特征的拼接融合以及情感分类。实验证明,与融合静态人脸图像特征与语音特征进行视听情感识别的方法相比,论文模型取得了更好的识别率,而加上姿态特征后,准确率又提升了6.1%。

基于用户体验的电动滑板车设计研究

目的为电动滑板车的设计提供理论依据,提升电动滑板车的设计水平以及用户体验舒适度。方法对电动滑板车用户人群进行用户体验问卷调查分析,提炼出典型用户体验要素。并基于SPSS软件对调查所得数据进行主成分因子分析,根据相关性大小将用户体验要素分组并根据每组特点命名,每组变量代表一个基本结构,基本结构称为公因子。计算公因子指标权重与综合模型中的系数,解释多变量的方差贡献。结果根据分析得到电动滑板车用户体验要素特征分类及各要素权重分配,并结合用户需求分析与确定电动滑板车改进方向与要素,以此进行电动滑板车的设计。结论对优化后的电动滑板车设计方案进行用户满意度任务测试,结果表明用户满意度得到明显提升,验证了此方法能够应用于电动滑板车的设计研究。

浅析“欲望的教育:美意识创造未来”

本文主要简述了《欲望的教育:美意识创造未来》一书的大致内容,以及对书中观点的一些看法与感悟。全书介绍了不少极简、白 风格的设计,反复强调日本文化理念中的“细腻”“严谨”“精致”“简洁”,总体还是在推广日本设计。了解了设计的意义并不在于创造靓丽的形态,而在于探求事物与人类之间潜藏的那种肉眼看不到的关系,让人们意识到在日常生活背后存在的诸多本质性的问题。设计是从根本上影响欲望,唤醒沉睡意识,收获文化的过程。

基于情感语义的短视频配乐APP开发

视频和音乐是互联网上最受欢迎的两种媒体,两者相辅相成,并且人类对视频和音乐的感知高度相关。然而给视频内容配上合适的背景音乐,通常需要一定的专业知识,普通人大多缺乏这方面的知识,因此本文通过计算机为音乐和图像搭建桥梁,开发设计一个给视频匹配背景音乐的手机APP,旨在给用户视频配上情感相同的音乐,增加整个视频的合理性。本文主要技术手段是利用视频图像和音乐之间的情感语义相似性,通过python的kivy框架来设计开发一款跨平台的视频配乐系统。