非语言信息增强和对比学习的多模态情感分析模型

因具有突出的表征和融合能力,深度学习方法近年来越来越多地被应用于多模态情感分析领域。已有的研究大多利用文字、面部表情、语音语调等多模态信息对人物的情绪进行分析,并主要使用复杂的融合方法。然而,现有模型在长时间序列中未充分考虑情感的动态变化,导致情感分析性能不佳。针对这一问题,该文提出非语言信息增强和对比学习的多模态情感分析网络模型。首先,使用长程文本信息去促使模型学习音频和视频在长时间序列中的动态变化,然后,通过门控机制消除模态间的冗余信息和语义歧义。最后,使用对比学习加强模态间的交互,提升模型的泛化性。实验结果表明,在数据集CMU-MOSI上,该模型将皮尔逊相关系数(Corr)和F1值分别提高了3.7%和2.1%;而在数据集CMU-MOSEI上,该模型将“Corr”和“F1值”分别提高了1.4%和1.1%。因此,该文提出的模型可以有效利用模态间的交互信息,并去除信息冗余。

“自动控制原理”课程思政混合式教学探索

为兼顾专业教学与思政教育,探索了“自动控制原理”课程思政的线上线下混合教学模式。明确了专业思政与课程思政之间的关系,吸收马克思主义学院的教师进入教学团队,建立思政案例库,然后将思政教育融入线上、线下各个环节,并改进课程评价方式,形成了一套“自动控制原理”课程思政的线上线下混合教学模式。多年教学实践表明,该教学模式能够取得好的教学效果。

融合边缘信息多运动目标检测识别系统设计

运动目标检测算法易受到噪声和亮度变换的影响,从而出现虚假目标,很难满足在实际应用中准确性和实时性的需求;针对上述问题,提出了一种融合边缘信息的多运动目标实时检测算法,并在FPGA平台上构建了视频图像处理系统;该算法首先使用高斯滤波增强算法来提高抗噪性能;然后,采用三帧差分法减少虚假目标的出现概率;同时,对图像进行边缘检测,并将边缘信息与帧差法的结果相融合;最后,运用多目标识别算法完成对运动目标的识别和标记;该算法实现充分利用了FPGA的并行计算和流水线操作,经实验测试检测识别系统能够在1280×720@60 Hz视频场景下实现对最多16个运动目标的实时检测。

用于方面级情感分析的多信息增强图卷积网络

方面级情感分析旨在预测句子中特定方面的情感极性。然而,现阶段的研究依然存在语义信息不充分利用的问题,一方面大多数现有工作侧重于学习上下文词到方面词之间的依存信息,没有充分利用句子的语义信息;另一方面现有研究没有专注于依存树的语法构建,从而没有充分利用语法结构信息去补充语义信息。针对以上问题,提出多信息增强图卷积神经网络(MIE-GCN)模型。主要包括两部分:一是通过方面感知注意力、自注意力和外部常识形成多信息融合层充分利用语义信息;二是根据单词间不同的语法距离构造句子的语法掩码矩阵,通过获得全面语法结构信息来补充语义信息。利用图卷积神经网络增强节点表示。在基准数据集上的实验结果表明,提出的模型均比对比模型有一定的提升。

面向堤坝监测的无人机自动巡检系统设计

针对人工巡检监测堤坝费时费力,存在安全风险,还可能会造成堤坝损害等问题,设计一种无人机大坝自动巡检系统:首先对搜索区域进行建模,采用基于栅格的技术,为每架无人机划分待搜索区域,然后采用牛耕法对区域进行全覆盖搜索;通过改进的yolov5算法对裂缝图像进行快速识别,利用MAD中值滤波和广义形态学滤波对红外图像进行预处理,实现了对堤坝渗漏区域的快速准确识别。

基于纹理图像和用户动作信息的纹理触觉再现方法研究

近年来,对虚拟表面纹理进行工具介导的振动触觉再现已经成为触觉领域的一个研究热点。针对已有的纹理触觉渲染方法还存在适用范围窄、泛化能力弱、交互真实感低等问题,以改进后的MelGAN为基本网络,构建了一种新的纹理触觉渲染模型。该模型以纹理图像和用户的实时动作信息为输入,在能够高保真地生成振动触觉信号的同时,对常见纹理图像拥有更好的泛化能力。此外,设计了一款具有动作信息实时采集和振动触觉表达功能的笔式装置。在采集了数据库之外的真实纹理表面的振动触觉信号后,比较了提出的模型与已有方法在信号生成方面的性能差异。结果表明,模型实现了最低的均方根误差(0.173),验证了其对未建模纹理进行触觉渲染的能力。最后,使用笔式装置进行了两项用户实验。平均6.01的主观相似度评分说明,即使是数据库之外的新纹理,模型也能为用户提供较高的纹理交互真实感。

基于变分模态分解的休息态虚拟现实晕动症脑电自动检测

虚拟现实晕动症的存在是制约VR技术行业进一步发展的关键因素,研究虚拟现实晕动症相关的神经活动及对其准确检测是解决此问题的前提,此前研究缺少对休息态虚拟现实晕动症神经活动的研究。因此,本研究利用虚拟现实晕动症暴露任务前后休息态脑电信号,提出虚拟现实晕动症脑电特征作为指标实现对虚拟现实晕动症的检测。首先,通过统计分析对所选的5个电极即Fp1、Fp2、F8、T7及T8的脑电信号分别进行变分模态分解,并从选中的模态分量中提取样本熵、排列熵及中心频率。然后,通过统计检验和ReliefF算法进行两个阶段的特征选择。最后,将选择的特征向量送入支持向量机中进行分类,进而实现对虚拟现实晕动症的自动检测。结果表明,此方法准确率、灵敏度及特异度分别达到了98.3%、98.5%及98.1%,ROC曲线下的面积值达到了1,优于其他方法,证明了此方法在虚拟现实晕动症脑电信号自动检测方面优势与有效性。

基于点云的自动驾驶下三维目标检测

针对当前三维目标检测算法对行人、骑行人等小目标检测效果不佳的缺点,提出一种改进PV-RCNN的三维目标检测算法。改进关键点下采样方式,通过滤除背景及离群点提高关键点在目标上的命中率;设计多尺度区域建议网络,尺度匹配的特征图提高边界框的生成质量;使用加入方向感知的DIoU损失函数优化边界框的回归。实验结果表明,与基准网络相比,算法在KITTI测试集的车辆、行人和骑行人的mAP分别提高了0.77%、6.33%和2.05%,有效提高了网络性能。

面向工程应用的大数据技术实践教学探索

针对传统大数据类课程教学过于理论化问题,面向工程应用探索了以实践为基础的教学方法。通过引入“基于边缘计算的微动勘探横波速度结构即时成像系统”工程项目实践案例,以问题导向-探究-成果导向(PIO)的综合学习方式,引导学生参与负载大数据采集与预处理、负载动态变化规律探讨、负载预测及计算资源分配等关键环节,培养工程应用能力。研究结果表明,工程项目驱动的大数据类课程教学改革能够培养适应工程应用需求的专业人才,有效提升学生的实践能力和问题解决能力。

基于元胞自动机的多机器人路径规划方法

为将多个智能机器人组合为一个整体来完成更复杂的任务,提出一种基于元胞自动机(cellular automata,CA)模型的多机器人协作路径规划方法。通过构建CA模型实现机器鱼的聚类和控制,寻找最优策略和路径。通过设置合适的初始状态和演化规则,模拟多机器鱼之间协作顶球的整个过程。通过Matlab仿真和国际水中机器人大赛的2D仿真平台进行实验验证,并对未来的研究方向进行探讨。结果表明:该方法是可行的,具有较好的鲁棒性。

数字信号处理技术在电子信息领域的应用研究

文章介绍了数字信号处理技术的优点,分析了数字信号处理技术在电子信息领域的具体应用,并提出了优化策略,旨在为电子信息工程领域的数字信号处理技术的发展提供理论和实践的指导.

课程思政融入工程教育专业认证的探索与实践——以“自动控制原理”为例

“自动控制原理”是自动化类专业的核心基础课程,而课程思政是落实立德树人根本任务、建设教育强国的重要举措。该文结合工程教育专业认证要求,分析了开展课程思政的必要性和可行性,重塑“自动控制原理”课程的教学内容和教学过程,挖掘其蕴含的爱国情怀、理想信念、价值观内涵和具体案例,在知识传授的同时进行价值熏陶,实现“三全”育人的目的。

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足:一是不能较好地对文本特征进行提取;二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题,提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵,然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础,同时利用最大池化提取句子特定的目标向量,使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示,并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示,然后将其与文本的特征信息进行交互、融合,以减少原有特征损失,得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明,该模型的分类准确率明显优于其它主流基线模型的。

一种融合字词信息的中文情感分析模型

中文情感分析模型的文本表示通常只采用词粒度信息,这会导致模型在特征提取时丧失字粒度的特性,同时常用的分词方法的分词结果过于精简,也一定程度上限制了文本表示的丰富度。对此,提出了一种融合字粒度特征与词粒度特征的中文情感分析模型,采用全模式分词得到更丰富的词序列,经词嵌入后将词向量输入Bi-LSTM中提取全文的语义信息,并将隐层语义表示与对应字向量进行初步融合,增强词级信息的鲁棒性;另一方面将字向量输入多窗口卷积,捕捉更细粒度的字级特征信息。最后将字词粒度特征进一步融合后输入分类器得到情感分类结果,在2个公开数据集上的性能测试结果表明,该模型相比同类模型有更好的分类性能。

融合图游走信息的图注意力网络方面级情感分析

在方面级情感分析任务中常用注意力机制获取单词的权重信息,忽略了句法结构对提取句子中不同单词重要程度的作用。此外,多方面词语句中会出现方面词和情感词关联混淆的问题,以及无法有效地关注与目标方面词情感极性相关的上下文部分。提出了融合图游走信息的图注意力神经网络模型GW-GAT。在语法图上执行图游走获取句子的单词权重系数;使用图注意力网络结合单词节点权重与节点之间的权重突出对目标方面词情感极性起重要作用的上下文部分,经过全连接和softmax获得最终的情感极性。在SemEval2014任务和Twitter数据集上的实验结果表明,GW-GAT模型性能优于基线模型,获得了较好的实验结果。

新工科背景下自动化人才培养的探索与实践

新工科专业建设背景对新型自动化人才培养提出更高的要求。文章在分析了自动化专业在人才培养现状的基础上,提出了从学科交叉融合、课程体系、产教融合和创新创业等方面的改革路径,探索自动化类专业的学科建设和人才培养的新模式。

基于振动加速度信息的触觉纹理分类方法研究

当手持刚性工具在材料表面滑动时,用户可以通过工具的振动来感受材料表面的纹理特征。这些振动加速度数据包含了丰富的纹理类别信息,为纹理的分类提供了基础。利用触觉进行纹理分类对于力触觉人机交互、机器人精细化操作等应用具有重要的意义。目前,手工设计与纹理相关的特征以及借助卷积神经网络进行简单的特征提取等方法已经被应用于触觉纹理分类。然而,这些方法未能关注时间尺度的选择和触觉序列数据间的时间依赖性,还存在触觉数据特征提取不充分和分类精度不佳等问题。为了解决上述问题,本文提出一种由多尺度卷积网络和双向长短时记忆网络相结合的融合模型,以便同时捕获触觉信号多尺度的几何局部空间特征和时间依赖特征。所提出的模型从公开的触觉数据集中学习材料表面纹理的触觉特征,并在公开的纹理振动加速度数据库上进行训练。实验结果表明,本文提出的模型可以稳健且高效地实现最高92.1%的纹理分类精度。

基于多粒度信息融合的气象知识命名实体识别

气象与人们的生活息息相关,运用命名实体识别算法抽取相关实体信息,对于构建知识图谱、问答系统等具有重要意义。由于气象科普知识存在大量专业词汇,普通的实体识别模型并不能很好完成识别任务。为此,论文构建了气象科普知识数据集,并提出了基于多粒度信息融合的气象科普知识命名实体识别模型MGTNER的算法。模型利用预训练模型、SoftLexicon结构的BiLSTM网络和键值记忆网络从数据集中以不同粒度提取语义特征信息,取得了很好的实体识别效果。在对气象科普知识数据集和公开Resume数据集实施的命名实体识别实验中,与几种基线模型进行了比较,结果表明论文提出的模型具有更好的识别效果。

基于离散混合蛙跳算法的地震应急物资调度

建立震后应急物资调度数学模型。该模型根据各灾区的受灾情况评估其救援紧急程度,并设计一种需求拆分供应的运输机制,提高车辆的利用效率。为求解该模型,提出一种多源信息学习的离散混合蛙跳算法。所提算法引入多种信息源以扩展算法的搜索方向,降低种群的同化速度。同时,让子组最差个体学习种群中的有效信息,提高算法的收敛精度。实验结果表明,所提算法能够搜索到精度更优的调度方案,对问题规模具有良好的可扩展性。

基于边云协同的消防设施智慧感知系统

火灾发生时,消火栓欠压、消防水箱无水等消防设施故障会致使火灾进一步扩大,造成不必要的生命财产损失。针对该问题,本系统选用低功耗蓝牙技术构建无线Mesh网络的组网方案感知消防设施状态参数,数据通过NB-IoT上传至云平台。用户可以通过电脑端或移动端实现对消防设施的远程监测,当消防设施状态异常时,用户端自动推送通知,从而实现第一时间检修。通过在边缘计算主机上部署火焰识别算法模型处理视频监控数据,当识别到火情时通过云平台及时推送给用户,实现火情的联动报警和快速响应。经测试,所设计的系统使用便捷、运行稳定、具有较高的应用价值。