智能环境基于用户交互模态的情境感知服务

智能环境系统构成的复杂性和大量的情境信息增加了为用户提供和布局服务的难度。情境感知服务系统能感知系统运行和人机交互情境,根据相应的决策机制选择适当的设备为用户提供服务,从而简化环境设施的功能布局。在决策过程中引入用户交互模态信息有利于系统根据用户的交互能力和对人机界面的偏好提供服务。把情境细分为用户信息、设备信息、软件信息和环境拓扑信息,针对智能环境提出了一种基于用户交互模态的情境感知服务系统,同时详细说明了利用该技术选择服务的推理过程及其应用方法。通过智慧家庭环境中的场景案例验证了该系统的有效性。

知识意义建构目标下的英语课堂评估策略——解析“网络交互模态”的潜性评估效应

评估是教学中不可或缺的重要环节。评估的目的是为教学提供有益的反馈,不仅为了便于教师把握教学效果,改进施教方法;同时,也为了使学生及时了解自身的学习情况,改进学习方法。教学评估不仅包括以标准化考试为代表的终结性评估,也包括学习过程评价的形成性评估。试图立足于建构主义教学理论,探讨并揭示基于计算机数码技术的英语课堂网络交互模态潜在的形成性评价作用,以期在网络交互模态的教学实践中,更好地发挥其形成性评估的潜性效应,这无疑具有重大意义。

计及内、外部交互模态的电压源型风电场-电网稳定性量化分析

目前关于电压源控制的研究大多面向单台风电机组,忽略了机组之间的交互作用。为此,探讨了电压源型风电机组的多机交互稳定性问题,给出了电压源型风电场–弱电网系统小信号稳定性分析与稳定裕度的量化评估方法。同时,考虑风电场与电网及风电场内部机组之间两种交互模态,克服了常规多机稳定性分析不考虑机组之间交互模态的缺陷,提高了多机稳定性分析的精度。此外,该稳定性分析方法能够根据稳定裕度量化指标判断多台机组间的交互模态,并对风电场中稳定性较薄弱的机组进行定位,从而有针对性地优化薄弱机组的控制参数,提高风电场的稳定性。研究结果表明,经过稳定性分析与致稳控制,电压源型风电场能够在短路比接近1的弱电网下稳定运行。基于PSCAD/EMTDC的仿真结果,验证了理论分析的正确性。

多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

多模态交互包装设计评价体系构建与应用

目的构建科学有效的多模态交互包装评价模型,挖掘其评价规律及趋势,并结合相应的评价方法和数据分析手段,更好地为包装设计提供科学依据和指导,从而提升用户的使用体验。方法采用问卷调查、层次分析法和模糊综合评价法从用户对包装产品的感知、行为、情感三大特征出发,形成系统层级权重向量,确立隶属矩阵,逐步完善对包装设计的评价体系构建。结论通过该评价模型的分析与解读,针对技术需求与创新、用户需求与个性化设计及可持续发展理念等层面,分析不同用户群体对包装设计的评价差异,得到影响用户满意度的关键因素,为包装的多模态交互设计提供理论参考。

基于复合跨模态交互网络的时序多模态情感分析

针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融合不充分、交互性弱等问题,通过研究分析不同模态之间存在的潜在关联性,搭建一种基于复合跨模态交互网络的时序多模态情感分析(CCIN-SA)模型。该模型首先使用双向门控循环单元和多头注意力机制提取具有上下文语义信息的文本、视觉和语音模态时序特征;然后,设计跨模态注意力交互层,利用辅助模态的低阶信号不断强化目标模态,使得目标模态学习到辅助模态的信息,捕获模态间的潜在适应性;再将增强后的特征输入到复合特征融合层,通过条件向量进一步捕获不同模态间的相似性,增强重要特征的关联程度,挖掘模态间更深层次的交互性;最后,利用多头注意力机制将复合跨模态强化后的特征与低阶信号做拼接融合,提高模态内部重要特征的权重,保留初始模态独有的特征信息,将得到的多模态融合特征进行最终的情感分类任务。在CMU-MOSI和CMUMOSEI数据集上进行模型评估,结果表明,CCIN-SA模型相比其他现有模型在准确率和F1指标上均有提高,能够有效挖掘不同模态间的关联性,做出更加准确的情感判断。

基于多模态人机交互的老年人厨房空间智能化设计

智慧养老、智能化养老已成为现下及未来养老的新趋势,为提高老年人在厨房中的生活质量和安全性,现基于多模态人机交互对老年人厨房空间的智能化设计进行探讨。通过对老年人的生活需求和厨房空间的特点进行文献分析及市场现有产品分析总结,基于老年人的生理和心理需求及智能化厨房现状提出结合多模态人机交互的智能家居系统设计方案,该智能化设计方案融合语音交互、手势交互、触摸交互等多种交互方式,能够满足老年人的不同需求和习惯。此外,针对老年人在厨房中至关重要的安全方面,提出智能化安全监测系统,包括煤气泄漏检测、火灾报警、人体监测等多个方面。论证该智能家居系统的可行性和有效性后,探讨智能化系统在不同功能区的划分及多模态技术在各功能区的配置及应用,为老年人厨房空间的智能化设计提供新思路和新方法。

酱油挥发性风味物质与鲜味和咸味跨模态感知交互作用

该实验通过液液萃取、溶剂辅助风味物质提取并结合气相色谱-质谱联用(GC-MS)和气相色谱/嗅闻-与滋味相关(GC/O-AT)技术,从3种酱油中共鉴定出17种与鲜味和咸味相关的挥发性风味物质。其中,2,6-二甲基吡嗪、二甲基三硫、3-甲硫基丙醛、1-辛烯-3-醇、3-甲硫基丙醇、2-乙酰基呋喃、麦芽酚、4-乙基愈创木酚、糠醛可以诱导增强0.3%谷氨酸钠(MSG)溶液的鲜味强度。通过分子对接对气味与鲜味跨模态感知交互作用机制研究发现,气味分子可以结合在鲜味受体蛋白捕蝇草结构区(VFD),使鲜味受体蛋白构象发生变化,从而产生味觉信号。明析了酱油中挥发性风味物质诱导鲜味增强分子基础和作用机制,为利用跨模态感知交互作用实现食品减咸增鲜提供了理论依据。

面向视觉问答的上下文感知多模态交互网络

近年来,视觉问答已经引起研究人员的广泛关注。现有的方法通过视觉与语言模态之间的密集交互以捕捉两种模态之间的高层语义信息,然而这些方法仅单独考虑单个词与视觉区域之间的关系,忽略了上下文信息来计算模态之间的依存关系。针对此问题,该文提出了一种上下文感知的多模态交互网络,通过融合上下文信息增强模态内与模态间的信息交互,提高视觉问答的推理能力。该文在大规模基准数据集VQA v2.0上进行了一系列对比实验与消融实验,实验结果表明,该方法在视觉问答任务上能够取得比当前主流的方法更高的准确率。

基于跨模态交互与特征融合网络的假新闻检测方法

近年来,假新闻的激增对人们的决策过程产生了不利影响。现有的假新闻检测方法大多强调对多模态信息(如文本和图像)的探索和利用。然而,如何为检测任务生成有鉴别性的特征并有效地聚合不同模态的特征以进行假新闻检测,仍然是一个开放性问题。文中提出了一种新颖的假新闻检测模型,即跨模态交互与特征融合网络(Cross-modal Interaction and Feature Fusion Network,CMIFFN)。为了生成有鉴别性的特征,所提方法设计了一个基于监督对比学习的特征学习模块,通过同时进行模态内和模态间的监督对比学习,来确保异类特征相似度更小,同类特征相似度更大。此外,为了挖掘更多有用的多模态信息,所提方法设计了多阶段跨模态交互模块,通过多阶段的跨模态交互,学习带有图结构信息的跨模态交互特征。所提方法引入基于一致性评估的注意力机制,通过学习多模态一致性权重,来有效聚合模态特定特征和跨模态交互特征。在两个基准数据集Weibo和Twitter上的实验表明,CMIFFN明显优于现有的多模态假新闻检测方法。

AIGC背景下智慧厨电多模态集成交互设计策略

本文旨在探索AIGC(人工智能生成内容)技术场景化应用下智慧厨电多模态集成交互设计策略。以人工智能生成内容技术的场景化应用和模态研究为基础,挖掘厨电多模态集成交互设计机会点,从多模态交互通道分析、多模态融合、多模态交互设计方法等角度对智能化厨电的交互模态与模态集成方式进行了探讨。构建了AIGC场景化应用下智慧厨电的交互模态设计原则与策略。基于AI技术的未来智能厨电的转型升级要求厨电设计需要改变传统相对较为单一的人机感官通道交互方式,注重生态性、情感化、通用性设计理念的应用,以多模态信息交互和人工智能生成内容构建智慧厨房生态系统,为用户搭建更加多元化和有趣的烹饪体验。

基于多模态交互的智能座舱唱歌系统研究

目的以汽车智能座舱唱歌娱乐系统为研究对象,结合多模态交互设计方法,提供一个以用户体验为中心的设计框架,以实现在汽车智能座舱中进行唱歌娱乐时的安全、高效和舒适的人机交互设计。方法基于用户的汽车出行生活调研,结合情境感知技术,提出了基于多模态交互的车载信息娱乐系统的设计模型。结果多模态交互方式的融合使人车交互更加自然和轻松,并赋予智能座舱乘客情感化的使用场景。研究结果表明:多模态交互设计对提升用户体验、辅助驾驶、增加竞争力以及智能座舱产品平台的开放性和可扩展性具有重要意义。结论欢唱娱乐功能已经成为智能座舱产品中不可或缺的一部分,对智能座舱产品的设计具有重要意义。

基于模态交互学习的多源心脏图像分割方法研究

目的通过研究和搭建人工智能深度学习网络,实现多模态心脏磁共振(cardiac magnetic resonance,CMR)图像分割,并提升Dice系数。材料与方法回顾性分析来自2019年多序列CMR分割挑战赛的公开数据集,它包含了45例患者平衡稳态自由进动(balanced-steady state free precession,bSSFP)模态,晚期钆增强(late gadolinium enhancement,LGE)模态与T2WI模态的CMR图像数据。本文构建了一种新的双流U型网络框架,实现bSSFP与LGE两种模态以及bSSFP与T2WI两种模态的CMR图像分割。在编码阶段,未配准各模态图像被交替地送入各自分支进行特征学习,所获取的特征图接着都流入共享层,实现多模态信息的交互补充,最终共享特征分开流出到各自分支进行解码输出。通过在45例患者的CMR图像数据集上进行五折交叉验证实验,分别对bSSFP与LGE模态、bSSFP与T2WI模态进行了分割,以Dice系数对提出的模型进行性能评估,Wilcoxon符号秩检验被用来检验模型差异性。结果在bSSFP与LGE模态的分割实验中,本文方法在bSSFP模态的平均Dice系数相较于传统UNet模型和最新的Swin-Unet模型都有显著提升(P<0.001);在LGE模态的平均Dice系数较传统UNet模型(P<0.001)、Swin-Unet模型(P=0.001)、双流UNet(P=0.021)均有显著提升。在bSSFP与T2WI模态的分割实验中,本文方法在bSSFP模态的平均Dice系数较UNet模型、Swin-Unet模型与双流UNet均有显著提升(P<0.001);在T2WI模态的平均Dice系数较UNet模型有显著提升(P<0.001),较Swin-Unet模型有提升(P=0.025)。结论本研究提出的双流U型网络框架为CMR图像多模态分割提供有效方法,且该网络提高了CMR图像bSSFP模态与LGE模态及bSSFP模态与T2WI模态的Dice系数,很好地解决了多模态CMR图像个体解剖学差异大和图像间存在灰度不一致问题,提升了模型的泛化能力。

双馈异步风机控制模态交互与内部谐振问题研究

随着国家能源结构的转型以及实施“双碳”战略,大规模风电持续接入电力系统,对系统带来了交互谐振以及变流器驱动稳定性等问题。通过研究双馈异步风机机侧变流器以及网侧变流器控制外环的控制参数对稳定性的影响,发现机侧变流器控制外环的参数稳定区均位于左下平面,网侧变流器外环控制参数稳定区位于右下平面,参数稳定区与不稳定区之间存在着带状的参数风险区。当增大网侧变流器控制器的比例系数与积分系数时,系统阻尼将增强,但在某个区间会产生强烈的交互作用进而发生内部谐振,导致系统失去稳定。针对网侧变流器控制器之间的强烈交互作用,引入粒子群算法对网侧变流器的PI控制器进行参数优化,优化后直流电压恢复速度缩短半个周期,超调量减少40%。

基于安全和情感化的汽车辅助驾驶系统多模态交互设计研究综述

汽车作为目前人类最常使用的交通工具之一,其智能驾驶技术大部分处在L2~L3“人机共驾”技术的发展阶段,在L5级自动驾驶技术出现之前,“人机共驾”仍然是目前主流的驾驶方式,其各种车载系统和交互方式正在不断完善。多模态交互作为未来设计的发展趋势,必然将与汽车融合产生新的“火花”。对车载系统中多模态交互设计研究包括疲劳状态预警、碰撞预警、车道偏离预警、智能接管提醒、智能泊车等方向进行梳理总结,对车载AI多模态交互设计包括多屏交互、触控交互、手势交互、语音交互、表情交互、眼动交互等自然交互方式进行分析。采用文献研究及案例分析的方式探究如何在基于安全和情感化的背景下使驾驶员的体验更加舒适,展望了汽车多模态交互设计在车载系统中的应用及未来趋势。恰当而良好的交互方式融合将会提高各种车载系统及应用的安全性和驾驶的舒适度。多模态交互的引入必将是汽车发展的趋势。

多模态交互的老年高血压人群智能可穿戴研究

为科学合理地提升老年高血压患者的生活质量,探究多模态信息交互下老年高血压人群智能可穿戴产品设计方法。通过调研建立老年高血压人群智能可穿戴产品功能需求层次分析模型,利用层次分析法得出各需求要素的权重值,获得老年高血压人群的重点功能需求。结合老年高血压患者心理与行为特征及其需求分析数据,基于多模态信息交互理论,将重点需求转化为相应的设计功能并进行设计演绎,以期为老年高血压人群智能可穿戴产品的研究提供理论及实践参考。

作战筹划系统多模态人机交互技术应用进展

为应对作战筹划系统人机交互技术中的诸多挑战,梳理和分析了多模态人机交互技术的研究现状;从作战筹划系统概念和人机交互技术需求出发,结合多模态交互技术特点,对系统的实现方式及关键技术进行分析和归纳。提出当前面临的主要挑战为作战筹划系统中多模态交互指令融合及人机混合决策不足等问题,且复杂多变的战场环境增加了指挥人员分析局势并做出准确决策的难度。对作战筹划系统多模态人机交互技术应用研究进展进行分析,为未来作战筹划系统和多模态人机交互技术的发展和研究提供参考。

基于情境感知的智能汽车多模态交互设计研究

以情境感知为理论出发点,以智能汽车为对象,通过对智能汽车情境感知与多模态交互形式进行研究,得出智能汽车情境感知应用趋势与多模态交互设计应用思路。目前,智能汽车的情境感知的3个维度:外部环境、用户表现、使用模式感知应用情况;智能汽车的多模态交互设计思路:多模态信息输出拓展情境展示、多通道融合交互优化情境操作、多模态主动交互触达用户心理,为未来智能汽车的情景感知与交互体验升级作出贡献。

多模态交互理论下红色文化场馆的虚拟与增强现实应用

探讨了基于多模态交互理论的虚拟现实和增强现实在红色文化场馆中的应用策略,通过整合多感官体验提升用户沉浸感和文化理解,研究总结了数字技术在红色文化场馆中的设计原则,为交互设计提供理论指导,促进红色文化的传承与创新。

多模态交互设计在高校艺术疗愈创新中的研究与应用

在我国素质教育背景下,心理健康对学生的全面发展至关重要。近年来,艺术疗愈作为一种新兴的心理健康教育方法,引起了广泛关注。同时,多模态交互设计作为一种能够调动视觉、听觉、触觉等多感官的综合体验模式,为用户提供了更为丰富和沉浸式的交互体验。将多模态交互设计引入艺术疗愈,不仅能够显著提升大学生的参与感和沉浸感,还能增强疗愈效果,提高心理健康教育的有效性。文章探讨了多模态交互设计在高校艺术疗愈中的应用,并系统分析了其对大学生心理健康教育的促进作用,以期为高校艺术疗愈心理健康教育的创新实践提供参考。