基于复合跨模态交互网络的时序多模态情感分析

针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融合不充分、交互性弱等问题,通过研究分析不同模态之间存在的潜在关联性,搭建一种基于复合跨模态交互网络的时序多模态情感分析(CCIN-SA)模型。该模型首先使用双向门控循环单元和多头注意力机制提取具有上下文语义信息的文本、视觉和语音模态时序特征;然后,设计跨模态注意力交互层,利用辅助模态的低阶信号不断强化目标模态,使得目标模态学习到辅助模态的信息,捕获模态间的潜在适应性;再将增强后的特征输入到复合特征融合层,通过条件向量进一步捕获不同模态间的相似性,增强重要特征的关联程度,挖掘模态间更深层次的交互性;最后,利用多头注意力机制将复合跨模态强化后的特征与低阶信号做拼接融合,提高模态内部重要特征的权重,保留初始模态独有的特征信息,将得到的多模态融合特征进行最终的情感分类任务。在CMU-MOSI和CMUMOSEI数据集上进行模型评估,结果表明,CCIN-SA模型相比其他现有模型在准确率和F1指标上均有提高,能够有效挖掘不同模态间的关联性,做出更加准确的情感判断。

多模态交互包装设计评价体系构建与应用

目的构建科学有效的多模态交互包装评价模型,挖掘其评价规律及趋势,并结合相应的评价方法和数据分析手段,更好地为包装设计提供科学依据和指导,从而提升用户的使用体验。方法采用问卷调查、层次分析法和模糊综合评价法从用户对包装产品的感知、行为、情感三大特征出发,形成系统层级权重向量,确立隶属矩阵,逐步完善对包装设计的评价体系构建。结论通过该评价模型的分析与解读,针对技术需求与创新、用户需求与个性化设计及可持续发展理念等层面,分析不同用户群体对包装设计的评价差异,得到影响用户满意度的关键因素,为包装的多模态交互设计提供理论参考。

面向视觉问答的上下文感知多模态交互网络

近年来,视觉问答已经引起研究人员的广泛关注。现有的方法通过视觉与语言模态之间的密集交互以捕捉两种模态之间的高层语义信息,然而这些方法仅单独考虑单个词与视觉区域之间的关系,忽略了上下文信息来计算模态之间的依存关系。针对此问题,该文提出了一种上下文感知的多模态交互网络,通过融合上下文信息增强模态内与模态间的信息交互,提高视觉问答的推理能力。该文在大规模基准数据集VQA v2.0上进行了一系列对比实验与消融实验,实验结果表明,该方法在视觉问答任务上能够取得比当前主流的方法更高的准确率。

基于模态交互学习的多源心脏图像分割方法研究

目的通过研究和搭建人工智能深度学习网络,实现多模态心脏磁共振(cardiac magnetic resonance,CMR)图像分割,并提升Dice系数。材料与方法回顾性分析来自2019年多序列CMR分割挑战赛的公开数据集,它包含了45例患者平衡稳态自由进动(balanced-steady state free precession,bSSFP)模态,晚期钆增强(late gadolinium enhancement,LGE)模态与T2WI模态的CMR图像数据。本文构建了一种新的双流U型网络框架,实现bSSFP与LGE两种模态以及bSSFP与T2WI两种模态的CMR图像分割。在编码阶段,未配准各模态图像被交替地送入各自分支进行特征学习,所获取的特征图接着都流入共享层,实现多模态信息的交互补充,最终共享特征分开流出到各自分支进行解码输出。通过在45例患者的CMR图像数据集上进行五折交叉验证实验,分别对bSSFP与LGE模态、bSSFP与T2WI模态进行了分割,以Dice系数对提出的模型进行性能评估,Wilcoxon符号秩检验被用来检验模型差异性。结果在bSSFP与LGE模态的分割实验中,本文方法在bSSFP模态的平均Dice系数相较于传统UNet模型和最新的Swin-Unet模型都有显著提升(P<0.001);在LGE模态的平均Dice系数较传统UNet模型(P<0.001)、Swin-Unet模型(P=0.001)、双流UNet(P=0.021)均有显著提升。在bSSFP与T2WI模态的分割实验中,本文方法在bSSFP模态的平均Dice系数较UNet模型、Swin-Unet模型与双流UNet均有显著提升(P<0.001);在T2WI模态的平均Dice系数较UNet模型有显著提升(P<0.001),较Swin-Unet模型有提升(P=0.025)。结论本研究提出的双流U型网络框架为CMR图像多模态分割提供有效方法,且该网络提高了CMR图像bSSFP模态与LGE模态及bSSFP模态与T2WI模态的Dice系数,很好地解决了多模态CMR图像个体解剖学差异大和图像间存在灰度不一致问题,提升了模型的泛化能力。

基于多模态交互的智能座舱唱歌系统研究

目的以汽车智能座舱唱歌娱乐系统为研究对象,结合多模态交互设计方法,提供一个以用户体验为中心的设计框架,以实现在汽车智能座舱中进行唱歌娱乐时的安全、高效和舒适的人机交互设计。方法基于用户的汽车出行生活调研,结合情境感知技术,提出了基于多模态交互的车载信息娱乐系统的设计模型。结果多模态交互方式的融合使人车交互更加自然和轻松,并赋予智能座舱乘客情感化的使用场景。研究结果表明:多模态交互设计对提升用户体验、辅助驾驶、增加竞争力以及智能座舱产品平台的开放性和可扩展性具有重要意义。结论欢唱娱乐功能已经成为智能座舱产品中不可或缺的一部分,对智能座舱产品的设计具有重要意义。

双馈异步风机控制模态交互与内部谐振问题研究

随着国家能源结构的转型以及实施“双碳”战略,大规模风电持续接入电力系统,对系统带来了交互谐振以及变流器驱动稳定性等问题。通过研究双馈异步风机机侧变流器以及网侧变流器控制外环的控制参数对稳定性的影响,发现机侧变流器控制外环的参数稳定区均位于左下平面,网侧变流器外环控制参数稳定区位于右下平面,参数稳定区与不稳定区之间存在着带状的参数风险区。当增大网侧变流器控制器的比例系数与积分系数时,系统阻尼将增强,但在某个区间会产生强烈的交互作用进而发生内部谐振,导致系统失去稳定。针对网侧变流器控制器之间的强烈交互作用,引入粒子群算法对网侧变流器的PI控制器进行参数优化,优化后直流电压恢复速度缩短半个周期,超调量减少40%。

基于安全和情感化的汽车辅助驾驶系统多模态交互设计研究综述

汽车作为目前人类最常使用的交通工具之一,其智能驾驶技术大部分处在L2~L3“人机共驾”技术的发展阶段,在L5级自动驾驶技术出现之前,“人机共驾”仍然是目前主流的驾驶方式,其各种车载系统和交互方式正在不断完善。多模态交互作为未来设计的发展趋势,必然将与汽车融合产生新的“火花”。对车载系统中多模态交互设计研究包括疲劳状态预警、碰撞预警、车道偏离预警、智能接管提醒、智能泊车等方向进行梳理总结,对车载AI多模态交互设计包括多屏交互、触控交互、手势交互、语音交互、表情交互、眼动交互等自然交互方式进行分析。采用文献研究及案例分析的方式探究如何在基于安全和情感化的背景下使驾驶员的体验更加舒适,展望了汽车多模态交互设计在车载系统中的应用及未来趋势。恰当而良好的交互方式融合将会提高各种车载系统及应用的安全性和驾驶的舒适度。多模态交互的引入必将是汽车发展的趋势。

基于情境感知的智能汽车多模态交互设计研究

以情境感知为理论出发点,以智能汽车为对象,通过对智能汽车情境感知与多模态交互形式进行研究,得出智能汽车情境感知应用趋势与多模态交互设计应用思路。目前,智能汽车的情境感知的3个维度:外部环境、用户表现、使用模式感知应用情况;智能汽车的多模态交互设计思路:多模态信息输出拓展情境展示、多通道融合交互优化情境操作、多模态主动交互触达用户心理,为未来智能汽车的情景感知与交互体验升级作出贡献。

多模态交互设计在高校艺术疗愈创新中的研究与应用

在我国素质教育背景下,心理健康对学生的全面发展至关重要。近年来,艺术疗愈作为一种新兴的心理健康教育方法,引起了广泛关注。同时,多模态交互设计作为一种能够调动视觉、听觉、触觉等多感官的综合体验模式,为用户提供了更为丰富和沉浸式的交互体验。将多模态交互设计引入艺术疗愈,不仅能够显著提升大学生的参与感和沉浸感,还能增强疗愈效果,提高心理健康教育的有效性。文章探讨了多模态交互设计在高校艺术疗愈中的应用,并系统分析了其对大学生心理健康教育的促进作用,以期为高校艺术疗愈心理健康教育的创新实践提供参考。

多模态交互的老年高血压人群智能可穿戴研究

为科学合理地提升老年高血压患者的生活质量,探究多模态信息交互下老年高血压人群智能可穿戴产品设计方法。通过调研建立老年高血压人群智能可穿戴产品功能需求层次分析模型,利用层次分析法得出各需求要素的权重值,获得老年高血压人群的重点功能需求。结合老年高血压患者心理与行为特征及其需求分析数据,基于多模态信息交互理论,将重点需求转化为相应的设计功能并进行设计演绎,以期为老年高血压人群智能可穿戴产品的研究提供理论及实践参考。

视障用户的多模态交互包装设计研究

视障群体的剧增已成为不容忽视的问题,需要人们去关注和切实解决弱势群体的需求。文章采用深度访谈和质性化分析挖掘视障用户特征及其使用包装时存在的弊端,提出运用感官代偿进行多模态交互包装的设计方法,有效解决视障人群痛点需求和优化代偿方式。聚焦于视障用户洗护产品包装,就具体问题进行设计思路展开,以视觉、语音、触感、嗅觉等感官相互交叉、互补的多模态交互包装感官代偿设计,能有效、快捷地从视觉维度转换为触、听、嗅等多感官代偿的交互渠道,强化视障用户与产品之间的知觉、行为、情感体验,为视障用户创造更便捷的生活方式。

基于多模态交互的送餐员头盔设计

通过探讨多模态交互方式与送餐员头盔结合的形式,提升送餐员骑行安全性和配送效率。运用层次任务分析法分析送餐员的配送任务流程后发现,送餐员各感官模态与动作通道间存在的不合理资源竞争是导致其骑行安全性和配送效率低的主要原因。构建了多模态交互模型并提出设计策略,通过设计实例验证了该方法的可行性。结果表明:将多模态交互方式与送餐员头盔结合并建立多模态平衡机制,可降低送餐员在骑行配送中的认知负荷,提高人机交互的准确性和效率,从而提升送餐员骑行安全性和配送效率。

智能座舱多模态交互技术发展现状及趋势

在世界汽车100多年的发展历史中,经历了从机械化、电子化再到智能信息化的演变。如今的智能信息化时代,汽车座舱带给用户的体验成为用户选择汽车品牌最重要的依据之一,传统座舱结合智能技术后,智能座舱的概念由此提出。文章基于智能座舱与常规汽车座舱的主要差异,提出智能座舱的核心技术人机交互。未来智能座舱以语音交互为主转化为多模态结合交互将是一个漫长而复杂的过程,分析了多模态交互技术涉及的信息识别技术的应用现状及趋势,通过与目前主流的语音交互技术相比,可以发现多模态交互技术表达效率显著提高以及表达信息量显著增加,最终基于上述分析提出了五个方面的发展建议,如持续完善标准化工作与营造良好的营商环境。

基于“心流理论”的适老化界面多模态交互体验研究

本文将心流理论引入适老化界面交互研究中,在分析心流理论的特征与产生条件的基础上,探索如何将心流理论应用在适老化界面设计中,并且结合多模态感官交互,使老年用户在使用界面的过程中能以多模态的交互方式产生最佳的心灵体验。通过分析心流理论下老年群体对多模态界面交互体验的需求,总结出基于心流理论的适老化界面多模态交互设计原则与设计方法,归纳出心流理论下适老化界面多模态交互设计的设计流程,并引入设计实践中,从而验证理论研究成果的有效性和价值。

多模态交互中的目标选择技术

目的伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互。在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果。而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为。该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中。结论在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术。综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进。

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。

多模态交互平衡下的健康一体机适老设计研究

基于多模态交互平衡机制,研究健康一体机的适老化需求并提供创新性的设计解决方案。基于VACP理论构建了多模态交互平衡机制干预下的适老化设计方法流程,通过对老年用户的通道特征及健康一体机操作任务分析,获取健康一体机不同操作界面的用户VACP通道资源量化需求,结合通道代偿和通道增强理论,针对用户VACP通道资源量化需求,提出具体的适老化设计策略并指导完成设计实践。初步验证了基于VACP理论的多模态交互平衡机制对于适老化产品设计研究的有效性。

多模态交互在虚拟岩心库设计中的应用

岩心是了解地下地层和含矿特征最直观、最实际的资料,在长期放置过程中,因油气挥发、氧化和风化作用,其外貌特征、结构和构造均会发生不同程度的变化,不利于后期的观察研究。以虚拟现实技术为基础,重点分析多模态交互方式,设计基于多模态交互的虚拟岩心库,解决真实岩心库及数字化岩心库存在的不足,为地质研究人员、高校师生、普通大众对岩心的研究、学习和了解提供平台。

包容性视角下老年智能拐杖多模态交互体验设计研究

我国人口老龄化程度逐渐加深,提升老年智能产品的设计力度势在必行。文章首先阐述了老年智能拐杖多模态交互体验设计的包容性问题,然后阐述了包容性视角下老年智能拐杖多模态交互体验设计流程,最后总结包容性视角下老年智能拐杖多模态交互体验设计策略。希望通过本文的探讨对提升老年智能拐杖的整体设计具有一定的借鉴作用。

多模态交互在教学中的应用

现代信息技术的高速发展,为人机交互带来了新途径,多模态交互成为人机交互史上的全新可能,也为其他领域带来了新的活力。与此同时,新技术的产生与发展也对教育领域产生了巨大冲击,研究以教学中的“多模态交互”为介入点,对多模态交互相关概念的界定进行阐述,接着分析了多模态交互技术在教学中的应用,并以物理力学实验为例开展教学设计,将多模态交互技术进行有效融合,总结出多模态交互在教学中应用的优势,最后给出建议。