基于多模态感知的儿童有声读物APP导航界面设计

为优化儿童有声读物APP导航界面中元素过于复杂和缺乏引导性所导致的操作不协调、认知负荷增加的问题,文章通过对界面进行重新筹划布局,综合色彩运用、语音交互和触觉反馈因素,提出基于多模态感知体验的儿童有声读物APP界面交互系统。使用穿戴式眼动仪进行眼动实验测试,将眼动数据进行配对样本t检验对比分析,得到适用于儿童操作的界面元素组合方式,进而优化导航界面,以期为相关设计提供一定的参考。

多模态感知教学理论在初中英语词汇教学中的应用——理论分析、教学设计和评价维度

英语词汇学习一直是很多英语学习者的痛点,词汇学习的成败直接关系到句子和语篇的学习,因此英语词汇教学研究至关重要。近年来多模态教学模式在外语教学领域的研究层出不穷,鉴于初中学段学生学习的重要性和特殊性,作者将多模态理论和感知学习风格理论相结合,以学生的学习风格为基础,以多模态教学为手段,以新课程“教–学–评”一体化理念为引领,针对性地构建出涉及教学准备、教学实践和教学评价的多模态感知教学设计,以期为提高我国初中学段学生的英语核心素养和我国的外语教学成效提供一些思路和借鉴。

融合超像素与多模态感知网络的遥感影像车辆检测

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题,提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先,基于混合超像素的区域合并规则,通过超像素二分图融合算法将两种模态的超像素分割结果进行融合,提升了不同模态图像超像素分割结果的准确性;其次,提出一种多模态边缘感知网络的遥感影像车辆检测方法 MEANet (Multi-modal Edge Aware Network),引入OPT-FPN模块(Optimized Feature Pyramid Networks)来增强网络学习多尺度目标特征的能力;最后,通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征,进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验,最终的mF1分数分别为91.05%和85.11%。实验结果表明,本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。

以图像为主的多模态感知与多源融合技术发展及应用综述

不同模态的表现方式不同,描述目标的角度也会不同。多模态感知与多源融合技术是将两种或两种以上的模态组合起来,融合不同传感器、不同平台收集到的数据、特征信息,兼顾不同图像的优势,在遥感监测、军事安防、自动驾驶等领域有着广泛的运用。介绍了热成像、高光谱成像、偏振成像、合成孔径雷达(SAR)、激光雷达(LiDAR)等多模态感知技术,总结了不同成像方式的特点与联系,简述了多源融合相关概念及其技术发展历程,重点分析了不同模态下图像融合案例,在此基础上归纳多模态感知和多源融合技术的发展趋势,最后基于融合算法、系统整体性、评价指标总结出进一步发展方向。

机器联觉:通信与多模态感知的智能融合

通信感知一体化技术局限于雷达感知与通信在频谱和硬件层面上的共享,不足以提升新兴应用场景中通信与感知的性能.在涵盖海量多模态感知和通信数据的场景中,通信感知一体化技术应向考虑多模态感知的方向进行范式演进,即通信与多模态感知的智能融合.受人类联觉现象启发,文中系统化建立并论述通信和多模态感知智能融合的范式——机器联觉.首先,总结机器联觉3种典型工作模式:唤起模式、增强模式、合作模式,系统全面给出通信和多模态感知之间相互辅助增强的目的与方式.然后,介绍机器联觉研究的数据基础(通信与多模态感知智能融合仿真数据集)和理论基础(通信与多模态感知联觉机理).最后,综述当前机器联觉的研究现状,并展望未来的研究方向.

应用于毫米波车车通信的多模态感知辅助波束预测

为了确保车联网通信的传输可靠性,大规模多天线技术的毫米波通信亟需精确的波束赋形.在高动态的车辆通信环境下,传统的波束对准方式会造成巨大的资源开销,难以在相干时间内建立可靠链路.因此,文中提出基于多模态感知信息辅助的波束预测方案.该方案融合视觉和激光雷达点云两种非射频感知信息,利用深度神经网络进行多模态信息的特征提取,通过透视投影实现图像空间语义信息和物理空间位置信息的精准匹配和深度融合.通过协同感知坐标校正和车辆位置预测,将物理环境的特征精确映射到角域信道,从而实现实时准确的波束预测.在多模态感知仿真数据集(M3SC)上的测试结果表明,文中方案能实现较高的角度追踪精度和可达通信速率.

多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型

现有施工仿真参数建模方法主要依靠单一模态数据,且现有多模态数据采集过程存在一定的滞后性,导致仿真的实时性和准确性不足。针对上述问题,本文提出了多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型。首先,在SpringBoot框架下开发了基于移动智能手机传感器的运动学和声学数据实时采集云平台,并采用低通滤波器和梅尔频谱等方法实现堆石坝施工机械多模态数据的实时采集与预处理;其次,提出了用于自动提取多模态数据特征的堆石坝施工机械精细活动状态识别深度学习模型。该模型集成了改进深度卷积长短期记忆循环神经网络(Improved DeepConvLSTM,IDeepConvLSTM)与深度卷积神经网络的优势,前者可精确感知施工机械运动方向,后者可从声音模态中感知施工机械振动状态。其中,IDeepConvLSTM在卷积层中间加入批量归一化层以提高收敛速度,并采用梯度缩放和剪裁以避免梯度爆炸的问题;进一步地,在云平台中采用大窗口移动过滤器在线处理机械活动识别结果,实现堆石坝施工仿真参数的实时建模。工程案例表明,相比于单一的运动学或声学模态的机械活动识别方法,本研究所提方法的识别精度分别提高了9.22%和23.62%。研究成果为提高堆石坝施工仿真的准确性和实时性提供了新的思路和技术手段,具有一定的应用和推广价值。

竖屏传播:央视春晚的多模态感知与情感体验

央视春晚在2022年首次推出的竖屏传播,有效地提升了互联网移动用户的观感体验,实现了传统电视端“大屏”与互联网移动端“小屏”的互动交融与同播共享。央视春晚的竖屏传播,从内容、媒介、受众这三个信息传播的基本要素,全方位构建了影像模态的情感交互、声音模态的私密超越、文字模态的互动共享,开创了互联网移动用户对央视春晚多模态叙事的全新感知与情感体验。

基于多模态感知的危险废物环境风险评估与预警研究

为了有效地防范化解危险废物的环境风险,亟须构建风险的精细化评估与实时智能预警系统。然而,危险废物特性复杂、全过程流转链条长,传统的单一感知数据并不能满足环境风险评估和预警的需求。因此,本文提出基于多模态感知的危险废物环境风险评估与预警方法,采用物联网、大数据、人工智能等技术手段,实现危险废物基础信息、环境要素、空间信息的多模态实时感知,并通过感知信息的融合、分析,进行准则判断或现象描述。围绕以上研究思路,本文针对危险废物贮存环节及非法倾倒两个重要风险因子释放情景,设计了基于多模态感知的风险评估与预警方法,以期为危险废物环境风险的管控提供相应的服务与决策。

脑机接口联合多模态感知反馈训练对脑卒中后上肢功能恢复的探索性研究

目的:探究基于运动想象的脑机接口技术联合多模态感知反馈训练对脑卒中后严重偏瘫患者上肢运动功能恢复的临床可行性及有效性。方法:本研究纳入在院康复脑卒中慢性期患者12例,在常规康复训练基础上,增加基于运动想象的脑机接口联合多模态感知反馈训练。在干预前后评估患者的上肢运动功能及日常生活活动能力,包括简化Fugl-Meyer量表上肢部分(FMA-UE)、腕关节主动活动度、手臂动作调查测试(action research arm test,ARAT)和Barthel指数(Barthel index,BI)。同时测量每位患者干预前后双侧M1区的运动诱发电位(motor evoked potentials,MEP),探讨脑机接口训练对脑重塑的影响。结果:所有患者均完成了治疗和评估,其中,FMA-UE及ARAT评分较干预前显著改善(P<0.05),FMA-UE从基线的(13.50±8.20)分提高到(15.92±9.28)分,ARAT评分从基线的(3.08±5.96)分提高到(4.75±7.52)分;所有患者在干预前均不能主动伸展腕关节,2例受试者有小范围的主动屈腕,而在干预后,4例患者出现了较为明显的患侧腕关节自主伸展,6例患者出现显著的腕关节主动屈曲;所有患者的BI评分均未显示出显著变化。在治疗过程中未观察到不良事件。结论:基于运动想象的脑机接口联合多模态感知反馈训练或能有效改善脑卒中严重偏瘫患者的上肢运动功能恢复。

基于多模态感知与融合的无人车韧性导航系统

针对野外复杂环境下的无人车自主导航需要,建立了一种基于多源融合定位、语义建图与运动规划的智能导航系统。首先,针对IMU、轮式里程计、视觉SLAM与激光雷达SLAM等测量子系统,设计了误差状态扩展卡尔曼滤波器进行融合定位。其次,基于改进的CNN语义分割网络生成环境的语义图像,与3D激光雷达点云融合,并使用最大概率更新算法构建语义3D地图。接着,在语义和几何信息投影获得可通行性代价的基础上,提出了一种语义动态窗口的局部路径规划方法。最后,将以上感知、定位与规划方法整合成完整的智能导航系统,在城市与野外典型场景的测试中,相对定位误差小于0.4%D,具备一定的韧性导航定位和智能感知规划能力。

基于多模态数据感知的低压配电网台区故障区段精准定位

为了提升低压配电网台区故障区段精准定位效果,该文提出基于多模态数据感知的低压配电网台区故障区段精准定位方法。该方法运用主成分分析法确定多模态暂态零序电流数据的综合指标,并采集相关数据。通过相似性指标提取特征参数,并利用循环神经网络自适应融合各监测点的数据。计算监测点间暂态零序电流的相关系数,并与预设阈值比较,以判定故障区段。实验结果表明,该方法能有效感知并融合多模态数据,且在不同故障角下均能准确地定位故障区段。

多模态感知教学在初中英语词汇教学中的应用

在多模态视角下,教师应结合英语课程的特点探索多种教学方法。传统的初中英语词汇教学方法往往难以满足学生多样化的学习需求,导致学习效果不佳。本研究旨在探讨多模态感知教学在初中英语词汇教学中的应用效果,以提高学生的词汇学习效率和质量。多模态感知教学方法利用文字、图像、音频、视频等多种媒体形式,通过多感官的刺激,增强学生对词汇的理解和记忆。多模态感知教学能够有效提升初中英语词汇教学的效果,具有推广和应用的潜力。

基于虚拟点云的二阶段多模态融合网络

针对点云的稀疏性和无序性对目标检测准确率的影响,本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先,利用图像检测目标信息构造虚拟点云,增加点云的密集程度,从而提高目标特征的表现;其次,增加点云特征维度以区分真实和虚拟点云,并使用含置信度编码的体素,增强点云的相关性;最后,采用虚拟点云的比例系数设计损失函数,增加图像检测有监督训练,提高二阶段网络训练效率,避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试,检测精度优于经典三维点云检测网络和某些多传感器信息融合网络,车辆检测精度达到了86.9%。

通感、具身与意识:人机交互实现的感知基础

传统的机器感知以经验主义的分离感知观和理智主义的工具感知观为基础,具有单模态性、符号表征性和离身性,机器表达具有缝隙性、间接性和被动性,由此造成人机交互不灵敏和延迟等流畅性问题。在身体现象学、认知科学和神经科学视角下,探讨以机器的通感感知作为人机交互的基本感知模式,将感知-表达一体性和感知多模态性作为机器通感感知的设计理念,将具身模拟的趋同性、抑制性和整体性作为机器通感感知的功能基础,由此,感知-表达一体性赋予机器具身智能,感知的多模态性赋予机器具身感知,人机交互模拟促使机器生成自主意识。具身性和自主意识性的机器通感感知设计,将有助于促进人机顺畅交互,加速人工智能向通用人工智能发展。

面向“双碳”目标的生态环保材料感知评价方法及外观美化研究

目的提炼一套用户感知层面的评价技术和方法。方法分别运用文献综述、案例研究和实证研究的方法,提出了生态材料的样本、材料感知评价层次模型、材料感知评价的实验设置及感知评价方法的4个主要层面。结果通过总结材料的感知评价研究中的先进实验流程、评价方法及优缺点分析,构建了一套适用于生态材料感知评价方法模型。结论通过实证研究,验证了提出的感知评价模型具有较高的可行性,对推动生态材料的多模态品质可持续性设计具有现实指导价值。

自动驾驶数据集及3D目标感知方法综述

本文首先从场景的解构上分析了自动驾驶感知的复杂性,调研了67项自动驾驶感知相关的数据集,其中22项综合类数据集,17项道路感知专题数据集,14项障碍物感知专题数据集和14项自然环境相关专题数据集,给出不同数据集近四年的更新情况以及引用情况。另一方面,对3D目标感知方法进行了总结,考虑到最新的nuScenes数据集上3D目标感知任务TOP10的网络全部为基于多模态的方法,本文重点对基于图像和激光雷达点云的多模态的方法进行了归纳,并对nuScenes数据集3D目标感知任务榜单进行了分析。在上述分析的基础上,提出自动驾驶感知相关的数据集应进一步增大规模,并需加强国际合作,提出多模态融合的方法在nuScenes数据集3D目标感知任务上成为主流,同时基于Transformer的方法也进入Top10,未来值得继续关注和研究。

多模态视角下隐喻的构建和解读

在现代科技和传媒技术支持下,隐喻的构建是多模态的,人们不仅可以用文字也可以用图像、声音,颜色等非语言符号来构建隐喻;隐喻的解读也是多模态的,人的多重感官可以感知,吸收多模态形式的外部符号,进而解读出隐喻的意义。文章结合多模态话语分析理论和认知语言学理论,分析在多模态环境中隐喻的特征,以及隐喻意义的产生和解读。

肌电和足压信息融合的外骨骼步态识别

为解决基于单一信号识别步态相位不够精准的问题,开展了动态交互力激励下的人机协同行走的步态识别研究。设计了肌电和足压信息采集的多模态传感器检测硬件平台;分别对单一信号开展滤波降噪、特征提取与降维等预处理;将表征下肢生理信息的肌电信号与运动信息的足压信号相融合,构建了支持向量机-模糊C均值(support vector machine-fuzzy C-mean algorithm,SVM-FCM)多模信息融合的外骨骼助行步态识别算法;开展了人机协同助行实验,实验结果表明:信息融合后的人机步态相位平均识别率达到82.49%,优于使用单一信号的识别效果,验证了多模信息融合算法识别人机协同步态的有效性。本研究可用于下肢外骨骼机器人运动控制,为人机运动相融奠定基础。

孤独症人工智能诊疗进展及前沿

【目的】近年来人工智能和传感技术的快速发展为孤独症的诊疗提供了新的手段和方向。本文围绕孤独症人工智能诊疗技术进行了文献综述,为未来工作提供参考。【文献范围】本文采用关键字检索的方法调研了来自主流会议和期刊的相关论文,并进行了总结归纳。【方法】从临床人工诊疗发展、基于人工智能的诊断研究、基于人工智能的干预研究三个方面分别介绍基于不同方法和传感技术的研究进展。【结果】孤独症人工智能诊疗有助于克服临床上的局限性,如主观性强、耗时长、资源紧缺等。【局限】相关文献多为近年来的工作,对更早期的工作可能存在遗漏。【结论】通过分析最新的人工智能方法对孤独症诊疗的影响,梳理孤独症人工智能诊疗的挑战和展望,有助于推动孤独症人工智能辅助诊疗理论和技术的发展。