基于GAN和多尺度空间注意力的多模态医学图像融合

针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图像;其次,整个对抗网络框架采用双鉴别器结构,使得生成器生成的融合图像同时保留多个模态图像的显著特征;最后,构建一种多尺度空间注意力作为编码器进行特征提取的基本模块,利用多尺度结构充分捕获并保留源图像的多尺度特征,并且引入空间注意力更好地保留源图像的结构和细节信息。全脑图谱数据库上的实验结果表明:所提算法生成的融合图像不仅纹理细节更为丰富,有助于人类视觉观察,而且在3种不同类型的医学图像融合任务上平均梯度、峰值信噪比、互信息、视觉信息保真度等客观评价指标的平均值分别达到0.3023、20.7207、1.4414、0.6498,与其他先进的算法相比具有一定的优势。

超声多模态声像图特征及各参数值与脑卒中颈动脉斑块易损性的相关性

目的探究超声多模态声像图特征及各参数值与脑卒中颈动脉(CAS)斑块易损性的相关性。方法选择2020年3月—2021年3月本院收治的240例脑卒中颈动脉粥样硬化(Carotid artery arhrosclerosis,CAS)患者作为研究对象,以冠脉造影斑块形态将CAS患者分为易损斑块组(n=76)和稳定斑块组(n=164)两组。采用二维超声、超微血管成像、剪切波弹性成像及超声造影对患者斑块特征进行评估,比较两组患者IMT、斑块积分、CAS狭窄程度、脑血流量与颈动脉血流量差异,并分析易损斑块组和稳定斑块组剪切波弹性成像杨氏模量参数和超声造影参数的变化,采用受试者工作特征(ROC)曲线评估超声多模态声像图特征及参数值联合应用对脑卒中颈动脉斑块易损性的诊断价值。结果与易损斑块组相比,稳定斑块组患者颈动脉硬化斑块面积以及IMT均明显增高,差异具有统计学意义(P<0.05)。与易损斑块组相比,稳定斑块组患者的CCA、ICA、VA狭窄度明显升高,差异均具有统计学意义(P<0.05)。与易损斑块组相比,稳定斑块组患者脑血流量和颈动脉血流量均明显降低,差异具有统计学意义(P<0.05)。易损斑块患者的达峰时间少于稳定斑块患者的时间(P<0.05),易损斑块患者的最大峰值强度高于稳定斑块患者的强度(P<0.05)。易损斑块患者的平均杨氏模量、最大及最小杨氏模量均高于稳定斑块患者(P<0.05)。单因素分析结果显示,两组CEUS增强、SMI新生血管、表面形态和钙化结节比较差异具有统计学意义(P<0.05),狭窄率、斑块回声和斑块极低回声区组件比较,差异无统计学意义(P>0.05)。表面形态(SMI)、CEUS增强、钙化结节及联合诊断鉴别斑块易损性的ROC曲线下面积分别为0.658、0.722、0.681和0.836。结论超声多模态声像图特征及各参数值与脑卒中颈动脉斑块易损性的相关性,其中超声多模态声像图特征及参数值联合应用对脑卒中颈动脉斑块易损性具有一定的诊断价值。

同步课堂中基于多模态数据的专注度分析

同步课堂是践行“三个课堂”的主要方式,已成为促进教育均衡发展的重要举措。及时、准确地掌握学习者的专注度情况并采取有效的措施进行干预,对提升同步课堂教学质量具有重要的意义。然而当前同步课堂中存在异地学生专注状态难反馈、难调节等困境,亟需从技术角度提供精准的专注度分析与反馈方案。为达成同步课堂中学习者专注状态的精确反馈,同步课堂专注度分析要依次解决基于学习者数据的专注度计算、专注度特征间的关联,以及针对不同成因的专注度干预策略等“建模”“关系”“应用”三大核心问题,以实现对学习专注度的调节。为此,可先基于同步课堂中学习者个体的视觉、生理等多模态数据构建数据集,从中提取动作及情感特征,形成专注度评估模型;然后分析群体专注度的内在动态演化机理,构建群体专注度演化自适应模型;最后建立“问题—干预策略”知识图谱,搭建人机智能协同的专注度干预模型以及同步课堂精准教学模型,形成“数据感知—问题诊断—干预策略匹配”的个性化学习服务完整链路,帮助教师找准学习者问题,提升课堂教学效果。后续还需在实际同步课堂场景中对建模指标、分析模型、干预策略的适应性以及师生的接受度等进行检验与优化。

基于多模态信息融合的中文隐式情感分析

隐式情感表达中缺乏显式情感词,给隐式情感分析带来一定的挑战。为有效解决此问题,借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同,提出一种融合多模态信息(包括语音和视频)的隐式情感分析方法。通过从语音中提取音调、强度等声学特征,以及从视频中捕捉面部表情等视觉特征,辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息;结合多头互注意力机制分别捕捉与文本相关的语音和视觉特征,并通过迭代优化,减少非文本模态的低阶冗余信息。此外,通过设计以文本为中心的交叉注意融合模块,强化隐式文本特征表示,并处理模态间的异质性,增强隐式情感分析的综合性能。在CMUMOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明,所提出的模型优于其他基线模型。这种针对隐式情感分析的多模态处理策略,充分利用语音和视觉外部知识,更全面、准确地捕捉隐式情感表达,有效提升了隐式情感分析的准确率。

视觉语法视角下南京旅游英文官网多模态话语分析

以Gunther Kress和Theo van Leeuwen的视觉语法理论为分析框架,通过对南京旅游英文官网的案例研究,分析旅游网站多模态话语的再现意义、互动意义和构图意义。研究发现,南京旅游英文网站使用大量图片视觉符号资源构建意义,图片符号与文字符号协同作用,对观看者产生视觉上的冲击,达到良好的宣传效果。不足之处在于,叙事再现图片占比较低,人物参与者缺乏与观看者的正面接触,图片设计者多采用中、远镜头,虽客观呈现景物特点,但与观看者保持较为疏远的关系。建议网站丰富再现意义的类型,增加叙事再现的使用,增加参与者与观看者的正面接触;适当采取前景化、分割线等手段,借用近距离镜头将观看者代入到图片情境中。

动态时间序列建模的多模态情感识别方法

现有的情感识别研究未充分考虑语音信号中的局部-全局信息和长期时间依赖关系,文本特征提取也存在特征稀疏和信息丢失的问题。为解决上述问题,提出动态时间序列建模的多模态情感识别方法。设计动态时间窗口模块分割语音信号从而捕捉局部-全局信息,并通过双向序列建模捕获信号中的空间信息。考虑到文本信息对情感分析的重要性,采用基于Transformer模型的卷积神经网络捕捉文本中不同位置间的依赖关系建模较长的上下文信息,最后将两种模态进行融合得到最终的情感分类。模型在IEMOCAP数据集上的实验结果表明,相比其他主流模型具有更好的多模态情感识别效果。

多模态互动模式在大学英语线上教学中的应用

随着信息技术的飞速发展,大学英语教学的数字化转型迎来了新的契机,线上线下融合成为英语教学的重要趋势。针对线上英语教学中面临的课堂缺乏有效互动、学生缺乏自主学习的动力以及评价方式缺乏有效性和全面性等问题,本文探索以多模态理论为指导,将多模态要素与网络平台相结合,提出了线上英语的教学改革措施:一是以任务为基础,在课前、课中和课后环节,紧密围绕教学目标精心设计不同的学习任务,锻炼学生的语言综合运用能力;二是以合作为手段,依托具体任务目标,采用小组合作机制,深化学生对语言知识的内化和理解;三是以师生为双主体,以学生为主体,以教师在教学活动设计中为主导,构建了一个师生平等的互助互融的学习氛围,促进语言交流与知识共享;四是以输出为目的,鼓励学生将多模态要素融合,构建富有感染力的表达方式,提升学生内化并灵活运用英语的能力。实践表明,多模态的综合运用,丰富了学生的多感官学习体验,提高了学生的学习兴趣、自主学习意识和合作能力,强化了学生的英语综合运用能力,促进了英语教学的多元化发展。

前庭性偏头痛的颅脑多模态MRI研究进展

前庭性偏头痛(VM)是一种以前庭症状为主诉的偏头痛亚型,临床诊断缺乏特异性客观标志物。MRI有多序列、多参数、多平面成像的特点。对VM患者颅脑多模态MRI结构成像、fMRI、灌注成像、MRS的异常进行综述,以期为探索VM的特异性影像标志物提供参考。

国际传播新语境下多模态国际中文教育创新性发展路径

在世界百年未有之大变局这一复杂的国际传播语境下,国际中文教育的发展与中文的国际社会交往紧密相连,共同推动中华文化的国际传播和中华文明的传承发展。追溯国际多模态二语教学的起源与发展,可以帮助学界界定多模态国际中文教育的概念、内涵和特征。多模态国际中文教育领域研究理据的进展主要体现在理论、方法和体裁的融合与完善上,但尚未引发学界对国际中文教育多模态话语体系建构的充分讨论。鉴于国际中文教育天然肩负着中华文明当代阐释和创新表达的使命,其多模态发展应深刻把握三个面向,突出文明精神、多维理论、问题意识和未来眼光,有效实现数字化转型和智能升级,进而积极提供全球公共产品。

渐进式策略的多模态无监督实体对齐方法

当前的实体对齐方法,虽然利用知识图谱中实体间的结构信息取得了不错的对齐效果,但是忽略了实体间包含的大量侧面信息。这些信息具有唯一性特征,可以用于增强对齐效果。分析了实体侧面信息在实体对齐中的可用性,提出了一种无监督实体对齐方法,使用渐进式策略并融合图文信息。该方法通过融合实体的字面量信息和视觉信息,来增强实体的特征表示;采用双向阈值最近邻算法,过滤掉距离度量过高的实体对;引入渐进式策略,来动态增加相似度阈值,以控制对齐实体对的生成质量和生成速度;定义分配算法,以优化渐进式策略得到的结果。为了验证提出的方法,在DBP15K数据集的ZH_EN、JA_EN、FR_EN子数据集上进行实验,并与PSR、EVA、DATTI等10种方法的结果进行了对比分析。实验结果表明,该方法在ZH_EN和JA_EN子数据集的对齐任务上,Hits@1指标分别达到了95.7%和97.4%,在FR_EN上Hits@10指标达到了99.9%,性能表现较佳。

基于TCN-Bi-GRU和交叉注意Transformer的多模态情感识别

多模态语音情感识别是近年来在自然语言处理和机器学习领域备受关注的研究方向之一,不同模态的数据存在异构性和不一致性,将不同模态信息有效地融合起来并学习到高效的表示形式是一个挑战.为此,本文提出了一种新的基于时序信息建模和交叉注意力的多模态语音情感识别模型.首先采用时间卷积网络(Time Convolutional Network,TCN)提取语音、文本和视频数据的深层时序特征,使用双向门控递归单元(Bidirectional Gated Recurrent Unit,Bi-GRU)捕捉序列数据的上下文信息,提高模型对序列数据的理解能力.然后基于交叉注意力机制和Transformer构建多模态融合网络,用于挖掘并捕获音频、文本和视觉特征之间交互的情感信息.此外,在训练过程中引入弹性网络正则化(Elastic Net Regularization)防止模型过拟合,最后完成情感识别任务.在IEMOCAP数据集上,针对快乐、悲伤、愤怒和中性四类情感的分类实验中,准确率分别为87.6%、84.1%、87.5%、71.5%,F1值分别为85.1%、84.3%、87.4%、71.4%.加权平均精度为80.75%,未加权平均精度为82.80%.结果表明,所提方法实现了较好的分类性能.

元宇宙视域下的图书馆多模态知识流通范式

随着元宇宙图书馆发展,知识不断迭代、转化和重构,多模态知识被纳入知识服务过程。为避免知识冗余、信息不完备、信息价值缺失等知识发展弊端出现,文章梳理元宇宙图书馆和多模态知识流通发展现状,总结图书馆内数据流通问题,归纳元宇宙知识流通范式建设原则,从知识关联、知识组织到知识服务三个角度构建元宇宙视域下图书馆多模态知识流通范式(AOS),试图改善元宇宙环境下知识服务运行机制,为元宇宙图书馆各实践模型提供底层知识流动范式,为数字技术赋能以图书馆为代表的知识情报领域工作提供借鉴。

电力设施多模态精细化机器人巡检关键技术及应用

电力设施巡检对于加快电网基础设施智能化改造和智能微电网建设,提高电力系统互补互济和智能调节能力的需求具有重要作用.近年来,智能巡检机器人开始在电力巡检中广泛应用,在提高电力设施巡检效率和准确性、提升安全性、降低成本和促进电力智能化发展等方面发挥关键作用.本文从电力巡检机器人的智能感知和导航技术出发,重点介绍目标检测、语义分割、自主导航等共性关键技术的国内外发展现状.然后以可见光红外双光融合、可见光图像和点云数据融合、声纹和可见光融合为例,阐述电力场景多模态数据融合方式.并进一步介绍电力部件精准分割和异物检测、线路点云杆塔倾斜检测、输电线路覆冰多模态检测和电力架空线路缺陷分析及台账异常检测等电力设施多模态机器人相关案例.最后探讨电力设施多模态精细化机器人巡检关键技术的发展趋势和所面临的挑战.

面向多模态过程的凝汽器故障特征提取研究

针对凝汽器设备多模态运行过程的在线监测与故障特征提取问题,提出了一种融合k-means聚类与重构主成分分析的故障特征提取方法。首先,采用k-means聚类进行模态识别,聚类结果表明不同模态之间平方预测误差(SPE)统计量存在显著差异,需要对子模态分别建立监测模型。为有效获取故障特征,抑制故障分离过程中的残差污染现象,采用重构主成分分析法获取故障特征向量,实现了面向多模态过程的故障特征提取。结果表明:使用重构贡献图法能够分离检测出故障变量及其特征向量,且能有效避免残差污染问题,具有良好的故障定位精度。

多模态大模型赋能教师数字画像构建与应用

教师数字画像是助力教师教育高质量发展的重要抓手。本研究立足多模态大模型赋能数字画像应用的创新机遇,针对教师数字画像技术存在的数据采集结构性错配、模型通用性与深度性失衡、画像模型训练升级滞后和伴随式应用服务缺失等问题,分析教师画像大模型重塑教师数字画像构建与应用方式的多模态认知、关联式推理、增量式学习和伴随式反馈等关键能力;基于教师画像大模型的构建框架,围绕内隐对话、画像分析、发展指导三类细化子任务,设计了多智能体,以加强教师多维画像精准描摹与人机协同循证专业发展的综合性服务供给;以教师数字素养智能测评为例,从对话式智能测评、层级化画像分析和伴随式素养发展三方面阐释基于多智能体协作的场景化实践路径,展示其应用价值。

基于多模态常规MRI的影像组学预测胶质瘤术后早期复发的价值

目的:探讨基于多模态常规MRI在术前无创预测胶质瘤术后早期复发的价值。方法:回顾性分析83例符合纳入标准的脑胶质瘤患者的临床及MRI资料。使用Kruskal-Wallis检验方法比较复发组与非复发组的临床因素。通过联影公司开发的深度学习VB-Net算法实现胶质瘤患者全瘤病灶的自动分割并采用URP平台在术前T_(1)CE及T_(2)WI图像上提取影像组学特征,利用最大相关和最小冗余和最小绝对收缩选择算子筛选最佳的特征组合。采用Logistic回归及五折交叉验证分析影像组学特征并构建4个预测模型:T_(2)WI模型,T_(1)CE模型,T_(2)WI+T_(1)CE联合模型,影像-临床融合模型。以受试者工作曲线下面积(AUC)评估各模型诊断效能,并统计模型敏感度及特异度。使用Delong检验比较模型诊断效能。结果:脑胶质瘤术后复发40例,非复发43例。临床因素中胶质瘤级别在两组中差异具有统计学意义(P<0.05),而性别、年龄差异无统计学意义(P>0.05)。在单序列影像组学模型中,T_(1)CE模型(AUC:0.804)优于T_(2)WI模型(AUC:0.702);多模态联合模型AUC高于单序列预测模型(AUC、敏感度、特异度分别为0.849、72.5%、79.1%)。此外,影像-临床融合模型在预测胶质瘤术后早期复发中亦具有良好预测效能,AUC、敏感度、特异度分别为0.839、72.5%、79.1%,但与多模态联合模型效能比较差异无统计学意义(P=0.303)。结论:多模态常规MRI组合模型可以更好地预测胶质瘤术后早期复发,纳入胶质瘤级别的影像-临床融合模型诊断效能并未优于影像组学模型。

基于视觉与文本语义增强的多模态命名实体识别方法

为了解决视觉特征和文本特征融合后存在部分语义缺失从而导致视觉信息对文本信息的补充有较大偏差的问题,提出了一种基于视觉与文本语义增强的多模态命名实体识别方法。融合BERT文本特征提取和CLIP(contrastive language–image pre-training)视觉特征提取方法,设计了基于协同交叉注意力机制的特征交互单元,以增强视觉信息和文本信息之间的语义关系。CLIP通过对比学习框架进行预训练,优化模型以正确匹配视觉和对应的文本描述,最大化正样本(匹配的视觉-文本对)的相似性,同时最小化负样本(不匹配的视觉-文本对)的相似性。采用通用领域数据集TWITTER-2015和TWITTER-2017作为实验数据集。实验结果表明,本模型相比传统方法在多模态命名实体识别任务中的准确率、召回率、F1值均有显著提升。

基于多模态交互的隧道钻孔机器人交互界面设计研究

为了提高隧道钻孔机器人的界面可用性,扩大多模态交互界面的应用场景。研究针对隧道钻孔机器人交互界面的场景因素、行为因素和视觉因素进行了理论分析。并对视觉交互界面、听觉交互界面、触觉交互界面等多模态交互界面进行了研究。最终形成了隧道钻孔机器人多模态交互界面设计方法。从隧道钻孔机器人作业场景、多模态交互方式、多模态交互界面等方面对隧道钻孔机器人多模态交互界面设计进行了设计实践。理论和实践证明,多模态交互界面对于推动工程设备的创新交互体验设计,丰富工程设备交互设计场景,具有一定的理论和现实意义。

国内多模态技术的研究现状与发展趋势:基于CiteSpace的可视化分析

随着深度学习和自然语言处理方法的发展,多模态技术在人们的日常生活中得到广泛应用。本文利用CiteSpace软件检索中国知网数据库,分析近十年多模态技术研究现状,为相关科研人员提供了研究思路。本文筛选了1 027篇相关期刊文献进行分析,发现多模态技术的文献数量呈上升趋势,反映了对该技术的持续关注。其研究热点为图像融合、视觉问答等,在医学图像以及日常社交中都有应用;未来多模态技术可能的发展趋势在“生理信号”与“自动驾驶”等方面。

粤剧汉英多模态双语语料库的构建与翻译应用研究

深入探索多模态话语分析理论在粤剧国际传播中的应用,并据此构建了粤剧汉英多模态双语语料库。该语料库不仅整合了粤剧的语言模态资源,如剧本、唱词等,还涵盖了身段、服饰、音乐、唱腔等非语言模态资源。在此基础上,探讨粤剧汉英多模态双语语料库在粤剧翻译及翻译教学中的应用策略,不仅可以丰富多模态话语分析理论在戏曲翻译领域的应用,也为粤剧艺术的国际传播开辟了新的途径。