一种基于多模态特征提取的医学视觉问答方法

随着深度学习在医疗领域的快速发展,医学视觉问答(Med-VQA)吸引了研究人员的广泛关注.现有的Med-VQA方法大都使用权重参数共享的同一特征提取网络对多模态医学影像进行特征提取,在一定程度上忽略了不同模态医学影像的差异性特征,导致对特定模态特征提取时引入其它模态的噪声特征,使得模型难以关注到不同模态医学影像中的关键特征.针对上述问题,本文提出一种基于多模态特征提取的医学视觉问答方法.首先,对医学影像进行模态识别,根据模态标签指导输入参数不共享的特征提取网络以获得不同模态影像的差异性特征;然后,设计了一种面向Med-VQA的卷积降噪模块以降低医学影像不同模态特征的噪声信息;最后,采用空间与通道注意力模块进一步增强不同模态差异性特征的关注度.在Med-VQA公共数据集Slake上得到的实验结果表明,本文提出方法能有效提高Med-VQA的准确率.

多模态特征分析的帕金森病辅助诊断方法

帕金森病是一种常见的神经退行性疾病,会逐步破坏患者运动功能和部分认知功能,且发病隐匿、不可治愈,为患者及家人带来沉重负担.然而,帕金森病的临床诊断通常依赖主观评估量表,会同时受到评估者主观性、被评估者回忆偏差的影响.目前,有大量研究从各个模态探索了帕金森病的生理特征,并借此提供了客观量化辅助诊断方法.但是,神经退行性疾病种类繁多、影响类似,从帕金森病表征出发的单模态方法特异性问题仍有待解决.为此,搭建一套包含帕金森病异常诱发范式的多模态辅助诊断系统.首先,根据正态分布检验结果进行特征的参数检验,构建具有统计学意义的特征集(p<0.05);其次,在临床环境中收集38例带有MDS-UPDRS评分量表的多模态数据;最后,基于步态和眼动模态,分析不同特征组合方式评估帕金森病的显著性;验证虚拟现实场景下高沉浸诱发型任务范式和多模态帕金森病辅助诊断系统的有效性;其中步态与眼动模态综合使用,只需要进行2–4个任务,平均AUC和平均准确率就分别能达到0.97和0.92.

激流丝扰动下回转体边界层流动转捩的模态特征

水下航行体首部边界层转捩会产生较强的噪声,严重影响其通信及探测性能。为探明诱发水动力噪声的主要流动结构,本文以SUBOFF缩比模型为研究对象,采用高速水洞实验及大涡模拟方法,获得激流丝扰动下的水下回转体边界层流场。研究发现:边界层内流动在激流丝下游形成分离泡,在分离泡中后部发生转捩,诱发了大量多尺度非定常涡系。采用本征正交分解方法研究了边界层转捩区流向、法向速度脉动及压力脉动的模态特征,发现流向速度脉动的主导模态是分离泡及其沿流向的破碎和下游流向涡,其中分离泡区域流向速度脉动为低于3000 Hz的复合频率,下游流向涡为低于200 Hz的低频结构。法向速度脉动与压力脉动模态特征相似,都呈现出高频、宽频脉动特征,在分离泡附近强度最大。由此推测,分离泡及其破碎是边界层转捩的主要诱因,其诱发的法向速度脉动是产生高/宽频噪声的主要原因,流向速度脉动仅与低频噪声有关。

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

基于多模态特征融合的行人穿越意图预测方法

行人行为预测是城市环境智能汽车决策规划系统面临的主要挑战之一,提升行人穿越意图的预测准确率对于行车安全意义重大。针对现有方法过度依赖行人的边界框位置信息,且很少考虑交通场景中环境信息及交通对象间的交互关系等问题,本文提出一种基于多模态特征融合的行人过街意图预测方法。首先结合多种注意力机制构建了一种新型全局场景上下文信息提取模块和局部场景时空特征提取模块来增强其提取车辆周边场景时空特征的能力,并依赖场景的语义解析结果来捕获行人与其周围环境之间的交互关系,解决了交通环境上下文信息与交通对象之间的交互信息应用不充分的问题。此外,本文设计了一种基于混合融合策略的多模态特征融合模块,根据不同信息源的复杂程度实现了对视觉特征和运动特征的联合推理,为行人穿越意图预测模块提供可靠信息。基于JAAD数据集的测试表明,所提出方法的预测Accuracy为0.84,较基线方法提升了10.5%,相比于现有的同类型模型,所提出方法的综合性能最佳,且具有更广泛的应用场景。

RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构(AMBF)来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文(DA-context)模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码(RedNet)、注意力互补网络(ACNet)、高效场景分析网络(ESANet)等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比(MIoU)分别达到了47.9%和50.0%。

考虑惯量模态特征的电力系统频率性能量化方法

电力系统频率响应解析需基于低阶简化模型。由于简化模型无法完备地表征原复杂模型的动态,故其参数具有模态性,即参数将随系统频率响应的变化而变化,当系统工况发生较大改变时需重新求解参数。目前,少有文献在考虑参数模态性的情况下对系统频率响应性能进行评估。为此,该文基于统一结构简化模型提出考虑模态特征的频率性能量化方法。首先,基于系统工况的变化和统一结构参数变化量之间的解析关系,提出考虑模态特征的统一结构参数自适应修正方法。然后,考虑非线性环节的影响,提出适用于实际系统的计算方法。最后,基于我国某省级电网和新英格兰39节点系统算例仿真验证所提出的考虑模态特征的频率性能量化方法的有效性。

基于注意力机制和多模态特征融合的猕猴脑磁共振图像全脑分割

目的提出并探讨一种新的基于注意力机制和多模态特征融合的深度学习算法(DDAM),实现对猕猴脑MRI图像的全脑分割。方法共收集68例年龄分布在13~36月的多模态猕猴脑MRI图像数据,且均包含对应的真实标签。针对多模态数据信息复杂且互补的特点,采用多编码器结构分别适应不同模态并进行特征提取。在解码器部分引入注意力机制构建多模态特征融合模块(AMFF),利用模态间信息丰富且互补的特点,充分融合不同尺度和复杂度的多模态特征,进而提升分割性能。另外,进行消融实验分析并对结果进行统计学检验。结果多编码器结构以及注意力机制的引入能够有效地提升模型对多模态特征的融合能力,使得猕猴数据的全脑分割平均DSC达到0.904,ASD低至0.131(P<0.05)。消融实验结果验证了DDAM方法各组成部分的有效性。结论本文针对多模态数据特点构建深度学习算法模型,提出的DDAM方法,能够更有效地提取并融合多模态特征,从而实现全脑分割精度的显著提高。

基于多模态特征融合的人脸物理对抗样本性能预测算法

人脸物理对抗样本攻击(Facial Physical Adversarial Attack,FPAA)指攻击者通过粘贴或佩戴物理对抗样本,如打印的眼镜、纸片等,在摄像头下被识别成特定目标的人脸,或者让人脸识别系统无法识别的攻击方式。已有FPAA的性能评测会受到多种环境因素的影响,且需要多个人工操作的环节,导致性能评测效率非常低下。为了减少人脸物理对抗样本性能评测方面的工作量,结合数字图片和环境因素之间的多模态性,提出了多模态特征融合预测算法(Multimodal Feature Fusion Prediction Algorithm,MFFP)。具体地,使用不同的网络提取攻击者人脸图片、受害者人脸图片和人脸数字对抗样本图片的特征,使用环境特征网络来提取环境因素中的特征,然后使用一个多模态特征融合网络对这些特征进行融合,多模态特征融合网络的输出即为所预测的人脸物理对抗样本图片和受害者图片之间的余弦相似度。MFFP算法在未知环境、未知FPAA算法的实验场景下取得了0.003的回归均方误差,其性能优于对比算法,验证了MFFP算法对FPAA性能预测的准确性,可以对FPAA性能进行快速评估,同时大幅降低人工操作的工作量。

不同温度下含裂纹压气机叶片的模态特征和振动特性分析

本文选取含裂纹悬臂梁模拟含裂纹压气机叶片,基于无质量扭转弹簧和呼吸式裂纹刚度模型,得到一种不同环境温度下含裂纹压气机叶片的模态特征和振动特性的分析方法。通过弹性模量引入温度模块,利用无质量扭转弹簧连续条件得到关于含裂纹梁的特征方程,分析环境温度和裂纹深度对含裂纹梁固有频率的影响;利用悬臂梁的强迫弯曲振动方程,引入呼吸式裂纹刚度模型,改变激振力频率,分析环境温度及激振频率对含裂纹梁振动位移响应的影响。结果表明,环境温度越高,含裂纹梁的固有频率越小,梁的振动位移响应越大。同时,激振频率的选取也具有一定影响。

基于用户分群的数字社区消费者多模态特征分析与服务效能提升研究

[目的/意义]对数字社区消费者进行多模态特征分析与服务效能提升,有助于为数智赋能在线社区建设提供新视野、为相关部门部署数字决策提供新动能。[方法/过程]结合社区特性构建用于消费者分群的数据维度,将维度下的24个指标数据进行二次聚合后实现分群,并构造参数、决策变量及函数表,从而分析消费者多模态特征,基于这些特征实现数字消费服务效能的提升。[结果/结论]实证分析结果表明,本文模型能够生成合理有效的分群结果,进而实现类群特征区分以及群间渗透与漂移现象分析;分群结果呈现出6类消费者群体:重点、中心、特殊、沉睡、流失和一般类群,绝大多数类群都会产生用户渗透现象,仅有一般用户类群会发生群间漂移现象;服务效能提升模型表明最受关注价值的群体为中心和重点类群。

基于多模态特征融合的井下人员不安全行为识别

采用人工智能技术对井下人员的行为进行实时识别,对保证矿井安全生产具有重要意义。针对基于RGB模态的行为识别方法易受视频图像背景噪声影响、基于骨骼模态的行为识别方法缺乏人与物体的外观特征信息的问题,将2种方法进行融合,提出了一种基于多模态特征融合的井下人员不安全行为识别方法。通过SlowOnly网络对RGB模态特征进行提取;使用YOLOX与Lite-HRNet网络获取骨骼模态数据,采用PoseC3D网络对骨骼模态特征进行提取;对RGB模态特征与骨骼模态特征进行早期融合与晚期融合,最后得到井下人员不安全行为识别结果。在X-Sub标准下的NTU60 RGB+D公开数据集上的实验结果表明:在基于单一骨骼模态的行为识别模型中,PoseC3D拥有比GCN(图卷积网络)类方法更高的识别准确率,达到93.1%;基于多模态特征融合的行为识别模型对比基于单一骨骼模态的识别模型拥有更高的识别准确率,达到95.4%。在自制井下不安全行为数据集上的实验结果表明:基于多模态特征融合的行为识别模型在井下复杂环境下识别准确率仍最高,达到93.3%,对相似不安全行为与多人不安全行为均能准确识别。

融合多模态特征的新闻短视频分类模型

视频分类是理解、归纳和检索视频数据的一个重要环节。新闻短视频具有音频信息比图像信息更能完整地描述新闻事件的特点,但传统视频分类模型常常只考虑图像信息或融合了音频和图像的多模态信息,并没有考虑模态信息之间的主辅关系。针对上述问题,采用以音频模态为主,图像模态为辅的融合机制,提出了融合多模态特征的新闻短视频分类模型。为进一步利用音频为主的特点,采用两阶段训练方式,使用音频模态单独训练,音频和图像模态联合训练,利用图像信息修正分类结果,提升新闻短视频分类的准确率。为训练和评价模型,采集了10304个新闻联播短视频作为实验数据集,总时长约为240 h。实验结果表明,所提模型的分类效果优于传统的新闻短视频分类模型。

基于三维纹理的多模态特征城市土地利用分类

城市土地利用分类研究对实现城市土地资源高效管理和城市可持续发展具有重要意义。基于无人机获取的遥感影像数据,提出了一种融合DSM特征、三维纹理特征和改进型植被指数的多模态特征提取技术,并利用支持向量机(SVM)分类器进行城市土地利用分类。针对传统绿蓝植被指数对无人机影像敏感度低的问题,提出了一种改进型绿蓝植被指数(MGBVI)。结果表明,采用多模态特征后分类精度提高了16.5%;多模态特征中选择三维纹理特征和MGBVI进行分类的效果最佳。

基于多模态特征及卷积神经网络的智慧教室人物行为识别方法

为了精准识别不同环境多类别人物行为,使其适用于多个场景,研究基于多模态特征及卷积神经网络的智慧教室人物行为识别方法。通过智慧教室多类别人物视频的均匀稀疏采样,获取智慧教室多类别人物RGB图像及人物行为图像,采用由改进3D CNN和引入时空注意力机制的LSTM模型构成C3DP-LA网络,提取多类别人物RGB图像时空特征,同时提取人物行为图像的人物光流特征、重心特征以及三维SIFT特征,组建人物行为组合特征,经基于全连接层的多模态特征融合网络融合人物时空特征和人物行为组合特征后,将多模态融合结果输入softmax分类器,完成智慧教室人物行为识别。实验结果表明:该方法可有效识别智慧教室多类别人物,降低背景、环境因素对多类别人物特征提取的影响,能够精准识别人物动作并准确分类,具有良好的应用性。

融合多模态特征与时区检测的视频摘要算法

针对传统视频摘要算法没有充分利用视频的多模态信息、难以确保摘要视频片段时序一致性的问题,提出了一种融合多模态特征与时区检测的视频摘要算法(MTNet)。首先,通过GoogLeNet与VGGish预训练模型提取视频图像与音频的特征表示,设计了一种维度平滑操作对齐两种模态特征,使模型具备全面的表征能力;其次,考虑到生成的视频摘要应具备全局代表性,因此通过单双层自注意力机制结合残差结构分别提取视频图像与音频特征的长范围时序特征,获取模型在时序范围的单一向量表示;最后,通过分离式时区检测与权值共享方法对视频逐个时序片段的摘要边界与重要性进行预测,并通过非极大值抑制来选取关键视频片段生成视频摘要。实验结果表明,在两个标准数据集SumMe与TvSum上,MTNet的表征能力与鲁棒性更强;它的F 1值相较基于无锚框的视频摘要算法DSNet-AF以及基于镜头重要性预测的视频摘要算法VASNet,在两个数据集上分别有所提高。

基于跨模态特征融合的胆囊癌诊断模型研究

针对目前尚未有研究使用深度学习方法将胆囊癌影像、放射组学特征和肿瘤标志物等实验室检查数据融合应用于胆囊癌诊断的问题,提出一种跨模态特征融合的胆囊癌诊断模型。首先利用3D U-net网络进行胆囊区域分割并提取放射组学特征,使用三维卷积神经网络提取医学影像深度特征,再将这两者与实验室检查数据进行特征融合,将融合结果作为分类器的输入进行胆囊癌诊断。实验结果表明,该方法在分类准确率、特异度、灵敏度、精确率上相比最优的单类特征模型分别提高16.67%、12.62%、11.54%和13.14%。同5种常见的影像分类模型比较,其在准确率、特异度和精确率上均至少提高10.00%、25.00%和13.33%,由此得出该方法在胆囊癌诊断上具有更好的准确率与可靠性。

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。

基于内禀模态特征能量法煤油机爆震特征提取

为解决电控二冲程煤油发动机爆震特征提取的问题,根据内禀模态函数(intrinsic mode function,IMF)正交的特点,提出了基于内禀模态函数特征能量法的爆震特征提取方法。该方法对电控二冲程煤油发动机缸内压力信号进行经验模态分解(empirical mode decemposition,EMD),得到若干IMF分量,利用内禀模态函数能量法获取信号能量占主导地位的IMF分量,作为爆震信号的主导模式分析对象,对该IMF分量进行功率谱密度分析,得到了电控二冲程煤油发动机的爆震特征频率。通过仿真计算以及爆震信号分析,结果表明内禀模态函数特征能量法在电控二冲程煤油发动机爆震特征频率提取过程中实用有效。

北极冬季季节性海冰双模态特征分析

近年来北极海冰快速变化,北极中央区边缘正由以多年冰为主转为季节性海冰为主。通过对北极冬季季节性海冰的EOF分解发现,2002-2012年期间北极季节性海冰变化的前两模态主要体现为2005年和2007年的季节性海冰距平。其中第二模态主要体现了北极海冰在2005年的一种极端变化,而第一模态不仅体现了北极海冰在2007年的变化,还体现了北极季节性海冰的从负位相到正位相的转变。通过比较发现,在研究时段北极季节性海冰最主要的变化发生在北极太平洋扇区,在2007年,冬季季节性海冰距平发生位相转变,2007-2010年一直维持正位相,北极太平洋扇区冬季季节性海冰保持显著正距平。太平洋扇区表面温度最大异常也发生在2007年,从大气环流来看,2007年之后波弗特海区异常高压有利于夏季太平洋扇区海冰的减少,而西风急流的减弱有利于夏季波弗特海区异常高压的维持,结合夏季海冰速度,顺时针的冰速分布有利于海冰离开太平洋扇区,因而会导致冬季太平洋扇区季节性海冰转为正距平并且从2007年一直维持到2010年。