基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。

复合材料层合板的颤振预测和模态交叉分析

根据颤振分析的有限元理论,将特征向量定位法应用到复合材料层合板的颤振预测和模态交叉分析。该方法利用特征向量正交性的衰减性质,以特征向量角作为依据来判定颤振临界值。建立了复合材料壁板的有限元空气动力模型,编制了相应的算法,分别使用频率耦合法和特征向量定位法进行颤振预测分析。结果表明,所得的颤振频率和临界气动压力参数与传统颤振分析方法计算结果精度相当,能够实现模态的实时追踪,并从本质上避免了模态交叉对颤振预测的影响。

结合Transformer的多模态交叉步态识别

近年来,随着神经网络的不断发展,人类步态识别技术逐渐成熟,被广泛应用于身份识别、健康评估等领域。针对现有的步态识别模型对外观变化的鲁棒性较低、提取特征的特异性较差等问题,在现有步态识别网络Gait Part的基础上,提出了一种结合Transformer的多模态交叉步态识别方法。一方面,引入步态轮廓图和骨骼图,设计多模态交叉融合模块,减少外观变化的影响;另一方面,结合Transformer与卷积神经网络,提取多尺度时间特征,丰富时空特征,提高识别准确率。实验结果表明,改进的方法在CASIA-B数据集的正常行走、背包和穿着外套三种场景下分别达到了98.8%、95.1%和84.2%的准确率,同时在自建步态数据集的不同视角下的结果也均有提升,大量实验充分证明了改进模型的优越性以及有效性。

跨模态时空交叉注意力下机器人抓取滑动检测

在机器人领域,滑动检测是一个关键的任务。机器人需要利用多模态信息进行特征提取、信息融合交互与灵巧操作。为此,提出一个基于跨模态时空交叉注意力机制的多模态融合模型,用于滑动检测。该模型利用时空注意力学习多模态传感器反馈的物理特征,将学习到的视触觉时空特征通过跨模态交叉注意力进行交互融合。最后,通过多层感知机(MLP)预测滑动检测结果。使用7自由度XArm机械臂、D455摄像头和XELA触觉传感器进行数据采集、模型训练和验证。结果表明,该模型的滑动检测准确率高达97.8%,所提出的模型在可靠、顺利执行机器人抓取任务方面具有较高的研究和应用价值。

悬挑屋盖多模态和交叉项对风激动力响应影响

在已进行的悬挑屋盖脉动风模态位移自谱和互谱研究的基础上 ,重点分析了越南国家体育场屋盖前 10阶脉动风模态位移自谱响应、背景和共振风响应 ;研究多个模态特别是模态交叉项对风激动位移响应的影响 。

基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能.

利用改进交叉模型交叉模态的随机模型修正方法

将混合摄动-伽辽金方法和改进的交叉模型交叉模态技术相结合,提出了一种随机模型修正方法。该方法有效缓解了模型修正过程中测量数据有限和测量误差不确定的影响。考虑到实测模态数据具有不确定性,基于改进的交叉模型交叉模态方法,建立了一个新的描述结构随机参数和随机响应关系的模型修正方程。利用混合摄动-伽辽金方法求解该随机修正方程,进而得到结构随机修正参数的统计特征。简支梁的数值结果表明,该方法在测量数据不确定性较大时仍能保持很高的修正精度,同时计算效率比蒙特卡罗模拟方法高出一个数量级。在测量模态数据较少的情况下,该方法比单独的混合摄动-伽辽金修正方法修正效果好,且比交叉模型交叉模态法的修正精度更高。框架试验的结果表明,该方法可以同时修正结构的刚度和质量,修正后的结构参数与预设工况基本吻合,同时能复现结构的测量模态,从而验证了所提方法的有效性。

基于交叉模型交叉模态法的损伤识别研究

损伤识别能判断结构是否损伤,并对危险进行提前预警,对避免灾难发生和减轻灾难后果具有重要作用,受到了人们越来越多的关注。交叉模型交叉模态法利用理论和试验模态进行损伤识别,具有物理意义明确、充分利用实测模态等诸多优点。介绍了交叉模型交叉模态法,分析了LANL实验室的一个八自由度结构,提出了一种优化存储方法,分别在完全模态和不完全模态情形下模拟了单一损伤和多重损伤工况,用实测数据验证了交叉模型交叉模态法的有效性,并利用实测模态频率和振型对结构的刚度矩阵进行了修正。

交叉模态对结构随机振动疲劳损伤的贡献

以小阻尼简支梁为例,讨论了交叉模态对随机振动疲劳损伤累积的贡献;结构的响应分析采用模态叠加方法,随机振动疲劳损伤累积分析采用M iner线性疲劳损伤准则。数值模拟结果表明,即使是小阻尼稀疏模态结构,交叉模态对结构振动疲劳损伤累积的贡献也是不容忽视的。

基于改进交叉模型交叉模态法的局部损伤识别方法

传统的交叉模型交叉模态(CMCM)法由于其核心矩阵的缺秩使其在全局修正时的解不唯一,为得到唯一解必须人为假定约束。以往利用CMCM法进行损伤识别的研究中,通常将损伤前后质量保持不变作为约束求得各单元刚度的修正量,然后将刚度的下降作为判断损伤的依据。然而,结构在极端运营条件下质量的变化也是损伤的一种。为此,对传统的CMCM法进行了改进,提出了以下的改进方法:首先,由基准状态下的有限元模型和损伤后实测的结构低阶模态信息求得核心矩阵,将核心矩阵最小奇异值对应的右奇异向量作为损伤指示向量(DIV);然后,基于损伤的局部性利用聚类分析算法自动识别DIV中的异常元素,将异常元素作为损伤定位的依据;最后,由DIV估计各单元质量和刚度的损伤程度。改进后方法的优势在于:无需人为主观地添加约束即可一次性求出结构各单元质量和刚度损伤前后的变化,避免了错误或不准确的假设给损伤识别结果带来的误差。通过数值实验对该改进方法的可行性、鲁棒性以及损伤敏感性进行了研究,并通过美国洛斯阿拉莫斯国家实验室(LANL)的一个4自由度板柱结构振动台实验对改进方法的有效性做了进一步的验证。

基于交叉模型交叉模态方法和L_(1)正则化的损伤识别方法

提出了一种用交叉模型交叉模态(Cross Model Cross Mode,CMCM)方法与L1正则化结合的损伤识别方法。首先介绍了CMCM方法的基本原理,以及L2正则化与L1正则化的特点。然后通过一个实验室的钢框架结构对提出的方法进行了验证。结果表明,CMCM方法与L2正则化结合容易造成非损伤单元的误判,而在CMCM方法中使用L1正则化则能更准确地识别结构的损伤。即使仅用第一阶测量模态,用L1正则化技术求解CMCM方程也能很准确地识别框架结构的损伤。

颤振分析中的模态跟踪技术

颤振求解是一种研究参数(如空速)变化的特征值问题.在颤振模态判别和防颤振设计中,需要正确确定各阶模态对应的特征值随参数变化时的前后对应关系,避免出现模态交叉.针对颤振求解p-k法,发展了一种基于特征值摄动理论的模态跟踪技术——预测跟踪法,它利用特征值及左、右特征向量信息求解下一空速点的特征值估计量,以估计量为参考对特征值进行排序,将预测跟踪法和相似排序法、正交检验法进行了对比.数值结果表明:预测跟踪法比相似排序法和正交检验法具有更好的模态跟踪效果.

矩形薄板通透开裂缝对固有频率和模态的影响分析

针对四边固支矩形板薄受到通透开裂影响,引起模态中固有频率和模态振型变化的问题,对两种开裂位置中不同开裂长度进行了研究。首先,应用ANSYS软件建立有限元模型;然后,对开裂裂缝平行于薄板短边且位于板中心(对称开裂)和不位于板中心(不对称开裂)的各25种裂缝长度进行了仿真计算,获得了薄板的固有频率和模态振型。分析结果表明,裂缝的长度和位置影响矩形薄板的固有频率和振型;开裂的缝长和开裂中心位于节线上或者附近是产生模态交叉的两个重要因素,可为板结构开裂的检测提供依据。

基于卷积神经网络和交叉模型交叉模态方法的钢框架两阶段损伤识别研究

在结构损伤识别领域中,交叉模型交叉模态方法(CMCM)在求解含噪声的损伤识别问题时,受到系数矩阵不稳定的影响,往往导致损伤识别结果的精度下降。为了解决这一问题,提出了一种两阶段的损伤识别方法,旨在减少CMCM方法系数矩阵的冗余方程,提高CMCM方法的计算性能和噪声鲁棒性。首先,在第一阶段,通过卷积神经网络(CNN)进行结构损伤定位,以消除CMCM方法系数矩阵的冗余方程。其次,在第二阶段,求解已缩减的CMCM系数矩阵方程,得到更准确的损伤识别结果。通过数值和试验研究,验证了所提出的两阶段损伤识别方法的有效性,与传统的CMCM方法相比,所提方法在求解含噪声的损伤识别问题时,显著提高了损伤识别精度。

单层索网玻璃幕墙结构的风振响应频域计算方法研究

以随机振动理论为基础,采用频域法对单层索网结构风振响应进行了研究,主要探讨不同计算方法和空间相干函数的选取等问题对索网结构风振响应的影响.依据不同的计算方法和空间相干函数,建立了3种分析模式进行了分析.分析结果表明:对于频率密集的索网结构,需要考虑模态交叉项对计算结果的影响;空间相干函数的选取对计算结果影响较大,采用与风频率相干的空间相干函数更为合理.

一种新的子结构边界约束模型修正方法及其应用

子结构的边界约束状态不仅反映了其与整体结构的连接关系,而且与整体结构中该连接部位的健康状况紧密相关。为有效识别子结构的边界约束状态,基于交叉模型交叉模态(CMCM)理论,提出一种新的子结构边界约束模型修正方法。以某导弹发射台的局部子结构为对象,建立了子结构的边界约束模型,通过对边界约束刚度矩阵和质量矩阵进行修正,实现子结构边界约束状态的识别。同时,针对实测模态的不完备性以及测量噪声等问题,研究了联合基于摄动力的不完备模态扩充和截断广义奇异值技术(TGSVD)的CMCM病态方程组求解方法。最后,通过发射台局部子结构的数值仿真算例及试验分析,验证了所提方法的有效性。

基于Tikhonov正则化迭代求解的结构损伤识别方法

求解以结构物理与模态信息所构成的线性方程组,而获得结构的损伤位置和损伤程度,是进行结构损伤检测的一种常用做法。然而,在噪声影响下,其求解往往会出现振荡发散的情况,导致损伤检测结果不准确。Tikhonov正则化方法广泛应用于噪声条件下的线性系统求解,该方法执行的关键是选择合理的正则化矩阵及正则化参数。提出了一种迭代化的Tikhonov正则化方法,通过迭代的方式重构正则化矩阵,在充分抑制噪声的同时,保留了真实的损伤信息。同时,提出了奇异值二分法,自适应地调整正则化参数,避免了传统“L-曲线”方法选取正则化参数时需要进行大量试算等诸多问题。选取一海洋平台结构对提出方法的有效性进行验证,并与传统Tikhonov正则化方法进行对比,结果表明:提出的迭代型Tikhonov正则化方法具有更好的损伤识别结果。

基于CMSE理论和小生境遗传算法的结构多损伤检测方法研究

本文提供了一种基于交叉模态应变能简称CMSE(cross modal strain energy)和小生境遗传算法的结构多损伤位置和严重程度的有效检测方法。交叉模态应变能方法可以使用完好结构和损伤结构的任意一阶模态信息,并且可以使用极少量(例如只用一阶测量模态)的测量信息。不仅与传统的模态应变能方法相比有了很大的改进,而且对实际检测过程中的信息测量降低了要求。在损伤位置的检测中引入了小生境遗传算法,降低了计算量,提高了检测效率,有利于大型复杂结构的损伤位置检测。复合材料机翼盒段算例结果表明,CMSE方法与小生境遗传算法相结合是检测结构多损伤的有效方法之一。

基于CMSE理论和遗传算法的结构损伤检测方法研究

提供了一种基于交叉模态应变能(CMSE)的结构损伤位置和严重程度的有效检测方法。传统的模态应变能方法必须比较损伤结构和完好结构的同一阶模态信息,并且要求解析的和测量的模态在尺度上一致或者标准化,而CMSE方法没有这样的限制。在损伤位置的检测上引入了遗传算法,有利于大型复杂结构的损伤位置检测。算例采用了复合材料机翼盒段模型,结果表明,CMSE方法与遗传算法相结合是检测结构损伤的有效方法之一。

多源数据约束性融合的传感器网络安全预测模型

针对单一传感器数据存在信息不全面而无法真实反映网络安全态势的问题,提出一种多源数据约束性融合的传感器网络安全预测方法。首先,该方法采用卷积自编码网络对不同模态的异构数据进行统一维度的特征表示,能够解决传感器之间的异构性问题。其次,采用无监督交叉模态哈希检索方法对卷积自编码网络(Convolutional Auto-Encode,CAE)的参数进行校正,提取多种传感器数据的全局特征和局部特征,解决编码-解码过程的前后特征损失问题。最后,将回归二进制码与多模态数据特征进行加权融合,实现安全类别预测。实验表明,与融合了卷积神经网络(Convolutional Neural Networks,CNN)的格拉姆角场(Gramian Angular Field,GAF)算法相比,所提方法具有较好的健壮性。