期刊文献+
共找到404篇文章
< 1 2 21 >
每页显示 20 50 100
Damage Identification under Incomplete Mode Shape Data Using Optimization Technique Based on Generalized Flexibility Matrix
1
作者 Qianhui Gao Zhu Li +1 位作者 Yongping Yu Shaopeng Zheng 《Journal of Applied Mathematics and Physics》 2023年第12期3887-3901,共15页
A generalized flexibility–based objective function utilized for structure damage identification is constructed for solving the constrained nonlinear least squares optimized problem. To begin with, the generalized fle... A generalized flexibility–based objective function utilized for structure damage identification is constructed for solving the constrained nonlinear least squares optimized problem. To begin with, the generalized flexibility matrix (GFM) proposed to solve the damage identification problem is recalled and a modal expansion method is introduced. Next, the objective function for iterative optimization process based on the GFM is formulated, and the Trust-Region algorithm is utilized to obtain the solution of the optimization problem for multiple damage cases. And then for computing the objective function gradient, the sensitivity analysis regarding design variables is derived. In addition, due to the spatial incompleteness, the influence of stiffness reduction and incomplete modal measurement data is discussed by means of two numerical examples with several damage cases. Finally, based on the computational results, it is evident that the presented approach provides good validity and reliability for the large and complicated engineering structures. 展开更多
关键词 Generalized Flexibility Matrix Damage Identification Constrained Nonlinear Least Squares Trust-Region Algorithm Sensitivity Analysis Incomplete modal data
下载PDF
DAMAGE DETECTION IN BUILDINGS USING A TWO-STAGE SENSITIVITY-BASED METHOD FROM MODAL TEST DATA
2
作者 ZhuHongping ChenXiaozhen ChenChuanyao 《Acta Mechanica Solida Sinica》 SCIE EI 2005年第2期150-156,共7页
Many multi-story or highrise buildings consisting of a number of identical stories are usually considered as periodic spring-mass systems. The general expressions of natural frequencies, mode shapes, slopes and curvat... Many multi-story or highrise buildings consisting of a number of identical stories are usually considered as periodic spring-mass systems. The general expressions of natural frequencies, mode shapes, slopes and curvatures of mode shapes of the periodic spring-mass system by utilizing the periodic structure theory are derived in this paper. The sensitivities of these mode parameters with respect to structural damages, which do not depend on the physical parameters of the original structures, are obtained. Based on the sensitivity analysis of these mode parameters, a two-stage method is proposed to localize and quantify damages of multi-story or highrise buildings. The slopes and curvatures of mode shapes, which are highly sensitive to local damages, are used to localize the damages. Subsequently, the limited measured natural frequencies, which have a better accuracy than the other mode parameters, are used to quantify the extent of damages within the potential damaged locations. The experimental results of a 3-story experimental building demonstrate that the single or multiple damages of buildings, either slight or severe, can be correctly localized by using only the slope or curvature of mode shape in one of the lower modes, in which the change of natural frequency is the largest, and can be accurately quantified by the limited measured natural frequencies with noise pollution. 展开更多
关键词 damage localization damage quantification sensitivity modal test data
下载PDF
桥梁健康监测数据的质量评估方法研究 被引量:2
3
作者 殷鹏程 龙清春 +1 位作者 单德山 曹阳梅 《公路工程》 2024年第2期1-6,45,共7页
桥梁健康监测数据的挖掘和分析工作只有在整体数据质量符合基本要求的有效数据基础上进行,才能保障如模态参数识别、损伤识别和状态评估等后续工作的准确性。因此,基于量化改进的探索性分析方法(Exploratory Data Analysis,EDA)和相关... 桥梁健康监测数据的挖掘和分析工作只有在整体数据质量符合基本要求的有效数据基础上进行,才能保障如模态参数识别、损伤识别和状态评估等后续工作的准确性。因此,基于量化改进的探索性分析方法(Exploratory Data Analysis,EDA)和相关性分析从数据完整性、准确性和一致性的角度建立了桥梁健康监测静、动态数据的质量评估方法。对某大跨度斜拉桥健康监测系统的静、动态数据进行质量评估,通过对比分析了不同评估质量的温度数据、静挠度数据和不同评估质量的主梁竖向加速度动力信号的模态参数识别的稳定图,验证了所提方法的正确性。结果表明,所提评估方法能够快速有效地判断数据质量的好坏,进而确保桥梁结构的服役性能评估和预测的准确性,有利于提高健康监测数据的可用性和效能。 展开更多
关键词 健康监测 数据质量评估 探索性数据分析 模态参数识别
下载PDF
多模态数据融合的加工作业动态手势识别方法
4
作者 张富强 曾夏 +1 位作者 白筠妍 丁凯 《郑州大学学报(工学版)》 CAS 北大核心 2024年第5期30-36,共7页
为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像... 为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。 展开更多
关键词 多模态数据融合 加工作业 动态手势识别 C3D Mish激活函数 人机交互
下载PDF
多源异构数据融合关键技术与政务大数据治理体系 被引量:8
5
作者 闫佳和 李红辉 +4 位作者 马英 刘真 张大林 江周娴 段宇航 《计算机科学》 CSCD 北大核心 2024年第2期1-14,共14页
随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融... 随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。 展开更多
关键词 多源异构数据 多模态数据融合 数据治理技术 政务大数据 大数据治理流程
下载PDF
融合多模态数据的小样本命名实体识别方法 被引量:1
6
作者 张天明 张杉 +2 位作者 刘曦 曹斌 范菁 《软件学报》 EI CSCD 北大核心 2024年第3期1107-1124,共18页
作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成... 作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以有效地评估辅助模态中不同样本的差异性以及衡量样本对模型的有益程度.最后,在真实的单模态和多模态数据集上进行了大量的实验.实验结果验证了该方法的预测F1值比基准方法至少提升了10%,并具有良好的泛化性. 展开更多
关键词 命名实体识别 多模态数据 小样本学习 元学习 去噪网络
下载PDF
基于多模态神经网络的微地震事件检测
7
作者 张岩 刘小秋 +2 位作者 王海潮 宋利伟 董宏丽 《石油物探》 CSCD 北大核心 2024年第4期790-806,共17页
针对微地震有效信号时序特征存在的局限导致微地震事件识别准确率不高的问题,提出了一种基于多模态学习的神经网络微地震事件检测方法。首先,利用道集数据的相关性以目标道为轴对称制作多道时域模态,对目标道进行时频分析得到S域模态特... 针对微地震有效信号时序特征存在的局限导致微地震事件识别准确率不高的问题,提出了一种基于多模态学习的神经网络微地震事件检测方法。首先,利用道集数据的相关性以目标道为轴对称制作多道时域模态,对目标道进行时频分析得到S域模态特征;然后,联合时域模态和S域模态设计微地震事件检测神经网络,综合多模态的特征进行训练学习,提高微地震事件识别的精度;最后,为验证方法的有效性,对合成微地震信号进行低信噪比数据分析、小幅值数据分析以及实际油井微地震监测信号事件分析。结果表明,该方法可以有效检测低信噪比及微弱的微地震事件;与支持向量机、卷积神经网络、基于监督机器学习方法的对比实验结果表明该方法具有更高的抗噪性与准确率。 展开更多
关键词 微地震 事件检测 拉普拉斯变换 多模态网络 时频谱 道集数据相关性
下载PDF
大数据环境下多模态融合的大学生异常行为预警 被引量:1
8
作者 王玉标 陶八梅 +1 位作者 李珩 陶志红 《计算机系统应用》 2024年第1期167-176,共10页
针对“校园大数据”累积的海量数据呈现出离散性、稀疏性等问题,如何从基数大、活动广、个性强的校园学生群体中检测出潜在的、有异常行为的学生,已成为学生异常行为分析亟需解决的问题.本文提出了一种大数据环境下基于多模态融合的大... 针对“校园大数据”累积的海量数据呈现出离散性、稀疏性等问题,如何从基数大、活动广、个性强的校园学生群体中检测出潜在的、有异常行为的学生,已成为学生异常行为分析亟需解决的问题.本文提出了一种大数据环境下基于多模态融合的大学生异常行为预警方法(early warning method for abnormal behavior of college students based on multi-modal fusion in big data environment,EWMAB).首先,针对学生行为画像的表征不够丰富,行为标签存在时效性、动态性等问题,建立一种基于多模态特征深度学习的跨模态学生行为画像模型;其次,针对学生异常行为预测、预警的时效性和后置性问题,在学生行为画像和学生行为分类预测基础上,提出了一种基于多模态融合的学生异常行为预警方法,通过长短期记忆神经网络(long and short term memory networks,LSTM),结合学生行为多指标数据和文本信息来解决学生异常行为预警问题;最后,本文通过应用实例验证模型以学生学习成绩异常预警为例,与其他预警算法相比,EWMAB方法可以提高预警的准确性,实现学生异常行为预警的时效性和前置性,从而使学生教育工作更具有针对性、个性化和预测性. 展开更多
关键词 教育大数据 学生行为画像 多模态融合 异常行为预警 分类预测
下载PDF
基于可泛化模型的复杂商务场景数据分析
9
作者 史颖欢 郭金涛 +2 位作者 李泽昆 祁磊 高阳 《中国科学基金》 CSSCI CSCD 北大核心 2024年第5期762-772,共11页
随着全球经济合作与竞争形势的快速发展,复杂商务场景日益涌现。其中,数据的规模和复杂性也呈现显著增长,在带来可利用数据资源的同时,也为有效挖掘和分析潜在商务模式带来挑战。本文首先针对复杂商务场景下的数据特点进行分析,其次调... 随着全球经济合作与竞争形势的快速发展,复杂商务场景日益涌现。其中,数据的规模和复杂性也呈现显著增长,在带来可利用数据资源的同时,也为有效挖掘和分析潜在商务模式带来挑战。本文首先针对复杂商务场景下的数据特点进行分析,其次调研了商务分析方法的研究进展,包括:大规模商务数据集、多模态预训练与特征融合方法以及多场景下可泛化商务模型技术。此外,对复杂商务场景数据分析在未来的应用发展进行思考与总结,讨论了目前亟需解决的关键问题,包括:对更多模态的适应性、商务分析模型可解释性、动态环境下的分布变化鲁棒性等。进一步分析了复杂商务场景可泛化模型的研究现状和挑战,旨在为复杂商务分析领域的研究提供初步参考,实现复杂商务场景的全面智能化。 展开更多
关键词 商务场景 可泛化数据分析 深度学习 多模态融合
下载PDF
面向垂直行业定制的多模态网络编程技术
10
作者 胡宇翔 崔子熙 +2 位作者 田乐 崔鹏帅 季新生 《信息通信技术》 2024年第4期51-56,共6页
多模态网络(Polymorphic Network,PINet)支持多种用户服务在统一的物理环境中共存,实现用户定制的多样化网络协议和能力等。文章以增量式、全维度、一体化和高安全的网络编程为目标,提出一种多模态网络的编程系统方案和运行逻辑,探讨关... 多模态网络(Polymorphic Network,PINet)支持多种用户服务在统一的物理环境中共存,实现用户定制的多样化网络协议和能力等。文章以增量式、全维度、一体化和高安全的网络编程为目标,提出一种多模态网络的编程系统方案和运行逻辑,探讨关键技术包括网络模态生成、安全功能验证和流水线柔性编译等,为各种网络模态的灵活、快速部署提供一种可行的方案。 展开更多
关键词 编程模型 多模态网络 可编程数据平面 增量式编程 网络模态
下载PDF
基于多模态大数据的国家安全风险态势感知模型构建 被引量:3
11
作者 王明程 李勇男 《情报杂志》 CSSCI 北大核心 2024年第2期103-109,共7页
[研究目的]为强化国家安全情报能力,推动风险监测预警能力提升,构建基于多模态大数据的国家安全风险态势感知模型。[研究方法]该文对国家安全风险态势感知进行阐释,并分析多模态大数据驱动下的国家安全风险态势感知运作逻辑;在此基础上... [研究目的]为强化国家安全情报能力,推动风险监测预警能力提升,构建基于多模态大数据的国家安全风险态势感知模型。[研究方法]该文对国家安全风险态势感知进行阐释,并分析多模态大数据驱动下的国家安全风险态势感知运作逻辑;在此基础上,构建态势感知模型并解析其内涵。[研究结论]该模型集国家安全风险态势察觉、态势理解、态势预测及态势投射为一体,其构建可为强化国家安全风险监测预警能力提供参考,为服务国家治理体系和能力现代化建设提供支撑。 展开更多
关键词 国家安全 国家安全情报 国家安全风险 风险态势感知 风险监测 多模态大数据
下载PDF
阿尔茨海默病的图神经网络分类方法研究进展
12
作者 顾宇衡 潘嘉诚 +1 位作者 钱江波 董一鸿 《计算机工程》 CAS CSCD 北大核心 2024年第10期35-50,共16页
阿尔茨海默病(AD)是一种不可逆的神经退行性疾病,会导致认知能力的逐渐下降。AD症状的演变过程可能很长,在不同的神经成像模式中可检测到脑区生物标志物的细微变化,但其早期检测具有挑战性。由于神经成像数据的高度复杂性和大脑网络的... 阿尔茨海默病(AD)是一种不可逆的神经退行性疾病,会导致认知能力的逐渐下降。AD症状的演变过程可能很长,在不同的神经成像模式中可检测到脑区生物标志物的细微变化,但其早期检测具有挑战性。由于神经成像数据的高度复杂性和大脑网络的不规则性,传统的机器学习和深度神经网络模型存在许多不足,开发基于图神经网络(GNN)的计算机辅助诊断(CAD)模型可以为分析非欧几里得空间的神经影像模式以及探究生物标志物提供极大帮助。首先,对基于GNN分类方法的AD预测进行详细的调研和概述。然后,从基于单模态数据和基于多模态数据两个视角进行梳理,重点介绍和分析这些方法在单模态和多模态数据应用场景中的数据提取、脑网络建模、特征学习、信息融合等过程,并评述部分方法的性能。最后,针对GNN应用于AD诊断的主要挑战和未来研究方向进行了展望,为AD辅助诊断的进一步研究提供有益的建议。 展开更多
关键词 图神经网络 阿尔茨海默病 辅助诊断 神经成像 多模态数据
下载PDF
基于大语言模型和社交媒体数据的城市公园公众活动丰富度测度——以上海为例
13
作者 仲玥 刘雨轩 叶宇 《风景园林》 北大核心 2024年第9期34-41,共8页
【目的】基于社交媒体数据的公园研究已成为热点。然而,既有研究依赖单模态数据和自然语言处理(natural language processing,NLP)技术,研究结果的精确度有待提升。随着大语言模型(large language models,LLM)的发展,分析社交媒体数据... 【目的】基于社交媒体数据的公园研究已成为热点。然而,既有研究依赖单模态数据和自然语言处理(natural language processing,NLP)技术,研究结果的精确度有待提升。随着大语言模型(large language models,LLM)的发展,分析社交媒体数据可实现更精确的城市公园公众活动丰富度解析。【方法】先利用LLM解析包含文本、图像和视频的多模态社交媒体数据,再运用聚类算法探究用户的情感倾向和活动丰富度,生成活动热力图,构建公园公众活动丰富度的量化方法。【结果】以传统问卷方法为参照标准,对比分析发现基于多模态数据的LLM分析法的准确性远优于单模态数据分析法,证实了研究方法的有效性。并将LLM分析法应用于上海外环内的20个城市公园,构建出大规模、高精度的公园公众活动丰富度的全景测度方法。【结论】创新性地利用LLM和多模态社交媒体数据分析城市公园公众活动丰富度,有利于推动人工智能在城市研究领域的学术发展和应用。 展开更多
关键词 风景园林 城市公园 公众活动丰富度 大语言模型 多模态数据 社交媒体数据
下载PDF
复杂场景下多模态点云数据配准技术
14
作者 付超 夏佳毅 +2 位作者 解琨 吴大鹏 付沁珵 《测绘通报》 CSCD 北大核心 2024年第6期146-150,共5页
针对复杂环境下多模态点云数据获取难,以及对点云数据配准、三维模型构建精度的要求越来越高的情况。本文以南通大剧院实景三维建模为例,当初始点云和校准点云两组多模态融合点云位置差较大时,采用ICP算法进行点云配准易导致局部最优问... 针对复杂环境下多模态点云数据获取难,以及对点云数据配准、三维模型构建精度的要求越来越高的情况。本文以南通大剧院实景三维建模为例,当初始点云和校准点云两组多模态融合点云位置差较大时,采用ICP算法进行点云配准易导致局部最优问题,利用所提出的基于控制点辅助约束的最近点迭代(CPA-ICP)算法通过对点云数据进行配准,并与其他3种点云配准算法的试验进行对比,可知该方法的配准精度和配准效率较高,对复杂场景下的多模态点云数据融合有较好的参考意义。 展开更多
关键词 复杂场景 多模态点云 联合定向匹配 CPA-ICP算法 数据融合
下载PDF
多任务协同的多模态遥感目标分割算法
15
作者 毛秀华 张强 +1 位作者 阮航 杨雨昂 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第8期3363-3371,共9页
利用语义分割技术提取的高分辨率遥感影像目标分割具有重要的应用前景。随着多传感器技术的飞速发展,多模态遥感影像间良好的优势互补性受到广泛关注,对其联合分析成为研究热点。该文同时分析光学遥感影像和高程数据,并针对现实场景中... 利用语义分割技术提取的高分辨率遥感影像目标分割具有重要的应用前景。随着多传感器技术的飞速发展,多模态遥感影像间良好的优势互补性受到广泛关注,对其联合分析成为研究热点。该文同时分析光学遥感影像和高程数据,并针对现实场景中完全配准的高程数据不足导致两类数据融合分类精度不足的问题,提出一种基于多模态遥感数据的多任务协同模型(UR-PSPNet),该模型提取光学图像的深层特征,预测语义标签和高程值,并将高程数据作为监督信息嵌入,以提升目标分割的准确性。该文设计了基于ISPRS的对比实验,证明了该算法可以更好地融合多模态数据特征,提升了光学遥感影像目标分割的精度。 展开更多
关键词 语义分割 遥感影像 多模态 深度学习 高程估计
下载PDF
基于MRI影像和临床参数特征融合的深度学习模型预测术前肝细胞癌的细胞角蛋白19状态
16
作者 方威扬 肖慧 +2 位作者 王爽 林晓明 陈超敏 《南方医科大学学报》 CAS CSCD 北大核心 2024年第9期1738-1751,共14页
目的探索并建立深度学习模型,验证MRI影像深度学习特征结合临床显著性特征在术前预测肝细胞癌(HCC)的细胞角蛋白19(CK19)状态上的可行性。方法收集116例已证实CK19状态的HCC患者数据进行回顾性实验。基于增强MRI影像的肝胆期(HBP)和扩... 目的探索并建立深度学习模型,验证MRI影像深度学习特征结合临床显著性特征在术前预测肝细胞癌(HCC)的细胞角蛋白19(CK19)状态上的可行性。方法收集116例已证实CK19状态的HCC患者数据进行回顾性实验。基于增强MRI影像的肝胆期(HBP)和扩散加权成像(DWI)序列,以及统计学分析筛选的与CK19状态显著相关的临床参数特征,建立了单序列多尺度特征融合模型(MSFF-IResnet)和多尺度多模态特征融合模型(MMFF-IResnet)。通过模型间的分类性能对比评估,突出深度学习模型对于术前预测HCC的CK19状态的有效性。结果多变量分析显示,升高的NLR值(P=0.029)和不完整的肿瘤包膜(P=0.028)是CK19表达的独立预测因子。多尺度特征融合和多模态特征融合方法改进后的深度学习模型均取得了优于传统机器学习模型和基线模型的分类结果,且最终的MMFF-IResnet表现出最佳的分类性能,其AUC为84.2%、准确度为80.6%,敏感度为80.1%,特异度为81.2%。结论本研究建立的基于MRI影像和临床参数的多尺度和多模态特征融合模型成功预测了HCC的CK19状态,验证了深度学习方法结合MRI影像和临床参数在术前预测CK19状态上的可行性。 展开更多
关键词 深度学习 MRI影像 细胞角蛋白19 多尺度特征融合 多模态数据
下载PDF
基于多模态大语言模型的攻击性模因解释生成方法 被引量:1
17
作者 林萌 戴程威 郭涛 《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1206-1217,共12页
随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了... 随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能. 展开更多
关键词 攻击性模因 解释生成 多模态大语言模型 数据增强 指令微调
下载PDF
基于多模态数据融合的飞行员注视区域分类
18
作者 段高乐 王长元 +1 位作者 吴恭朴 王红艳 《计算机系统应用》 2024年第11期1-14,共14页
为了解决图像采集过程中眼图消失和头部姿态估计不准确的问题,利用基于非接触式的眼部信息获取方法采集人脸图像,从单个图像帧中确定飞行员当前的注视方向.同时,针对现有网络忽略头部运动对视线造成遮挡所导致的分类效果不佳问题,结合... 为了解决图像采集过程中眼图消失和头部姿态估计不准确的问题,利用基于非接触式的眼部信息获取方法采集人脸图像,从单个图像帧中确定飞行员当前的注视方向.同时,针对现有网络忽略头部运动对视线造成遮挡所导致的分类效果不佳问题,结合人脸图像与头部姿态特征,通过改进的MobileViT模型提出一种用于飞行员注视区域分类的多模态数据融合网络.首先提出了多模态数据融合模块解决特征拼接过程中尺寸不平衡导致的过拟合问题,其次提出一种基于并行分支SE机制的逆残差块,充分利用网络浅层的空间和通道特征信息,并结合Transformer的全局注意力机制捕捉多尺度特征.最后,重新设计了Mobile Block结构,使用深度可分离卷积降低模型复杂度.利用自制数据集FlyGaze对新模型和主流基线模型进行对比,实验结果表明, PilotT模型对注视区域0、3、4、5的分类准确率均在92%以上,且对人脸发生偏转的情况具有较强适应力.研究结果对提升飞行训练质量以及飞行员意图识别和疲劳评估具有实际应用价值. 展开更多
关键词 注视区域分类 并行分支SE机制 MobileViT 多模态数据融合
下载PDF
基于AEEMD和改进DATA-SSI算法的桥梁结构模态参数自动化识别 被引量:6
19
作者 徐健 周志祥 +1 位作者 赵丽娜 何杰 《土木工程学报》 EI CSCD 北大核心 2017年第7期87-98,共12页
模态参数作为桥梁结构最重要的动力参数之一,在实际运用中,可通过监测其变化情况来辨识结构的使用性能,精确地参数识别对保障桥梁健康运营具有十分重要的意义。鉴于此,该文对现阶段常用的振动信号降噪处理算法和模态参数识别算法进行了... 模态参数作为桥梁结构最重要的动力参数之一,在实际运用中,可通过监测其变化情况来辨识结构的使用性能,精确地参数识别对保障桥梁健康运营具有十分重要的意义。鉴于此,该文对现阶段常用的振动信号降噪处理算法和模态参数识别算法进行了相应的改进。一方面,提出一种新的信号自适应分解与重构算法,即自适应总体平均经验模态分解算法(AEEMD),该算法相比总体平均经验模态分解算法(EEMD)而言,能够根据信号的自身特征自动化确定添加白噪声的幅值标准差和集成平均次数;能更好地处理端点效应;同时还能够保证所得本征模态函数之间不存在模态混叠现象;最终实现有效IMF分量的自动化筛选和信号重构。另一方面,将多维数据聚类分析算法引入随机子空间算法中,并以频率值、阻尼比以及振型系数为因子建立判别矩阵,以智能化区分虚假模态和真实模态,最终实现模态参数自动化识别。文章最后分别用模拟信号和实际桥梁测试信号对所提算法的有效性进行验证,结果表明,该文所提算法能运用于实际桥梁结构的模态参数自动化识别。 展开更多
关键词 桥梁结构 EEMD 信号分解 data—SSI 模态参数 自动化识别
下载PDF
半配对的多模态询问哈希方法
20
作者 庾骏 马江涛 +2 位作者 咸阳 侯瑞霞 孙伟 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第2期481-491,共11页
多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成... 多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence,NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。 展开更多
关键词 多模态信息检索 哈希 半配对数据 跨模态重建 二值化编码
下载PDF
上一页 1 2 21 下一页 到第
使用帮助 返回顶部