微隧穿式陀螺仪检测模态的线性二次高斯控制

为了将微隧穿式陀螺仪(MTG)的隧尖与检测电极之间的隧道间隙及其变动量分别维持在1nm和0.1nm并降低系统噪声和扩大带宽,本文为其检测模态设计了线性二次高斯(LQG)闭环反馈系统。在利用微小量法对呈指数规律的隧道效应进行线性化的基础上,建立了MTG检测模态的线性化模型,并将哥氏加速度和电子隧道1/f噪声分别当作主要的过程噪声和输出噪声,设计了由最优状态估计器和线性二次(LQ)状态调节器组成的LQG控制器。搭建了仿真系统和实际的LQG控制电路并进行动态测试。仿真结果显示,LQG控制在将系统的信噪比提高24dB的同时,能够将两个隧道电极之间的间隙的变动量控制在10-4 nm。实验曲线表明,隧道电流噪声的峰峰值为0.4nA,LQG反馈控制系统在动态加速度信号的激励下可维持恒定隧道间隙为1nm。

CMHICL:基于跨模态分层交互网络和对比学习的多模态讽刺检测

多模态讽刺检测的关键在于有效地对齐和融合不同模态的特征。然而,现有融合方法通常忽略多模态间组成结构的关系,并且在识别讽刺时也经常忽略多模态数据中与讽刺情感相关的共同特征的重要性。因此,提出一种基于跨模态分层交互网络和对比学习的模型。首先,跨模态分层交互网络采用了基于交叉注意力机制的最小单元对齐模块和基于图注意力网络的组成结构融合模块,从不同层面上识别文本和图像之间的不一致性,将低一致性的样本判定为含讽刺意味的样本。其次,该模型通过数据增强和类别增强两个对比学习任务,帮助学习讽刺相关的共同特征。实验结果表明,所提模型与基线模型相比,准确率提升了0.81%,F_(1)值提升了1.6%,验证了提出的分层交互网络和对比学习方法在多模态讽刺检测中的关键作用。

基于多头注意力机制的多模态帕金森病安全检测系统

在实际的帕金森病远程诊断过程中,应用单模态数据检测帕金森病存在误诊率较高的问题,且远程诊断的安全性问题突出;为提高帕金森病远程诊断准确率与安全性,设计一种具有隐私保护功能的帕金森病多模态安全远程辅助检测系统;使用帕金森病语音和步态双模态数据,在传统卷积神经网络后融合多头注意力机制与多层感知机,有效提高模型的特征提取、融合与识别能力;为了保证数据传输过程的安全性,使用基于余弦混沌的差分隐私加噪方式扰动随机拆分的数据编号,提高帕金森病数据传输安全性;通过两模态消融实验和对比实验结果表明,提出的基于多头注意力机制的帕金森病多模态远程检测模型实际测试准确率达到0.913,且模型的各项评估指标和收敛速度等均高于传统模型,具备良好的帕金森病智能辅助检测效果,能够满足帕金森病早期智能安全筛查与诊断需求。

多模态部分伪造数据集的构建与基准检测

针对现有视频伪造数据集缺少多模态伪造场景与部分伪造场景的问题,构建一个综合使用多种音、视频伪造方法的、伪造比例可调的多模态部分伪造数据集PartialFAVCeleb。所提数据集基于FakeAVCeleb多模态伪造数据集,并通过拼接真伪数据构建,其中伪造数据由FaceSwap、FSGAN(Face Swapping Generative Adversarial Network)、Wav2Lip(Wave to Lip)和SV2TTS(Speaker Verification to Text-To-Speech)这4种方法生成。在拼接过程中,使用概率方法生成伪造片段在时域与模态上的定位,并对边界进行随机化处理以贴合实际伪造场景,并通过素材筛选避免背景跳变现象。最终生成的数据集对于每个伪造比例可产生3970条视频数据。在基准检测中,使用多种音视频特征提取器,并分别进行强、弱监督两种条件下的测试,其中弱监督测试基于层次多示例学习(HMIL)方法实现。测试结果显示,各个测试模型在伪造比例较低数据上的性能表现显著低于在伪造比例较高数据上的性能,且弱监督条件下各模型的性能表现显著低于强监督条件下的表现,这验证了该部分伪造数据集的弱监督检测困难性。以上结果表明,以所提数据集为代表的多模态部分伪造场景有充分的研究价值。

基于ASEC的多模态虚假新闻检测的研究

当前的新闻检测模型尚存在模态特征融合困难、不够准确等问题,针对这些问题融入用户社交特征,设计了一种ASEC融合模型。首先采用ALBERT和Swin transformer模型分别提取文本和图片特征,加入归一化处理的用户模态特征;然后通过co-attention注意力机制和ECANet注意力机制组成的ASCE将这三种模态进行融合,合理分配这三个特征的权重,经过全连接层实现检测;最后在Media Eval2015数据集上检测出虚假性的准确率为93.92%,精确率为94.07%,比起单一的机制融合多个模态,ASEC模型的准确率提升了3.35%。实验结果表明,使用所提出的检测虚假新闻算法模型,检测的准确率、精确度较高,能避免模态信息的损失,也能够更好地识别虚假新闻。

一种多模态隐喻数据集的构建和验证方法

隐喻的目的是启发理解、说服他人。目前,隐喻呈现文本、图像、视频等多模态融合的趋势,因此,识别多模态信息中蕴含的隐喻语义对互联网内容安全具有研究价值。由于缺乏多模态隐喻数据集,难以建立研究模型,因此,当前学者更关注基于文本的隐喻检测。针对这一不足,作者首先从图像-文本、隐喻出现、情感表达和作者意图等角度构建新型多模态隐喻数据集;其次,对数据集的标注者进行Kappa分数计算;最后,借助预训练模型和注意力机制融合图像属性特征、图像实体对象特征和文本特征,构建多模态隐喻检测模型,验证多模态数据集的质量和价值。实验结果表明:具有情感和意图表达的隐喻数据集可提升隐喻模型检测效果,多模态信息间相互关系有助于隐喻的理解。

双分支线索深度感知与自适应协同优化的多模态虚假新闻检测

深度学习方法促使多模态虚假新闻检测领域快速发展,现有的检测模型通常从全局角度学习新闻图文间的跨模态语义关联,并利用共享语义内容获取检测的关键信息.然而,新闻内部的局部语义差异可能会限制模型有效利用跨模态语义关联的能力,其中潜在的非共享语义内容作为重要线索能够有效揭示虚假新闻的篡改意图和目的.为了解决上述问题,本文提出了一种双分支线索深度感知与自适应协同优化的多模态虚假新闻检测模型.该模型首先从图像显著区域和文本语义单词中提取细粒度的新闻特征,并使用跨模态加权残差网络从中学习共享语义线索.同时,根据所有图像区域和文本单词之间的语义相关性,双分支图文线索感知模块显式地建模共享与非共享语义内容的语义关联.其中,线索关联优化分支对两类语义内容的关联边界持续迭代优化,促使模型准确区分非共享语义线索;线索关联分析分支刻画两类语义内容的可信程度,并在此基础上引导模型实现线索的自主融合.通过上述自适应协同优化框架,本文提出的模型能够在复杂新闻语境下进行线索的深度感知与融合,实现更准确、更可解释的多模态虚假新闻检测.在广泛使用的中英文真实数据集上的实验结果表明,本文提出的模型明显优于基线方法,在准确率和虚假新闻检测精确率上分别平均提高了4.85%和4.50%.

基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。

电力系统受迫振荡检测与自适应振荡抑制研究

电力系统受迫振荡的振荡频率与系统跨区域振荡模态接近,因而能够引发强烈振荡。文中提出了一种受迫振荡模态检测方法,其通过小信号分析方法得出系统在受迫扰动下对应受迫振荡模态的解析形式;同时提出一种不需要安装额外的功率振荡阻尼器的功率振荡阻尼控制策略,用于抑制受迫振荡以及跨区域振荡。通过改进的14机系统验证了文中方法的鲁棒性和优越性。仿真算例证明所提方法对于外界扰动具有较强鲁棒性,且较传统方法具有明显优越性。

人脸视频伪造检测技术进展与趋势

伪造与伪造检测之间作为动态的攻防关系,一方的进步会促使另一方进行技术上的迭代和升级。然而,随着AIGC技术的快速发展,逼真的伪造人脸视频可以欺骗人类视觉感知,人脸视频伪造检测技术已经落后于人脸视频伪造技术,伪造检测技术难以适应复杂的伪造场景,导致视频内容安全防护受到了重大挑战。因此,对于人脸视频伪造数据的检测,在国家和社会安全等方面具有重要的研究和应用价值,近年来已成为亟待研究的热点问题。在此背景下,通过探索评测基准客观量化、基准数据动态更新、应对新型伪造检测、伪造检测自主进化等方面的技术攻关,可以为人脸视频防伪领域提供新视角和发展方向,促进防伪检测技术的进一步发展。

基于改进EMD算法的谐波检测

针对经验模态分解(Empirical Mode Decomposition,EMD)容易出现端点效应的问题,提出一种基于极值延拓的方法对谐波电流信号进行端点处理,再进行时频分析的方法。首先采用极值延拓法对谐波信号进行端点延拓处理,然后对延拓后的信号进行EMD分解并得到一系列本征模态函数(Intrinsic mode function,IMF),最后对各IMF分量进行希尔伯特变换(Hilbert Transform,HT),得到各次谐波的频率和幅值。仿真结果表明,所提方法可有效改善EMD分解产生的端点效应,能够准确提取谐波信号的特征。

微电网谐波谐振的模态检测法研究

微电网技术正受到越来越广泛的关注,为保证微电网的安全稳定运行,采用恰当的谐波谐振检测方法十分重要。由于自身的技术特点,微电网谐波谐振问题呈现谐振构成原因复杂、谐振频率分布广、元件参数变化快的特点。传统电力系统谐波谐振检测方法存在分析速度慢、检测范围有限的缺点,难以适应微电网环境下的谐波谐振检测。模态分析法是一种新的谐振分析方法,提出将模态分析法应用于微电网谐波谐振检测中,新方法可快速检测出微电网中存在的所有谐波谐振频率及其出现位置,并能够适应微电网元件参数快速变化的特点。根据模态分析法的检测结果可有针对性地采取措施以改善谐波谐振危害。基于PSCAD的仿真结果表明所提出的方法是合理有效的。

光纤Bragg光栅传感技术用于应变模态检测

介绍了光纤Bragg光栅传感技术原理,阐述了基于光纤Bragg光栅传感技术和应变模态理论的损伤自诊断智能结构系统的原理,并进行了相关的实验研究。实验表明光纤Bragg光栅传感器抗干扰能力强,具有高灵敏度和长期稳定性,其作为应变测量的工具用于应变模态,进行结构损伤识别是可行的。

浅海环境中基于模态衰减规律加权的子空间检测方法

研究了使用垂直线列阵情况下,浅海环境中的模态空间检测器(modal space detector,MSD)的检测性能.推导了MSD的处理增益,结果表明其处理增益随波导环境中传播模态数的增多而减小,进而其检测性能也随之下降.利用各阶模态深度函数之间的正交性,将MSD分解为若干阶模态子空间检测器(modal subspace detector,MSSD).推导了各阶MSSD的处理增益,发现其随各阶模态衰减系数的增大而减小.根据各阶模态的衰减规律设计加权系数,提出一种加权模态子空间检测器(weighted modal subspace detector,WMSSD).以处理增益作为比较参量,通过理论和仿真实验分析了声源位置和声速剖面对WMSSD检测性能的影响.结果表明:(1)当声源位于负梯度声速波导的近海面区域和正梯度声速波导的近海底区域时,由于低阶模态深度函数存在反转点,WMSSD的处理增益弱于MSD,而当声源位于其他大部分观测区域时,WMSSD的处理增益都优于或显著优于MSD;(2)在等声速梯度波导中,各阶模态深度函数不存在反转点,在所有观测区域WMSSD的处理增益都显著优于MSD.

均值漂移在背景像素模态检测中的应用

自适应背景更新是视频序列运动分割中的重要步骤,而背景像素分布的不规律性是对背景进行更新的困难所在。本文首先对背景像素值分布的模态性特点进行描述,然后提出采用均值漂移(MeanShift)方法检测背景像素的模态数量,从而为背景建模提供依据,可以针对不同模态数量的背景像素采用不同的建模方法。这种基于背景像素模态分类的方法能够实现背景更新在精度和速度上的折中。

基于双模态控制信号检测的烟丝牌号站监控系统的研究

本文通过介绍烟丝牌号站的基本结构及功能等,分析了调整烟丝牌号时烟丝牌号站监控系统的重要性及信号判断的复杂性,提出了一种基于双模态控制信号检测的烟丝牌号站监控系统。该系统可准确判断管道连接状态,进行信息监控及故障诊断,可缩短判断及处理时间。实践结果证明,该系统准确、有效,具有很好的实用价值。

基于神经网络的多模态故障检测

研究了使用RBF网络进行多模态辨识的结构和其在多模态故障检测中的应用。在信号满足持续激励的条件下 ,状态估计误差渐进趋向于零 ,辨识器的参数估计能够达到满意的效果。使用多个神经网络辨识器 。

基于高斯分量标准化的K近邻故障检测策略

针对复杂多工况工业过程故障检测问题,提出一种基于高斯分量标准化的K近邻(Gaussian Component Standardization K-Nearest Neighbor,GCS-KNN)故障检测策略。样本数据应用高斯混合模型(Gaussian Mixture Model,GMM)进行训练,将数据分解为多个高斯分量;通过每个高斯分量的均值和协方差对该分量内的数据进行标准化处理;应用K近邻(K-Nearest Neighbor,KNN)算法对标准化后的样本进行检测。GCS-KNN通过高斯分量标准化消除数据的多模态特性,提高传统基于KNN检测方法的检测率。利用数值例子和半导体工业过程仿真实验验证了该方法的有效性,并与传统的主元分析(Principal Component Analysis,PCA)、KNN、动态主元分析(Dynamic PCA,DPCA)和加权KNN(Weighted KNN,WKNN)等方法进行对比,结果证实此方法具有显著的优势。

基于LPP特征空间重构的故障检测策略

针对多模态工业过程数据中存在方差差异显著的问题,提出了一种基于LPP特征空间重构的故障检测策略.首先,采用局部保持投影对过程数据进行降维处理,去除数据的冗余信息和噪声,降低计算复杂度;其次,将变分高斯混合模型应用于过程数据,确定操作模式的数量,并对每种模式下的数据进行聚类;再次,将每种模式下的数据利用所属模式的信息进行标准化处理,去除数据的多模态特征;最后,使用统计量T^(2)对过程进行监控.通过一个多模态数值例子和半导体蚀刻过程验证了所提方法的有效性.

结合分层深度网络与双向五元组损失的跨模态异常检测

大数据环境下的跨模态异常检测是一个非常有价值且极具挑战性的工作.针对目前已有跨模态异常检测框架对数据异常值类型检测不全面以及数据利用率较低的问题,提出了一个结合分层深度网络与相似度双向五元组损失的跨模态异常检测方法.首先,提出的框架引入一个单视图异常检测网络层,通过模态内近邻样本相似度来检测数据样本中是否存在属性异常与部分属性类别异常点;接着,提出基于相似度双向五元组损失的双分支深度网络用于检测数据中的类别异常与剩余部分的属性类别异常,该损失一方面能够使不同属性数据正交化,另一方面使得相同属性数据之间线性相关,从而有效地加大了不同属性数据之间的特征差异性,以及增加了相同属性之间的特征相关性;同时,提出的双分支网络通过模态间双向约束和模态内的邻域约束,极大提高了数据利用率和模型的泛化能力.实验结果表明,所提出的框架可以全面检测出不同模态中所有的异常类型样本点,并且表现优于现有的可应用于跨模态异常检测的方法,优势明显.