多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

基于多层级语言特征融合的中文文本可读性分级模型

中文文本可读性分级任务的目标是将中文文本按照其可读性划分到相应的难度等级。近年来研究表明,语言特征与深度语义特征在表征文章难度上体现出互补性。但已有的工作仅对两类特征进行浅层融合,尚未考虑将语言特征和深度模型进行深层、多层级融合。因此,该文在基于BERT的传统文本可读性分级模型的基础上,设计多层级语言特征融合方法,考虑到不同语言特征和网络层结构的交互,将汉字、词汇和语法的语言特征与模型的嵌入层和自注意力层进行融合。实验结果显示,该文的方法在中文文本可读性分级任务上的效果超过了所有基线模型,并在测试集上达到94.2%的准确率。

基于N-gram模型的多层融合气象灾害预警文本检验方法

气象灾害预警信息是直接对政府部门和公众进行发布的重要内容,是综合防灾减灾的第一道防线。为提升气象预警信息发布的质量,提出了气象预警文本质量检验模型。通过对全国气象历史预警信息内容进行特征分析,设计了适合气象预警信息特征的多模式融合分词方法,进而建立了预警专业语料库;研发了以归一化N-gram检验模型为主,以字序列组合检验模型为辅的多级检验模型。该模型已在国家突发事件预警信息发布系统中应用,辅助提高了人工预警审核效率,获得了较好的应用效果。

多源信息融合研究进展综述

多源信息融合是指将来自多个不同来源的数据和信息整合、分析和处理,以提高决策的准确性和效率。随着信息技术和数据采集技术的飞速发展,不同机构和组织获取和管理大量的数据和信息,这些数据和信息往往具有不同的格式、结构、精度和可靠性。因此,如何有效地整合和利用这些数据和信息成为了一个重要的问题。为此,对多源信息融合的功能模型、层次结构和系统结构进行研究,并重点梳理了多源信息融合中的方法,包括估计理论方法、不确定性推理方法和人工智能方法。详细介绍了这些方法的特点和应用现状,以帮助读者深入了解和掌握这些方法。最后,通过总结多源信息融合未来可能的发展趋势,为相关领域的研究和应用提供参考依据。

基于两级信息融合的隧道掘进机拆装装置作业安全预警模型

为了能对隧道掘进机(tunnel boring machine,TBM)拆装装置作业时的安全做出有效预警,通过研究两级信息融合建立最优的安全预警模型,为TBM拆装装置吊装作业提供安全保障。一级融合将数据通过层次分析法-熵权法算法融合得出安全状态系数;二级融合建立灰色模型(grey model,GM)、差分自回归移动平均(autoregressive integrated moving average model,ARIMA)、长短期记忆网络(long short-term memory,LSTM)模型,通过3个单项预测模型构建4个简单平均组合模型和4个最优加权组合模型,对拆装装置作业时的安全状态系数进行预测分析,通过相关系数R、平均绝对误差(mean absolute error,MAE)、平均相对误差(mean absolute percentage error,MAPE)、均方根误差(root mean square error,RMSE)4个评价指标以及后期预测数据的相对误差对预测模型精度进行比较,选出最优组合模型。结果表明:最优加权组合模型的评价指标、后期数据相对误差、模型拟合效果明显优于单项与简单平均模型;通过两级信息融合,构建了权重为(0.21,0.10,0.69)的TBM拆装装置作业时的最优加权组合预警模型GM-ARIMA-LSTM。可见创建的二级信息融合安全预警模型在TBM拆装装置作业时能有效判断装置的安全状态,对危险做出及时预警。

信息融合背景下的网络安全态势感知模型及关键技术分析

本文基于信息融合构建的网络安全态势感知模型,可通过态势信息的采集、预处理、信息融合与态势评估,超前识别入侵事件,并对入侵事件的发展态势作出准确预测,以便于网络管理员提前采取预防措施,达到防患于未然的效果,维护网络资产设备的安全。在网络安全态势感知与评估中,主要应用到了Hyperic-Sigar态势信息收集技术、NSSAP数据交换技术、决策级数据融合技术以及基于矩阵法的网络安全态势评估技术等关键技术。

融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法,该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪,有效地解决了过去研究中准确率低、模型鲁棒性差的问题.对于语音信号,本文设计了一个轻量级全卷积神经网络,该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势.对于脑电信号,本文提出了一个树状LSTM模型,可以全面学习每个阶段的情绪特征.对于人脸信号,本文使用GhostNet进行特征学习,并改进了GhostNet的结构使其性能大幅提升.此外,我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合,从而得到更全面、更准确的结果.上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率,且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率.我们的实验结果表明,与使用单一模态以及传统的融合方式进行情绪识别相比,本文提出的多模态情绪识别方法有效地提高了识别准确率.

基于红外与可见光图像信息融合的绝缘子污秽等级识别

绝缘子污秽等级的准确识别是污闪防治的有效途径。红外和可见光图像分别表征了污秽绝缘子的表面温度和色彩分布,可从不同角度反映绝缘子的污秽状态,该文提出了基于红外和可见光图像信息融合的绝缘子污秽等级识别方法。建立并求解了湿污绝缘子发热数学模型,得到了绝缘子表面温度分布;通过实验获取绝缘子红外及可见光图像,经图像分割后,提取了绝缘子盘面红外与可见光特征并用Fisher判别法进行选择;将选出的特征与环境湿度、照度组合成为特征向量,并使用贝叶斯决策理论对其进行特征级信息融合,识别绝缘子污秽等级;最后对现场样本进行了识别。实验结果显示,图像信息融合提高了绝缘子污秽等级识别准确率,现场测试结果准确,为准确识别现场绝缘子污秽等级提供了新方法。

遥感图像像素级融合方法的建模与分析

遥感图像像素级融合方法众多,但缺乏统一的定义,使得各种方法的差异不明确,不利于有针对性的应用;各种方法的融合质量差异悬殊,缺乏选用合适融合方法的理论指导,往往只能根据操作者的经验进行判断。为此,本文首先对融合方法的一般处理过程进行建模,提出了基于融合过程中图像信息表示的遥感图像融合方法的形式化定义RSPF;然后,基于RSPF从理论上分析了现有融合方法的融合质量差异;最后,通过实验定量分析了各种典型融合方法的融合质量。结果表明,融合过程中图像信息的表示形式是影响融合质量的关键因素。

基于人脸图像的年龄估计

年龄是人固有的生物特征,随着年龄的变化,人脸特征也不断变化。近年来基于人脸图像的年龄估计方法的研究不断深入。基于人脸图像的年龄估计主要有两个阶段:特征提取和估计方法。针对以上两个阶段,分别提出相应的方法。在特征提取方面,为了更好地描述年龄变化,特别是针对未成年人,引入了方向梯度直方图(Histogram of Oriented Gradient,HOG)特征,并将其与局部二元模式(Local Binary Pattern,LBP)特征进行融合;在估计方法方面,提出了软双层估计模型,其采用由粗到细的策略。首先,在第一层将人脸分成"未成年人"与"成年人"两类;然后,在第二层通过在两类的边界设置重叠区域,分别对其建立年龄估计模型,以对第一层的错误分类进行补救。通过实验发现,融合的特征具有更强的年龄判别性,同时,软双层模型也进一步提高了年龄估计的准确度。

融合卡尔曼滤波的高速公路状态估计误差界限分析

为分析高速公路交通流检测数据质量,本文构建平方流量误差界(Squared FlowError Bound,SFEB)和扩展卡尔曼滤波(Extended KalmanFilter,EKF)的决策级融合模型SFEB-EKF,在检测器空间覆盖不足情况下,计算检测路段和无检测器路段的交通状态估计误差界限。与SFEB算法相比,融合模型利用EKF交通状态估计模型估计全路段交通状态,基于得到的估计样本计算全路段交通状态估计误差下界。同时,采用最近邻法(Nearest NeighborMethod,NNM)计算全路段交通状态估计误差上界。应用开源高速公路数据集测试模型,结果表明,与需要输入真实样本的SFEB算法相比,融合模型SFEB-EKF在缺少真实样本情况下,能取得相似的结果且误差保持在5%以内,不同检测器覆盖率实验下模型表现出良好的稳定性。本文模型通过给出无检测器路段交通状态估计界限,为高速公路交通检测器布设方案提供参考。

基于超像素的多特征融合的水平集轮廓跟踪

在水平集轮廓跟踪框架中设计一个判别式速度函数对于有效引导轮廓进化非常重要。该文提出一个超像素驱动的速度函数建模方法,该模型融合了互补的表观和运动信息。在表观特征层,通过引入一种有效的中层视觉特征-超像素,建立基于核密度估计的判别式表观模型区分目标和背景。同时,利用运动光流场的统计信息,设计了一个可以自适应选择的阈值来区分和增强目标和背景的相对运动。最终,在决策层基于半朴素贝叶斯框架进行两种特征的融合,形成一个具有竞争能力的速度场引导水平集轮廓进化。在多个具有挑战的视频序列上的一系列实验验证了该方法的有效性和鲁棒性。

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。

基于水平集方法的产品异构模型融合研究

复杂产品设计往往涉及多个CAD/CAE系统,不同系统在几何模型构建、表达和存储等方面存在异构性,导致系统间数据和信息难以融合集成,降低了复杂产品的设计与开发效率。为了实现异构CAD/CAE模型语义信息和几何特征的融合,提出基于水平集方法的产品异构模型融合方法。构建了基于模型距离场的体素化模型,给出了体素化模型的可视表达方法,建立了距离场交、差和并集操作函数与产品造型特征复制、提取和识别的映射关系,建立了构造速度场操作函数和形位误差信息、高级语义信息和局部特征信息融合的映射关系,实现了产品异构模型的信息融合。通过复杂汽轮机叶片模型形位误差和高级语义信息融合试验,证明了方法在异构CAD/CAE系统信息集成方面的有效性和实用性。

算法级数据融合测试床的关键设计与实现

针对一级多传感器数据融合,开发了一个算法级测试床STE-One,支持对包括带反馈在内的各种数据融合结构进行测试和评估。简单介绍了STE-One测试床的体系结构,详细描述了它实现算法级测试和置换能力的一些关键方法,包括分层设计模型、算法排序与数据池技术等。

位置级数据融合模型及常用方法

介绍了位置级数据融合的结构模型,其中包括集中式模型、分布式模型、混合式模型、多级式模型以及各种模型的优缺点,并同时介绍了在位置级数据融合时的常用方法。

融合归一化语义加权和规则的足球视频进球检测

针对足球视频精彩进球事件检测,提出一种归一化的语义加权和规则足球进球检测融合方案.首先构建了进球事件的隐马尔科夫模型(HMM);然后提出一种语义观测权重的镜头新特征,以此建立归一化的语义加权和规则,分别实现了基于HMM方法和语义加权和规则方法的进球事件检测;最后提出一种基于逻辑距离的融合方案,将2种方法的检测结果通过最优权重进行决策级融合,显著地提高了进球事件的检测性能.采用文中方案建立的语义加权和规则基于客观的视频统计信息、不过多依赖于人的主观观察,克服了同类方法中的人力耗费问题,不需要复杂训练,计算量较小;并通过实验证明了该方案的有效性.

基于多特征决策级融合的表情识别方法

为实现多源特征的优势互补并融合多分类器的决策结果,提出一种改进的多特征表情识别方法。利用链码编码刻画表情形状特征并构建形变特征描述面部几何变化,构造Gabor特征融合图以表征表情局部纹理细节。采用支持向量机分类器分别获取3类特征的类别后验概率并在决策级实现多分类器的融合。在有监督学习下提出一种基于粒子群算法的权重寻优策略求解最优融合权重。Cohn-Kanade表情库上的实验结果表明,该方法在平均识别率和鲁棒性方面均优于单分类器识别方法,与现有的多分类器融合方法相比,权重寻优策略在识别率和可靠性方面更优。

基于分块地形的混合数据结构三维公路建模

为了权衡三维公路建模中数据高精度性以及渲染高效性的矛盾,在地形分块基础上提出了一种在场景中规则网格与不规则三角网并存的混合数据结构三维公路建模方法。此方法结合规则网格与不规则三角网两种地形表示方式的优缺点,若地形子块有公路覆盖,则利用Delaunay三角网方法精细绘制,否则基于规则网格LOD(细节层次)绘制,以此来提高渲染效率。针对此混合结构产生的块间裂缝问题,提出了对低细节层次节点增点的修补方案,以及针对此方法的特点提出了基于有向线段与增量步长的地形镂空算法,实现了地形与公路的无缝融合。实验结果表明,该方案可有效适用于三维公路设计。

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。