多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中,通常存在两个挑战性问题:(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征;(2)如何充分利用双模态信息,捕捉双模态特征中情感语义的一致性与互补性。为此,提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面,为从EEG信号中获得更具显著性的情感语义特征,设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征,再通过特征相似度加权并集成各层次的特征,最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面,为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性,设计了特有-共享特征融合模块,通过特有特征的学习和共享特征的学习来联合学习情感语义特征,并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上,采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明,该模型取得了具有竞争力的结果,为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。

基于生成式对抗网络和多模态注意力机制的扩频与常规调制信号识别方法

针对低信噪比条件下的扩频与常规调制信号分类精度低的问题,该文提出一种基于生成式对抗网络(GAN)、卷积神经网络(CNN)和长短期记忆(LSTM)网络的多模态注意力机制信号调制识别方法。首先生成待识别信号的时频图像(TFIs),并利用GAN实现TFIs降噪处理;然后将信号的同相正交数据(I/Q data)与TFIs作为模型输入,并搭建基于CNN的TFIs识别支路和基于LSTM的I/Q数据识别支路;最后,在模型中添加注意力机制,增强I/Q数据和TFIs中重要特征对分类结果的决定作用。实验结果表明,该文所提方法相较于单模态识别模型以及其它基线模型,整体分类精度有效提升2%~7%,并在低信噪比条件下具备更强的特征表达能力和鲁棒性。

基于二阶统计特性的方向向量估计算法的DOA估计

为了减小天线阵流形误差对波达方向(DOA)估计结果的影响,以及克服基于传统盲源分离算法的DOA估计算法不能应用于少通道测向设备的不足,提出一种基于2阶统计特性的方向向量估计算法的DOA估计算法。首先,根据确定性最大似然(DML)估计算法谱函数的特征,构造关于协方差矩阵的酉约束下的优化问题;然后,通过优化该问题获得各个单信号的实际方向向量;最后,将各个单信号的实际方向向量输入到空间谱算法中实现DOA估计。由于将多信号的DOA估计转化为多个单信号的DOA估计,因此在天线阵列流形存在误差时,所提算法比传统的DOA方法具有更好的DOA估计性能。由于所提算法仅需使用协方差矩阵,因此所提算法可应用于少通道测向设备。由仿真实验结果可知,在阵列流形存在误差以及测向设备为少通道测向设备时,与传统DOA方法相比,所提算法的DOA估计的准确度、抗扰度以及分辨率更高。

基于图分级的水下有向传感器网络栅栏覆盖策略

栅栏覆盖问题近年来已成为水下传感器网络研究的热点,但水下有向传感器网络的栅栏覆盖问题尚未得到足够的重视。随机部署前提下的水下静态有向传感器网络的栅栏覆盖难度较大,因此目前关于该问题的相关研究成果较少。为弥补这方面研究的不足,该文提出一种基于图分级的有向传感器网络首次栅栏覆盖策略。首先,该策略深入研究了多种位置关系下两个相邻节点之间满足强(弱)连接的条件;其次,利用位置关系条件构建分级图,从中选取合适节点进行栅栏的首次构建。仿真实验结果表明:采用该算法对静态有向传感器网络进行栅栏首次构建在确保较高成功率的前提下采用的节点数更少,保证了较高的网络检测概率和较长的网络寿命。

基于平均能量差的运动想象EEG通道选择和特征提取

共空间模式(CSP)广泛应用于脑电信号(EEG)的特征提取,合适的通道选择可以有效地提高CSP的分类性能,增加信噪比。根据运动想象信号的平均能量差来进行通道选择和特征提取。首先取两类运动想象信号的通道均值能量作为投票的阈值,根据投票差值统计各通道上有明显能量差值试次的数量,基于此来选择出合适的通道,然后对这些通道取能量特征进行归一化,再结合CSP空域特征利用SVM进行分类。在BCI CompetitionⅢData SetsⅣa和BCI Competition IV Dataset SetsⅠ两个数据集上进行的分类实验中,所提出的方法相比于全通道CSP,平均精度分别提高了5.7%和10.9%,通道数分别减少了74.3%和51.7%,验证了所提出的通道选择和特征提取方法的有效性。

GPR图像的数据集构建及其DRDU-Net去噪算法

为了解决生成对抗网络(Generative Adversarial Network,GAN)在生成探地雷达(Ground Penetrating Radar,GPR)图像时存在训练不稳定的问题,提出利用带有梯度惩罚的Wasserstein距离生成对抗网络(WGAN-GP)生成GPR图像,并结合时域有限差分法和实地采集图像提出了一种构建GPR图像数据集的方法.相较于原始GAN与Wasserstein GAN等方法,WGAN-GP具有更好的稳定性,而且生成的GPR图像更接近真实图像.在此基础之上,将密集残差块和U-Net相结合提出了一种适合于GPR图像的密集残差去噪U-Net方法.该方法利用U-Net中编码-解码结构提高了GPR图像的去噪性能;同时,密集残差块的引入加强了GPR图像的特征复用,且使U-Net训练更加稳定.最后,利用仿真实验验证了所提去噪方法的性能,并与三维块匹配(BM3D)和U-Net方法进行了对比.结果表明:所提方法与BM3D以及U-Net去噪方法相比,具有更好的去噪效果.当σ等于20时,在模拟和实测数据上取平均值,其峰值信噪比分别提升了约6.5 dB和2.4 dB;结构相似性分别提升了约0.09和0.04.

面向电力调度的事件知识图谱研究现状及发展

事件知识图谱(EKG)是一种可学习事件演化规律的特殊知识图谱,具有推理、预测等功能。针对电力调度业务数据量大、模态多、交互耦合等特点,该文详述了面向电力调度的事件知识图谱的数据集构建、主流方法、技术架构、评价指标、适用场景等,重点分析各场景的可行性,并在应用流程、输入输出、技术架构等方面给出方案,最后对其在电力调度业务长期发展面临的难点和可能的研究方向进行了展望。该文研究为研究电力调度领域特点、事件知识图谱优势和两者结合提供了参考,并为事件知识图谱在电力调度领域中的应用方向提供了指导性思路。

一种融合情感和策略信息的共情对话生成方法

共情对话旨在为情感焦虑的对话系统聊天用户提供心理健康支持,因此,赋予对话系统共情能力是一个值得关注的问题。现有方法往往只能识别用户的情感状态,并不能根据聊天用户不同的情感状态生成有效的、具有同理心的回复,更不能缓解用户的不良情感。因此,在构建情感支持对话系统的研究中,如何动态地捕捉用户的细粒度情感特征并根据情感特征提供相应的心理支持,需要进一步地探索。该文提出一个情感和策略信息融合的共情对话生成方法,该方法首先使用情感分类网络动态感知用户的情感状态;然后利用支持策略准确地建模策略匹配网络,并根据对话上下文引入对话生成网络进行回复生成;最后,通过比较所提方法和当前较为先进的方法在相应数据集上的实验结果,验证所提方法的有效性以及情感支持的重要性。

扩展目标跟踪Student’s t逆Wishart平滑算法

脉冲干扰和离群量测信息等因素通常会导致异常的厚尾噪声,这使得以高斯假设为前提的扩展目标跟踪(ETT)估计器的性能急剧降低,针对该问题该文提出一种基于扩展目标随机矩阵模型(RMM)的Student’s t逆Wishart平滑(StIWS)算法。首先,将目标的运动状态以及过程噪声和量测噪声建模为Student’s t分布以表征异常噪声对扩展目标概率分布的影响,将目标扩展状态建模为服从逆Wishart分布的随机矩阵。然后,在Student’s t贝叶斯平滑框架下,详细推导了能在扩展目标的多重特征动态演变的过程中有效估计目标状态的StIWS算法。最后,通过扩展目标跟踪的仿真实验结果和真实场景实验结果验证了所提算法的有效性。

基于跨语种声学分析的帕金森病检测方法

基于语音的帕金森病检测具有非介入式、成本较低和无创等优点。当前公开的帕金森病语音数据集大多来源于单一语种,存在数据容量不够大、受试者母语发音特点差异小等特点。单一语种数据集上训练的帕金森病检测模型在面对跨语种语音数据时,将出现性能下降。为避免语种差异带来的影响,提升模型在跨语种场景下的检测性能,该文引入对抗迁移学习和特征解耦的思想,提出一种帕金森病跨语种声学分析模型(CLSAM)。首先,将基于多头自注意力机制的Transformer编码块和多层神经网络级联,组成特征提取器模块,用于将从源域和目标域语音中提取的原始Fbank语音特征初步解耦为两个向量,即域不变病理信息表征向量和域信息表征向量;设计了目标任务不一致的双重对抗训练模块,显式地分离域不变病理信息和域信息;最终,提取跨语种语音数据中的域不变病理信息用于帕金森病检测。该文在公开的MaxLittle帕金森病语音数据集以及自采的帕金森病语音数据集上,采用十折交叉验证的方法验证了所提方法的有效性。实验结果表明:与传统机器学习方法以及现有的迁移学习算法相比,所提模型在跨语种场景中的检测准确率、敏感度和F1分数等性能均有明显提升。

基于光纤传感器的视频图像几何失真校正方法

视频图像在传播过程中会出现信息畸变,致使图像几何失真,为此提出基于光纤传感器的视频图像几何失真校正方法。分析视频图像像素节点在光敏区域分布情况,提取亚像素视差信息,通过面阵CCD图像传感器获取畸变视频图像;利用畸变曲线近似模型计算出视频图像畸变率,确定畸变图像坐标,并结合双线性灰度插值算法推导校正参数,实现视频图像的几何失真校正。实验结果表明,所提方法能够有效校正不同种类的视频图像几何畸变,校正后的图像与原图像相似度高超过0.97,图像边缘模糊程度降低,提高了图像的视觉观测效果。

嵌套阵的疏密子阵融合波达方向估计方法

为有效利用嵌套阵包含疏密子阵的几何结构以提高估计性能,本文提出一种在2子阵上分别测向再融合的波达方向估计方法。通过理论分析和实际案例阐明融合嵌套阵的两子阵测向结果可以消除信源角度估计模糊,且不会出现互质阵解模糊时伴随的匹配错误。利用无需谱峰搜索的求根多重信号分类方法在嵌套阵2子阵上求解测向结果,若稀疏子阵间距为N倍半波长,推导出对其复根开N次方可获含模糊角的高精度估计,再结合最小方差准则与精度较低但无模糊的密集子阵测向结果进行融合,最终得到高精度的波达方向估计。与嵌套阵已有算法相比,该算法提高了波达方向估计精度和分辨率,由于无需2子阵协方差降低了计算量,且能够支持嵌套阵的分布式配置。仿真结果验证了所提算法的有效性。

一种基于时间序列分解和时空信息提取的云服务器异常检测模型

异常检测是维护云数据中心性能的一项重要任务。云数据中心中运行着大量的云服务器以实现各种云计算功能。由于云数据中心的性能取决于云服务的正常运行,因此检测和分析云服务器中的异常至关重要。为此,该文提出一种基于时间序列分解和时空信息提取的云服务器异常检测模型。首先,提出带时空信息提取模块的双向Wasserstein生成对抗网络算法(BiWGAN-GTN),该算法在具有梯度惩罚的双向Wasserstein生成对抗网络(BiWGAN-GP)算法的基础上,将生成器与编码器替换为由图卷积网络(GCN)与时间卷积网络(TCN)组成的时空信息提取模块(GTN),实现对数据空时信息的提取;其次,提出半监督BiWGAN-GTN算法来识别多维时间序列中的异常,以在训练过程中避免异常数据侵入的风险并增强模型鲁棒性。最后设计多通道BiWGAN-GTN算法-MCBiWGAN-GTN以实现降低数据复杂度并提升模型学习效率的目标。利用带有自适应噪声完全集合经验模态分解(CEEMDAN)算法将时序数据分解,然后将不同的分量送入对应通道下的BiWGAN-GTN算法中训练。在真实世界云数据中心数据集Clearwater和MBD上采用精确率、召回率和F1分数这3个性能指标验证了该文所提模型的有效性。实验结果表明,MCBiWGAN-GTN在这两个数据集上的性能稳定并优于所比较的方法。

非语言信息增强和对比学习的多模态情感分析模型

因具有突出的表征和融合能力,深度学习方法近年来越来越多地被应用于多模态情感分析领域。已有的研究大多利用文字、面部表情、语音语调等多模态信息对人物的情绪进行分析,并主要使用复杂的融合方法。然而,现有模型在长时间序列中未充分考虑情感的动态变化,导致情感分析性能不佳。针对这一问题,该文提出非语言信息增强和对比学习的多模态情感分析网络模型。首先,使用长程文本信息去促使模型学习音频和视频在长时间序列中的动态变化,然后,通过门控机制消除模态间的冗余信息和语义歧义。最后,使用对比学习加强模态间的交互,提升模型的泛化性。实验结果表明,在数据集CMU-MOSI上,该模型将皮尔逊相关系数(Corr)和F1值分别提高了3.7%和2.1%;而在数据集CMU-MOSEI上,该模型将“Corr”和“F1值”分别提高了1.4%和1.1%。因此,该文提出的模型可以有效利用模态间的交互信息,并去除信息冗余。

基于高阶幂的单快拍LDACS系统波达方向估计

L波段数字航空通信系统(L band digital aeronautical communication system,LDACS)是未来航空宽带通信重要的基础设施之一,针对LDACS信号容易受到相邻波道大功率测距仪(distance measuring equipment,DME)信号干扰的问题,提出了联合正交投影干扰抑制与单快拍稀疏分解的波达方向(direction of arrival,DOA)估计方法。通过子空间投影抑制DME干扰,然后使用单快拍数据构建伪协方差矩阵,对伪协方差矩阵求高阶幂,之后进行奇异值分解,并利用约束条件求解稀疏解得到期望信号来向的估计值。所提方法使用高阶伪协方差矩阵降低了噪声影响,仅用单快拍就可以准确估计LDACS信号的入射方向。仿真结果表明,改进单快拍高级幂(improved single snapshot high order power,ISS-HOP)L1-SVD算法的估计精度优于ISS-HOP-MUSIC算法。该方法可以有效抑制DME干扰,提高OFDM接收机性能。

语义增强图像-文本预训练模型的零样本三维模型分类

目前,基于对比学习的图像-文本预训练模型(CLIP)在零样本3维模型分类任务上表现出了巨大潜力,然而3维模型和文本之间存在巨大的模态鸿沟,影响了分类准确率的进一步提高。针对以上问题,该文提出一种语义增强CLIP的零样本3维模型分类方法。该方法首先将3维模型表示成多视图;然后为了增强零样本学习对未知类别的识别能力,通过视觉语言生成模型获得每张视图及其类别的语义描述性文本,并将其作为视图和类别提示文本之间的语义桥梁,语义描述性文本采用图像字幕和视觉问答两种方式获取;最后微调语义编码器将语义描述性文本具化为类别的语义描述,其拥有丰富的语义信息和较好的可解释性,有效减小了视图和类别提示文本的语义鸿沟。实验表明,该文方法在ModelNet10和ModelNet40数据集上的分类性能优于现有的零样本分类方法。

基于香农熵代表性特征和投票机制的三维模型分类

目前基于视图的3维模型分类方法存在单视图视觉信息不充分、多视图信息冗余的问题,且同等对待所有视图会忽略不同投影视角之间的差异性。针对上述问题,该文提出一种基于香农熵代表性特征和投票机制的3维模型分类方法。首先,通过在3维模型周围均匀设置多个视角组来获取表征模型的多组视图集。为了有效提取视图深层特征,在特征提取网络中引入通道注意力机制;然后,针对Softmax函数输出的视图判别性特征,使用香农熵来选择代表性特征,从而避免多视图特征冗余;最后,基于多个视角组的代表性特征利用投票机制来完成3维模型分类。实验表明:该方法在3维模型数据集ModelNet10上的分类准确率达到96.48%,分类性能突出。

动态变化混叠模型下盲源分离中的源数估计

在进行欠定盲分离时,特别是对于源信号数目及混合矩阵动态变化的情况,常规的欠定盲分离及源数估计方法不能对源信号数目的变化时刻做出判断,因此很难实现动态变化的源信号数目实时和准确的估计。针对这个问题,提出了一种动态变化混叠模型下欠定盲源分离中的源数估计方法。首先,建立动态变化混叠情形下盲源分离的数学模型及动态标识矩阵。其次,基于构建的动态标识矩阵统计和判断动态源信号数目的变化情况。最后,通过分段时间内多维观测矢量采样点聚类区间局部峰值统计,实现动态变化混叠模型下盲源分离中的源信号数目的有效估计。仿真结果表明,该方法能有效实现动态变化混叠模型下欠定盲源分离中的源数估计,并且信号估计效果良好。

泰勒展开与交替投影最大似然结合的离网格DOA估计算法

针对最大似然DOA估计算法需要多维搜索、计算量大且面临着在网格估计的问题,该文提出一种基于泰勒展开的离网格交替投影最大似然算法。该方法首先利用交替投影将多维搜索转化为多个1维搜索,获得对应预设大网格的粗估计结果;再利用矩阵求导理论将1维代价函数在粗估计结果处进行2阶泰勒展开;最后通过对2阶泰勒展开求偏导并令导数等于零,求得离网参数的闭式解。与交替投影最大似然算法相比,该方法突破了搜索网格大小的限制,在保证算法精度的同时,有效减少了算法的在网格计算点数,提升了运算效率。仿真结果证明了该算法的有效性。

基于多模态轻量化混合模型的情绪识别

实现更加准确的情绪识别是当前面临的一项富含挑战性且十分有意义的任务。由于情绪的复杂多样性,单一模态的脑电信号难以对情绪进行全面客观的度量。因此本文提出一种多模态轻量化混合模型PCA-MWReliefFGAPSO-SVM,该混合模型由PCA-MWReliefF特征通道选择器和GAPSO-SVM分类器构成。选用脑电信号(EEG)、肌电信号(EMG)、体温信号(TEM)三模态信号进行情绪识别。在DEAP公共数据集上进行多次实验验证,在效价维度、唤醒维度和四分类中分别取得了97.5000%、95.8333%、95.8333%的分类准确率。实验结果表明,提出的混合模型有助于提高情绪识别准确率且明显优于单模态情绪识别。与近期的类似工作相比,本文提出的混合模型具有较高准确率、计算量小且通道数少的优点,更易于实际应用。