考虑数据缺失的图注意力网络暂态稳定评估

基于人工智能的暂态稳定评估模型的性能高度依赖于系统的可观测性,而通信延迟和相量测量单元(phasor measurement units,PMU)故障等因素易导致数据缺失,使模型的评估性能下降。针对该问题,提出了一种基于图注意力网络(graph attention network,GAT)的暂态稳定评估模型。首先,根据原始网络拓扑及PMU配置方案获得表征系统可观测性的掩码矩阵,在任意PMU缺失的条件下,利用掩码矩阵训练模型;其次,通过GAT网络的多头注意力机制提取输入节点的时空信息,利用不同的权重聚合目标节点的邻域特征,实现对可观测数据的充分利用;最后,利用焦点损失函数加强模型对失稳样本的学习能力。仿真结果表明,所提方法可以最大限度地利用可观测数据,具有高精度和强鲁棒性,并且不受网络拓扑的限制,易于迁移。

基于时空多头图注意力网络的交通流预测

针对当前路网交通流量预测方法中存在的挖掘复杂的动态时空特性和长距离的空间依赖性能力不足等问题,基于多头自注意力网络构建一种新型的交通流预测模型.考虑到交通流在不同周期尺度下呈现出的高度相似性,以及静态时空特征,引入日和周这2种周期尺度下的数据张量作为模型输入,来表达交通流数据的时间相似性,并通过输入数据的时空位置编码获取其静态时空特征.考虑到交通流的动态时空特性和长距离的空间依赖性,主体模型基于多头自注意力机制分别设计时间多头注意力模块和空间多头注意力模块.时间多头注意力模块利用一个图掩码矩阵获得局部注意力,并将其融合到一个多头自注意力中,以提取交通流的动态时间特征.空间多头注意力模块利用两个图掩码矩阵获得局部注意力和全局注意力,并将其融合到一个多头自注意力中,以提取路网节点的动态空间特征和长距离的空间依赖性.最后,设计一个门控融合模块自适应地融合交通流数据的时空相关性特征.在三个真实交通流基准数据集PEMS04,PEMS07和PEMS08上进行模型的有效性验证,结果表明,所建模型在3个数据集上的3个预测精度指标与其他精度最高模型相比,平均提高了4.437%,2.930%,4.275%.

结合前景特征增强与区域掩码自注意力的细粒度图像分类

为解决细粒度图像分类中不相关背景信息干扰以及子类别差异特征难以提取等问题,提出了一种结合前景特征增强和区域掩码自注意力的细粒度图像分类方法。首先,利用ResNet50提取输入图片的全局特征;然后通过前景特征增强网络定位前景目标在输入图片中的位置,在消除背景信息干扰的同时对前景目标进行特征增强,有效突出前景物体;最后,将特征增强的前景目标通过区域掩码自注意力网络学习丰富、多样化且区别于其他子类的特征信息。在训练模型的整个过程,建立多分支损失函数约束特征学习。实验表明,该模型在细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft的准确率分别达到了88.0%、95.3%和93.6%,优于其他主流方法。

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA_S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。

基于图注意力和改进Transformer的节点分类方法

当前,图Transformer主要在传统Transformer框架中附加辅助模块达到对图数据进行建模的目的 .然而,此类方法并未改进Transformer原有体系结构,数据建模精度还有待进一步提高.基于此,本文提出一种基于图注意力和改进Transformer的节点分类方法 .该方法构建基于拓扑特征增强的节点嵌入进行图结构强化学习,并且设计基于二级掩码的多头注意力机制对节点特征进行聚合及更新,最后引入归一前置及跳跃连接改进Transformer层间结构,避免节点特征趋同引起的过平滑问题.实验结果表明,相较于6类基线模型,该方法在不同性能指标上均可获得最优评估结果,且能同时兼顾小规模和中规模数据集的节点分类任务,实现分类性能的全面提升.

基于掩码时间注意力和置信度损失函数的序列数据早期分类方法

序列数据的早期分类对于高时效性应用具有重要意义。该任务的目标是在满足预期分类精度的前提下,尽快地对持续输入的时间序列进行分类。目前,深度学习已经在序列数据早期分类任务中得到了广泛应用。现有的深度方法通常利用递归神经网络来适应流数据的长度变化,并通过设置分类概率阈值退出分类过程。然而这些方法忽视了流数据的关键识别区域随信息量的增加持续变化。为了解决该问题,本文提出了一种基于掩码时间注意力机制的时间卷积网络来动态关注关键识别区域。此外,考虑到正确类别的分类概率分数应随模型观察到更多数据单调不递减,本文设计了一个置信度损失函数惩罚不符合该条件的模型,进一步促使模型提取更有区分性的特征。在8个公开数据集的实验结果表明了所提方法优越的早期分类性能。

基于注意力机制的稀疏化剪枝方法

为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度,通过稀疏化训练与动态计算及更新掩码矩阵和权重矩阵完成剪枝操作。方法实验基于CIFAR10、CIFAR100数据集上进行,实验结果表明,该方法在较为复杂数据集CIFAR100上剪枝率为90%、95%、98%时,分类准确率可达到69.91%、67.15%、60.18%,与同类方法相比,在不同数据集和剪枝率的条件下仍具有较高的分类精度。

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制(PAM)和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络(FCN)生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集partB部分、UCFCC50数据集以及WorldExpo’10数据集上,拥塞场景识别网络(CSRNet)方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集partB部分的平均绝对误差(MAE)和均方误差(MSE)分别降低了8.49%和4.37%;在UCFCC50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo’10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。

基于关系的跨网络用户身份链接

为打破现存研究普遍以网络拓扑一致性假设为前提的限制,弱化锚节点数量和质量对链接任务的影响,提出一种基于跨网络语义表征的用户链接算法CSRMA(cross-network semantic representation link algorithm based on mask attention mechanism)。该算法框架包含3个模块:多视角采样与注意力机制相结合的跨网络表征模块、不同网络共性特征学习的语义空间映射模块、基于k-d树改进Gale-Shapley算法的用户身份精准链接模块。通过4个公开数据集上的实验验证了所提算法的有效性。与多个身份链接算法对比,CSRMA具有更高的精确率。

面向案件审判难度预测的神经网络模型研究

审判难度预测(TDP)是指在给定案情描述文本的情况下,自动预测案件审判难易程度,其在司法智能化系统中具有广阔的应用前景。现阶段,案件审判难度预测工具严重依赖专家经验规则,存在较大偏差,相关的研究工作较少。针对此问题,将其归结为自然语言处理中的文本分类问题,通过分析发现传统分类方法未考虑起诉状中审判要素间的结构独特性和逻辑依赖性,导致难以准确预测案件难易程度。为解决上述挑战,通过对起诉状的研究,结合案件繁简审判要素,提出一种新的神经网络模型MAT-TAN。具体地,该模型首先采用一种掩码注意力网络(MAT)对案情描述文本进行细粒度分析。其中的掩码机制扮演智能门控者的角色,起到聚焦审判要素特定位置的作用,结合自注意力机制,实现了对各审判要素全面、准确的特征提取。其次,提出一种拓扑关联网络(TAN)对要素间的司法逻辑依赖关系进行建模,并有效融合不同要素的特征,最终实现案件审判难度预测。在法院真实数据上的实验结果表明,与基准的文本分类方法相比,该模型宏平均F1值提升了0.036,在审判难度预测上具备较好的使用效果。

基于人脸关键特征提取的表情识别

自然场景下人脸表情由于受遮挡、光照等因素影响,以及表情局部变化细微,导致现有人脸表情识别方法准确率较低。提出一种人脸表情识别的新方法,以ResNet18为主干网络,利用残差连接模块加深网络结构,以提取更多深层次的表情特征。通过引入裁剪掩码模块,在训练集图像上的某个区域进行掩码,向训练模型中增加遮挡等非线性因素,提升模型在遮挡情形下的鲁棒性。分别从特征图的通道和空间两个维度提取表情的关键特征,并分配更多的权重给表情变化明显的特征图,同时抑制非表情特征。在特征图输出前加入Dropout正则化策略,通过在训练中随机失活部分神经元,达到集成多个网络模型的训练效果,提升模型泛化能力。实验结果表明,与L2-SVMs、IcRL、DLP-CNN等方法相比,该方法有效提高了表情识别准确率,在2个公开表情数据集Fer2013和RAF-DB上的识别准确率分别为74.366%和86.115%。