Adaptive spatio-temporal attention neural network for cross-database micro-expression recognition

Background The use of micro-expression recognition to recognize human emotions is one of the most critical challenges in human-computer interaction applications. In recent years, cross-database micro-expression recognition(CDMER) has emerged as a significant challenge in micro-expression recognition and analysis. Because the training and testing data in CDMER come from different micro-expression databases, CDMER is more challenging than conventional micro-expression recognition. Methods In this paper, an adaptive spatio-temporal attention neural network(ASTANN) using an attention mechanism is presented to address this challenge. To this end, the micro-expression databases SMIC and CASME II are first preprocessed using an optical flow approach,which extracts motion information among video frames that represent discriminative features of micro-expression.After preprocessing, a novel adaptive framework with a spatiotemporal attention module was designed to assign spatial and temporal weights to enhance the most discriminative features. The deep neural network then extracts the cross-domain feature, in which the second-order statistics of the sample features in the source domain are aligned with those in the target domain by minimizing the correlation alignment(CORAL) loss such that the source and target databases share similar distributions. Results To evaluate the performance of ASTANN, experiments were conducted based on the SMIC and CASME II databases under the standard experimental evaluation protocol of CDMER. The experimental results demonstrate that ASTANN outperformed other methods in relevant crossdatabase tasks. Conclusions Extensive experiments were conducted on benchmark tasks, and the results show that ASTANN has superior performance compared with other approaches. This demonstrates the superiority of our method in solving the CDMER problem.

Enhancing Unsupervised Domain Adaptation for Person Re-Identification with the Minimal Transfer Cost Framework

In Unsupervised Domain Adaptation(UDA)for person re-identification(re-ID),the primary challenge is reducing the distribution discrepancy between the source and target domains.This can be achieved by implicitly or explicitly constructing an appropriate intermediate domain to enhance recognition capability on the target domain.Implicit construction is difficult due to the absence of intermediate state supervision,making smooth knowledge transfer from the source to the target domain a challenge.To explicitly construct the most suitable intermediate domain for the model to gradually adapt to the feature distribution changes from the source to the target domain,we propose the Minimal Transfer Cost Framework(MTCF).MTCF considers all scenarios of the intermediate domain during the transfer process,ensuring smoother and more efficient domain alignment.Our framework mainly includes threemodules:Intermediate Domain Generator(IDG),Cross-domain Feature Constraint Module(CFCM),and Residual Channel Space Module(RCSM).First,the IDG Module is introduced to generate all possible intermediate domains,ensuring a smooth transition of knowledge fromthe source to the target domain.To reduce the cross-domain feature distribution discrepancy,we propose the CFCM Module,which quantifies the difficulty of knowledge transfer and ensures the diversity of intermediate domain features and their semantic relevance,achieving alignment between the source and target domains by incorporating mutual information and maximum mean discrepancy.We also design the RCSM,which utilizes attention mechanism to enhance the model’s focus on personnel features in low-resolution images,improving the accuracy and efficiency of person re-ID.Our proposed method outperforms existing technologies in all common UDA re-ID tasks and improves the Mean Average Precision(mAP)by 2.3%in the Market to Duke task compared to the state-of-the-art(SOTA)methods.

基于BLSTM＿attention＿CRF模型的新能源汽车领域术语抽取

为提高新能源汽车领域术语抽取准确率,面向新能源汽车专利文本提出一种领域术语抽取模型。传统的领域术语抽取方法过度依赖人工定义特征和领域知识,无法自动挖掘隐含特征,其识别性能过度依赖所选特征的质量。从深度学习的角度出发,提出了一种基于attention的双向长短时记忆网络(bidirectional long short-term memory,BLSTM)与条件随机场(conditional random fields,CRF)相结合的领域术语抽取模型(BLSTM_attention_CRF模型),并使用基于词典与规则相结合的方法对结果进行校正,准确率可达到86%以上,方法切实可行。

基于粗糙集和Bi-LSTM-Attention网络的电力系统暂态评估

为了降低不稳定因素对现代复杂的电力系统暂态评估的影响,在基于模糊领域单参数粗糙集和注意力机制的双向长短期记忆(Rs-Bi-LSTM-Attention)网络下,提出了一种电力系统暂态稳定评估模型。该模型首先用模糊领域单参数粗糙集对电力系统潮流数据进行属性约简,该方法既保证了准确率又提高了核心因素的权重;然后,通过Bi-LSTM-Attention网络对约简后的数据与电力系统暂态稳定状态之间建立映射关系,其中引入了LayerNormalization对高层神经网络的输入数据进行处理,使得高层神经网络不仅能适应低层参数更新,而且可以加快网络的收敛速率。最后,用评估准确率和F_(1-measure)两种评价指标对该模型的性能进行评估。IEEE39算例分析表明,Rs-Bi-LSTM-Attention模型比机器学习模型和部分深度学习模型具有更高的优越性。

多域蛋白质残基间距离深度学习预测方法

自然界生物中,大约有超过三分之二的真核蛋白质含有多个结构域.虽然AlphaFold2已经实现了端到端的蛋白质结构预测的重大突破,对于单域的静态蛋白质结构的预测精度几乎达到了实验测定的水平,但是对于多域蛋白质结构的预测精度仍然有待提高.本文提出了一种名为MDDpre的多域蛋白质残基距离预测方法.首先从多序列比对和模板中提取了序列谱、位置熵、互信息、去除背景噪声的互信息、平均接触势能、MSA特征矩阵、行注意力矩阵以及模板域间距离特征,然后设计了一个集合了三角形更新、轴向注意力机制和卷积残差块的网络来预测多域蛋白质的域间和域内距离.在62个多域蛋白质的实验结果表明,MDDpre优于现有的方法,能够有效提升多域蛋白质的残基距离预测精度.

跨域人脸活体检测的单边对抗网络算法

现有跨域人脸活体检测算法,其特征提取过程容易发生过拟合和缺乏特征聚合所导致的泛化性不足问题。针对该问题,提出了跨域人脸活体检测的单边对抗网络算法,将分组卷积与改进的倒残差结构融合替换普通卷积,降低网络参数同时加强人脸细粒度特征的表达能力,并引入自适应特征归一化模块,强调图像中人脸活体信息区域淡化无关背景区域,有效避免人脸活体信息的过拟合并加强来自不同源域的人脸活体检测能力。基于NetVLAD引入通道注意力机制模块,通道注意力机制模块作为特征聚合网络的分支,学习不同源域中人脸局部特征的语义信息,有效增强对不同源域的人脸活体信息分类的泛化能力。设计两模块融合网络以提高未知场景下跨域人脸活体检测精度。在OULU-NPU、CASIA-FASD、MSU-MFSD和Idiap Replay-Attack数据集上的实验结果表明,该算法在跨数据集测试O&C&M to I、O&C&I to M、I&C&M to O、O&M&I to C均有不错的表现,其中,在O&C&I to M及O&M&I to C性能评估指标分别提升了0.99个百分点和0.5个百分点的精度。

基于知识图谱增强的领域多模态实体识别

针对特定领域中文命名实体识别存在的局限性,提出一种利用学科图谱和图像提高实体识别准确率的模型,旨在利用领域图谱和图像提高计算机学科领域短文本中实体识别的准确率。使用基于BERT-BiLSTMAttention的模型提取文本特征,使用ResNet152提取图像特征,并使用分词工具获得句子中的名词实体。通过BERT将名词实体与图谱节点进行特征嵌入,利用余弦相似度查找句子中的分词在学科图谱中最相似的节点,保留到该节点距离为1的邻居节点,生成最佳匹配子图,作为句子的语义补充。使用多层感知机(MLP)将文本、图像和子图3种特征映射到同一空间,并通过独特的门控机制实现文本和图像的细粒度跨模态特征融合。最后,通过交叉注意力机制将多模态特征与子图特征进行融合,输入解码器进行实体标记。在Twitter2015、Twitter2017和自建计算机学科数据集上同基线模型进行实验比较,结果显示,所提方法在领域数据集上的精确率、召回率和F1值分别可达88.56%、87.47%和88.01%,与最优基线模型相比,F1值提高了1.36个百分点,表明利用领域知识图谱能有效提升实体识别效果。

基于多源域适应的缺陷类别预测方法

随着规模和复杂性的迅猛膨胀,软件系统中不可避免地存在缺陷.近年来,基于深度学习的缺陷预测技术成为软件工程领域的研究热点.该类技术可以在不运行代码的情况下发现其中潜藏的缺陷,因而在工业界和学术界受到了广泛的关注.然而,已有方法大多关注方法级的源代码中是否存在缺陷,无法精确识别具体的缺陷类别,从而降低了开发人员进行缺陷定位及修复工作的效率.此外,在实际软件开发实践中,新项目通常缺乏足够的缺陷数据来训练高精度的深度学习模型,而利用已有项目的历史数据训练好的模型往往在新项目上无法达到良好的泛化性能.因此,首先将传统的二分类缺陷预测任务表述为多标签分类问题,即,使用CWE(common weakness enumeration)中描述的缺陷类别作为细粒度的模型预测标签.为了提高跨项目场景下的模型性能,提出一种融合对抗训练和注意力机制的多源域适应框架.该框架通过对抗训练来减少域(即软件项目)差异,并进一步利用域不变特征来获得每个源域和目标域之间的特征相关性.同时,该框架还利用加权最大均值差异作为注意力机制,以最小化源域和目标域特征之间的表示距离,从而使模型可以学习到更多的域无关特征.在构建的包含8个真实世界开源项目的数据集上的实验表明,所提方法对比最先进的基线方法取得了显著的性能提升.

基于多尺度与注意力机制的两阶段风暴单体外推研究

风暴是一种生命周期短、发生突然、空间尺度小的自然现象,常用雷达回波外推方法进行预测,但时序预测模型难以在众多特征中定位风暴关键信息,导致预测精度低,模型无法充分学习图像高频信息,导致预测细节缺失,结果模糊。为了提升预测性能,提出两阶段风暴单体外推框架。第一阶段使用多尺度模块提取多尺度信息,注意力机制挖掘影响预测的重要特征,使用时空长短期记忆单元进行序列预测。第二阶段对一阶段结果进行偏差矫正,使用频域损失丰富外推细节。实验结果表明,在雷达回波数据集上,与主流模型PredRNN-V2相比,该模型均方误差降低11.4%,SSIM提升4.3%,在风暴单体外推任务中表现优越。在Moving MNIST数据集上,均方误差降低4.95%,感知损失降低12.67%,SSIM提升至0.898,具有良好的时序预测能力。

A DGA domain names detection modeling method based on integrating an attention mechanism and deep neural network

Command and control(C2)servers are used by attackers to operate communications.To perform attacks,attackers usually employee the Domain Generation Algorithm(DGA),with which to confirm rendezvous points to their C2 servers by generating various network locations.The detection of DGA domain names is one of the important technologies for command and control communication detection.Considering the randomness of the DGA domain names,recent research in DGA detection applyed machine learning methods based on features extracting and deep learning architectures to classify domain names.However,these methods are insufficient to handle wordlist-based DGA threats,which generate domain names by randomly concatenating dictionary words according to a special set of rules.In this paper,we proposed a a deep learning framework ATT-CNN-BiLSTMfor identifying and detecting DGA domains to alleviate the threat.Firstly,the Convolutional Neural Network(CNN)and bidirectional Long Short-Term Memory(BiLSTM)neural network layer was used to extract the features of the domain sequences information;secondly,the attention layer was used to allocate the corresponding weight of the extracted deep information from the domain names.Finally,the different weights of features in domain names were put into the output layer to complete the tasks of detection and classification.Our extensive experimental results demonstrate the effectiveness of the proposed model,both on regular DGA domains and DGA that hard to detect such as wordlist-based and part-wordlist-based ones.To be precise,we got a F1 score of 98.79%for the detection and macro average precision and recall of 83%for the classification task of DGA domain names.

融合多个性化桥和自监督学习的跨域推荐算法

针对跨域推荐系统中目标域中项目交互较少的用户,提出一种融合多个性化桥和自监督学习的跨域推荐算法(MS-PTUPCDR)。首先,在目标域加入变分二部图编码器,使用变分推理框架生成潜在变量,目标域用户表示聚合其同构邻居信息。其次,将用户单一偏好桥扩展为用户多个性化偏好桥,将用户在多源域可转移的用户因子转移到目标域,在目标域加入多头注意力机制融合分别来自不同源域转换的用户潜在因子作为自监督学习的辅助任务。最后,在目标域中将聚合用户邻居因子和融合后的用户多源域转移用户因子进行自监督学习。在目标域通过用户自监督学习后的用户因子和目标域项目因子点积进行目标域项目评分预测。算法在Amazon和MovieLens两个数据集上进行实验,结果表明算法在MAE和RMSE两个评价指标上优于对比基线算法,在两个数据集上与最优对比基线算法相比,MAE平均提升1.96%,RMSE平均提升1.92%,验证了算法的有效性。

基于语义-注意力机制的方面级情感分类

现有方面级情感分析研究大多数往往从文本数据本身进行情感分析,而没有充分利用领域知识,忽略了语义依存信息的重要性,使得方面表示受噪声信息影响严重,出现噪声词注意权重高的可能。针对以上问题,结合领域知识,提出了一种剪枝算法和语义-注意力机制相结合的方法(Pruning And Semantic At tention,PASA)针对服务领域特定方面进行情感分类。方法一方面结合领域知识对文本对应的语义依存树进行剪枝实现方面信息降噪,另一方面,通过利用语义-注意力机制进行增强并精确捕获方面的上下文描述信息,从而实现对方面情感极性的判断。为了验证所提出方法的正确性和有效性,在物流数据集、酒店评论数据集及SemEval 2014的Restaurant数据集进行了大量实验,结果表明,所提出的方法相对于其它方法具有明显优势,在垂直领域具有较好的应用前景。

融合信息瓶颈与图卷积的跨域推荐算法

基于迁移学习的跨域推荐可以有效地学习连接源域和目标域的映射函数,但其性能仍然受到表征质量不高和负迁移问题的影响,不能有效地为冷启动用户进行推荐,为此提出了一种融合信息瓶颈与图卷积网络的跨域推荐模型(IBGC)。利用图卷积神经网络聚合有关联的用户-用户和项目-项目信息;利用注意力机制学习用户和项目偏好,以提高节点特征表示质量;考虑到两个领域的信息交互,将重叠用户进行嵌入表示的同时限制特定信息的编码,利用信息瓶颈理论设计了三种正则化器,以捕获域内和跨域用户-项目的相关性,并将不同领域的重叠用户表征对齐以解决负迁移问题。在Amazon数据集中的四对公开数据集上进行实验,实验结果表明该模型在MRR、HR@K和NDCG@K三个推荐性能指标上的表现均优于基线模型,在四对数据集上与最优对比基线模型相比,MRR平均提升34.36%,HR@10平均提升34.94%,NDCG@10平均提升36.83%,证明了IBGC模型的有效性。

基于时频域特征挖掘与自注意力机制融合的雷达PRI变化类型识别

针对存在异常值时雷达辐射源脉冲重复间隔(pulse repetition interval,PRI)变化类型识别困难的问题,提出一种基于时频域特征挖掘与自注意力机制融合的雷达PRI变化类型识别方法。首先对PRI序列进行时序变化特征和小波特征分析,从时域和频域2个角度构建特征集;然后基于自注意力机制以数据驱动的方式学习时频特征之间的互补性,有效把握不同维度特征对识别效果的贡献,实现对不同维度特征的深度融合;最后基于全连接神经网络对融合后的特征进行模式分类,从而实现对PRI变化类型的识别。仿真结果表明,在不同异常值水平下,所提方法能够显著提高对6种典型PRI变化类型的识别准确率,而且识别效果要显著优于仅使用单一维度特征的方法。

基于改进Faster R-CNN的红外目标检测算法

为提升红外目标的检测精度,提出了一种引入频域注意力机制的Faster R-CNN红外目标检测算法。首先,针对红外图像边缘模糊和噪声问题,设计了一种并行的图像增强预处理结构;其次,在Faster R-CNN中引入频域注意力机制,设计了一种新型红外目标检测主干网络;最后,引入路径增强金字塔结构,融合多尺度特征进行预测,利用底层网络丰富的位置信息,提升检测精度。在红外飞机的数据集上进行实验,结果表明,改进后的Faster R-CNN目标检测框架比以ResNet50为主干的算法的AP提升了7.6%。此外,与目前主流算法对比,本文算法提高了红外目标的检测精度,验证了算法改进的有效性。

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明:对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。

A DGA domain names detection modeling method based on integrating an attention mechanism and deep neural network

Command and control(C2)servers are used by attackers to operate communications.To perform attacks,attackers usually employee the Domain Generation Algorithm(DGA),with which to confirm rendezvous points to their C2 servers by generating various network locations.The detection of DGA domain names is one of the important technologies for command and control communication detection.Considering the randomness of the DGA domain names,recent research in DGA detection applyed machine learning methods based on features extracting and deep learning architectures to classify domain names.However,these methods are insufficient to handle wordlist-based DGA threats,which generate domain names by randomly concatenating dictionary words according to a special set of rules.In this paper,we proposed a a deep learning framework ATT-CNN-BiLSTMfor identifying and detecting DGA domains to alleviate the threat.Firstly,the Convolutional Neural Network(CNN)and bidirectional Long Short-Term Memory(BiLSTM)neural network layer was used to extract the features of the domain sequences information;secondly,the attention layer was used to allocate the corresponding weight of the extracted deep information from the domain names.Finally,the different weights of features in domain names were put into the output layer to complete the tasks of detection and classification.Our extensive experimental results demonstrate the effectiveness of the proposed model,both on regular DGA domains and DGA that hard to detect such as wordlist-based and part-wordlist-based ones.To be precise,we got a F1 score of 98.79% for the detection and macro average precision and recall of 83% for the classification task of DGA domain names.

基于注意力机制和循环域三元损失的域自适应目标检测

目前大多数深度学习算法都依赖于大量的标注数据并欠缺一定的泛化能力.无监督域自适应算法能提取到已标注数据和未标注数据间隐式共同特征,从而提高算法在未标注数据上的泛化性能.目前域自适应目标检测算法主要为两阶段目标检测器设计.针对单阶段检测器中无法直接进行实例级特征对齐导致一定数量域不变特征的缺失,提出结合通道注意力机制的图像级域分类器加强域不变特征提取.此外,对于域自适应目标检测中存在类别特征的错误对齐引起的精度下降问题,通过原型学习构建类别中心,设计了一种基于原型的循环域三元损失(Cycle domain triplet loss,CDTL)函数,从而实现原型引导的精细类别特征对齐.以单阶段目标检测算法作为检测器,并在多种域自适应目标检测公共数据集上进行实验.实验结果证明该方法能有效提升原检测器在目标域的泛化能力,达到比其他方法更高的检测精度,并且对于单阶段目标检测网络具有一定的通用性.

基于混合域注意力机制的神经网络反演大气湍流强度

本文提出了一种基于混合域注意力机制的神经网络方法反演大气湍流强度。神经网络的输入为不同大气湍流强度下的退化图像,输出为表征大气湍流强度的折射率结构常数。混合域注意力机制由空间域和通道域双重注意力机制组成,其中空间域注意力机制用于增强退化图像中受湍流影响的区域特征,通道域注意力机制用于增强由湍流引起的颜色和纹理特征。在网络训练阶段,引入的混合域注意力机制让神经网络更专注于退化图像中与大气湍流强度相关的特征,提高了模型的精度。数值实验结果表明,本文提出的方法能够较准确地实现大气湍流强度反演。

教育领域下多维度特征命名实体识别方法

信息技术的发展与进步促使“互联网+教育”成为目前教育领域的研究热点,教育教学的各个环节都在向智能化的方向发展。中学数学的命名实体识别(NER)任务的研究,可为后续构建中学数学学科知识图谱及自动问答等任务奠定基础,进而满足中学生个性化知识获取的需求,助力新型智能化教育体系的构建。目前中学数学知识语义复杂,其NER和研究数据较少,且在当前主流模型特征提取任务中容易忽略掉部分局部特征。为解决该领域的实体识别困难问题,以自建的中学数学知识语料库为研究对象,提出一种融合多头注意力的多维度特征NER方法。该方法首先采用BERT进行文本表征预训练得到词向量,接着引入对抗训练对每个嵌入向量进行扰动,将得到的对抗样本和嵌入向量传送到多维度特征提取层进行特征提取,再将输出的特征进行拼接,通过多头注意力机制进行动态融合,最终经过条件随机场(CRF)修正后输出。实验结果表明,该方法在自建Educ数据集上的识别准确率、召回率以及F1值分别达到96.68%、97.71%和97.19%,证明了该方法在中学数学知识实体识别上的有效性。