为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络...为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。展开更多
针对临床医疗记录中的复杂语义实体和长短距离依赖关系识别准确率低的难题,文章提出了一种双向语义与残差注意力网络的医疗文本命名实体识别方法。利用BERT-wwm预训练模型捕捉语义特征,结合双向门控循环单元BiGRU用于处理复杂长程语义关...针对临床医疗记录中的复杂语义实体和长短距离依赖关系识别准确率低的难题,文章提出了一种双向语义与残差注意力网络的医疗文本命名实体识别方法。利用BERT-wwm预训练模型捕捉语义特征,结合双向门控循环单元BiGRU用于处理复杂长程语义关联;增加残差连接的注意力Attention结构,保障专注于关键信息的同时,不会丢失捕捉到的整体序列特征;条件随机场CRF负责最后的序列标注预测,对前序多层神经网络抽取的特征序列进行最优路径解码。实验结果表明,通过本方法能够有效提升命名实体识别的准确率。Aiming at the challenge of low recognition accuracy for complex semantic entities and long- and short-range dependencies in clinical medical records, this paper proposes a medical text named entity recognition method that integrates bidirectional semantics with a residual attention network. The method leverages the BERT-wwm pre-trained model to capture semantic features and combines it with a Bidirectional Gated Recurrent Unit (BiGRU) to handle complex long-range semantic associations. An Attention mechanism with residual connections is added to ensure focus on key information while preserving the overall sequence characteristics captured. A Conditional Random Field (CRF) is responsible for the final sequence labeling prediction, performing optimal path decoding on the feature sequences extracted by the preceding multi-layer neural networks. Experimental results demonstrate that this approach can effectively improve the accuracy of named entity recognition.展开更多
残差网络能够有效地解决卷积神经网络出现的梯度消失问题,应用于高光谱图像分类取得了良好的效果,但简单地堆积残差单元并不能很好地提高模型性能。通道注意力机制能够有区别地处理卷积层输出的特征图,更好地利用对分类有用的特征通道...残差网络能够有效地解决卷积神经网络出现的梯度消失问题,应用于高光谱图像分类取得了良好的效果,但简单地堆积残差单元并不能很好地提高模型性能。通道注意力机制能够有区别地处理卷积层输出的特征图,更好地利用对分类有用的特征通道。为了充分利用残差网络及通道注意力机制的特征提取能力,设计适用于高光谱图像分类的残差通道注意力网络。在残差单元中结合卷积层和通道注意力机制,实现对特征通道的重新调整,并在模型中实现局部残差学习和全局残差学习,促进信息传递,增强模型稳定性。实验结果表明,该方法用于Indian Pines数据和University of Pavia数据能够分别取得98.78%和 99.22%的分类精度,在有限数量训练样本的情况下,能够达到较高的分类精度。展开更多
针对低信噪比条件下雷达信号识别率低,以及分类网络不具备识别样本库新添加信号类型的局限,提出了一种基于深度残差收缩注意力网络的雷达信号识别方法。通过网络将一维雷达信号映射到32维向量空间。网络中的残差连接能有效强化特征的传...针对低信噪比条件下雷达信号识别率低,以及分类网络不具备识别样本库新添加信号类型的局限,提出了一种基于深度残差收缩注意力网络的雷达信号识别方法。通过网络将一维雷达信号映射到32维向量空间。网络中的残差连接能有效强化特征的传播能力,解决网络过深无法训练的问题;注意力机制的引入,不仅构建掩码支路充当主干支路的特征选择器,还能够帮助网络自适应地选择合适的阈值进行软阈值化,从而减少网络中噪声或者冗余信息的影响,提高网络对噪声的鲁棒性。训练过程中排序表损失(ranked list loss,RLL)和分类损失函数共同指导网络训练。RLL能够有效克服传统度量学习损失函数忽略类内特征的问题,分类损失函数能够弥补度量损失优化下对样本整体分布不敏感的问题。实验表明,该方法在提高低信噪比雷达信号识别准确率的同时仍具有识别样本库新添加信号类型的能力。展开更多
文摘为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。
文摘针对临床医疗记录中的复杂语义实体和长短距离依赖关系识别准确率低的难题,文章提出了一种双向语义与残差注意力网络的医疗文本命名实体识别方法。利用BERT-wwm预训练模型捕捉语义特征,结合双向门控循环单元BiGRU用于处理复杂长程语义关联;增加残差连接的注意力Attention结构,保障专注于关键信息的同时,不会丢失捕捉到的整体序列特征;条件随机场CRF负责最后的序列标注预测,对前序多层神经网络抽取的特征序列进行最优路径解码。实验结果表明,通过本方法能够有效提升命名实体识别的准确率。Aiming at the challenge of low recognition accuracy for complex semantic entities and long- and short-range dependencies in clinical medical records, this paper proposes a medical text named entity recognition method that integrates bidirectional semantics with a residual attention network. The method leverages the BERT-wwm pre-trained model to capture semantic features and combines it with a Bidirectional Gated Recurrent Unit (BiGRU) to handle complex long-range semantic associations. An Attention mechanism with residual connections is added to ensure focus on key information while preserving the overall sequence characteristics captured. A Conditional Random Field (CRF) is responsible for the final sequence labeling prediction, performing optimal path decoding on the feature sequences extracted by the preceding multi-layer neural networks. Experimental results demonstrate that this approach can effectively improve the accuracy of named entity recognition.
文摘残差网络能够有效地解决卷积神经网络出现的梯度消失问题,应用于高光谱图像分类取得了良好的效果,但简单地堆积残差单元并不能很好地提高模型性能。通道注意力机制能够有区别地处理卷积层输出的特征图,更好地利用对分类有用的特征通道。为了充分利用残差网络及通道注意力机制的特征提取能力,设计适用于高光谱图像分类的残差通道注意力网络。在残差单元中结合卷积层和通道注意力机制,实现对特征通道的重新调整,并在模型中实现局部残差学习和全局残差学习,促进信息传递,增强模型稳定性。实验结果表明,该方法用于Indian Pines数据和University of Pavia数据能够分别取得98.78%和 99.22%的分类精度,在有限数量训练样本的情况下,能够达到较高的分类精度。
文摘针对低信噪比条件下雷达信号识别率低,以及分类网络不具备识别样本库新添加信号类型的局限,提出了一种基于深度残差收缩注意力网络的雷达信号识别方法。通过网络将一维雷达信号映射到32维向量空间。网络中的残差连接能有效强化特征的传播能力,解决网络过深无法训练的问题;注意力机制的引入,不仅构建掩码支路充当主干支路的特征选择器,还能够帮助网络自适应地选择合适的阈值进行软阈值化,从而减少网络中噪声或者冗余信息的影响,提高网络对噪声的鲁棒性。训练过程中排序表损失(ranked list loss,RLL)和分类损失函数共同指导网络训练。RLL能够有效克服传统度量学习损失函数忽略类内特征的问题,分类损失函数能够弥补度量损失优化下对样本整体分布不敏感的问题。实验表明,该方法在提高低信噪比雷达信号识别准确率的同时仍具有识别样本库新添加信号类型的能力。
