融合掩码机制的图卷积文本分类模型

图卷积神经网络在文本分类领域受到广泛关注,但同时存在过平滑的问题。此外,现有研究中掩码机制是在文本结构上进行融合,可能并不完全适用于基于图卷积神经网络的文本分类方法。因此,该文针对图结构提出了融合掩码机制的图卷积神经网络MaskGCN,直接将掩码机制引入文本图结构,并采用全局共享矩阵动态构建文本级别的多粒度文本图。在THUCNews、今日头条和SougoCS数据集上的实验表明,该文模型在有效抑制过平滑的同时,相比于其他文本分类模型取得了较优的结果。

结合向量化方法与掩码机制的术语干预翻译模型

术语干预神经机器翻译模型通常借助人为给定的术语翻译来改变译文,从而改善翻译质量。向量化干预方法为术语干预任务提供了新的范式,但仅考虑将术语与句子信息以向量的形式融合,没有关注术语信息对术语翻译效果的影响。为此,构建一种结合向量化方法与掩码机制的术语干预机器翻译模型,将人为给定的源端术语与目标端术语编码为特征向量,显式地融入机器翻译模型的编码器、解码器以及输出层。在训练阶段,借助掩码机制屏蔽注意力机制中源端术语对应的关键字,增强模型编码器与解码器对术语特征向量的关注。在推理阶段,利用掩码机制优化术语干预输出层的概率分布,进一步提高术语字符的翻译准确率。在WMT 2014德英和WMT 2021英中数据集上的实验结果表明,相较于基于原始向量化方法的Code-Switching机器翻译模型,所提模型的术语翻译准确率分别提升了9.27和2.95个百分点,并且能大幅度提升长术语的翻译准确率。

基于掩码机制的非自回归神经机器翻译

当前基于自注意力机制的神经机器翻译模型取得了长足的进展,但是采用自回归的神经机器翻译在解码过程中无法并行计算,耗费时间过长.为此,提出了一个采用非自回归的神经机器翻译模型,可以实现并行解码,并且只使用一个Transformer的编码器模块进行训练,简化了传统的编码器-解码器结构.同时在训练过程中引入了掩码机制,减小了与自回归的神经机器翻译的翻译效果差距.相比于其他非自回归翻译模型,该模型在WMT 2016罗马尼亚语-英语翻译任务上取得了更好的效果,并且在使用跨语言预训练语言模型初始化后,取得了和自回归神经机器翻译模型相当的结果.

基于鉴别性粒度自适应设定和衰退掩码的智能电表可视故障分类方法

实现智能电表可视故障的精准检测,对电网计量现场的高效运维至关重要。不同故障电表的布局结构高度相似,其特征呈现类间方差小的特点,细粒度图像分类方法是此条件下挖掘鉴别性特征的有效手段。在目前主流研究中,混淆拼图机制引导模型学习固定粒度的特征,但容易导致拼图块内的特征冗余或不完整。掩码机制通过恒定遮挡非鉴别性特征区域来突出鉴别性特征,但忽视了该区域中有助于分类的信息。该文提出了一种基于鉴别性粒度自适应设定和衰退掩码的智能电表可视故障分类方法。首先,对训练图像构建注意力图,以呈现目标特征的重要性分布,将图中重要特征的轮廓尺寸转换为等效粒度值并进行聚类挖掘,获得反映目标特征尺寸特点的鉴别性粒度值,据此自适应设定拼图的划分粒度,有效保留拼图块内语义特征完整性的同时减少冗余信息;在此基础上,根据目标特征重要性分布挖掘非鉴别性特征区域,并对其施加掩码,在迭代训练中衰减掩码概率,逐步降低对该区域的遮挡程度,引导模型学习此区域中有助于分类的特征信息;最后结合渐进式多粒度特征引导学习框架,融合不同粒度的特征信息以完成分类。在多个权威公开的细粒度图像分类数据集和智能电表可视故障数据集开展大量实验,与10种典型细粒度图像分类方法对比,验证了所提方法在准确率等指标上的先进性。

基于时空多头图注意力网络的交通流预测

针对当前路网交通流量预测方法中存在的挖掘复杂的动态时空特性和长距离的空间依赖性能力不足等问题,基于多头自注意力网络构建一种新型的交通流预测模型.考虑到交通流在不同周期尺度下呈现出的高度相似性,以及静态时空特征,引入日和周这2种周期尺度下的数据张量作为模型输入,来表达交通流数据的时间相似性,并通过输入数据的时空位置编码获取其静态时空特征.考虑到交通流的动态时空特性和长距离的空间依赖性,主体模型基于多头自注意力机制分别设计时间多头注意力模块和空间多头注意力模块.时间多头注意力模块利用一个图掩码矩阵获得局部注意力,并将其融合到一个多头自注意力中,以提取交通流的动态时间特征.空间多头注意力模块利用两个图掩码矩阵获得局部注意力和全局注意力,并将其融合到一个多头自注意力中,以提取路网节点的动态空间特征和长距离的空间依赖性.最后,设计一个门控融合模块自适应地融合交通流数据的时空相关性特征.在三个真实交通流基准数据集PEMS04,PEMS07和PEMS08上进行模型的有效性验证,结果表明,所建模型在3个数据集上的3个预测精度指标与其他精度最高模型相比,平均提高了4.437%,2.930%,4.275%.

移动边缘计算中基于Actor-Critic深度强化学习的任务调度方法

移动边缘计算(MEC)通过将计算与存储资源部署至网络边缘,有效降低了任务响应时间并提高了资源利用率。由于MEC系统状态的动态性和用户需求的多变性,如何进行有效的任务调度面临着巨大的挑战,不合理的任务调度策略将严重影响系统的整体性能。现有工作通常对任务采用平均分配资源或基于规则的策略,不能有效地处理动态的MEC环境,这可能造成过多的资源消耗,进而导致服务质量(QoS)下降。针对上述重要问题,提出了一种MEC中基于Actor-Critic深度强化学习的任务调度方法(TSAC)。首先,提出了一种面向边缘环境的任务调度模型并将任务等待时间和任务完成率作为优化目标;其次,基于所提系统模型与深度强化学习框架,将联合优化问题形式化为马尔可夫决策过程;最后,基于近端策略优化方法,设计了一种新型的掩码机制,在避免智能体做出违反系统约束的动作和策略突变的同时提高了TSAC的收敛性能。基于谷歌集群真实运行数据集进行仿真实验,与深度Q网络方法相比,至少降低6%的任务等待时间,同时提高4%的任务完成率,验证了的可行性和有效性。

基于改进CycleGAN的轨道扣件ISR方法

围绕国家对高铁基础设施安全保障的重大需要,基于无人机图像的高铁基础设施缺陷检测可以作为目前巡检手段的补充和替代。轨道扣件是高铁基础设施巡检中重要的工务巡检对象,但无人机拍摄图像中存在高铁轨道两侧电气塔杆的阴影投射遮挡轨道扣件的情况,严重影响检测效率和精确度。针对以上问题,提出一种基于改进CycleGAN的轨道扣件图像去阴影方法,将掩码机制加入到CycleGAN中提高无监督学习方法对阴影区域的关注,同时将谱范数归一化加入到网络中以稳定训练过程、提升去阴影效果。在公共阴影数据集USR和无人机拍摄高铁扣件数据集上的实验结果表明,改进CycleGAN较好地提升了无人机图像去阴影效果。

汉语词语离合现象识别研究

离合现象是指汉语中一种词语的前后语素之间可以插入其他成分,但分离后表达的意思仍然是一个整体的现象。该文采用字符级序列标注方法解决二字动词离合现象的自动识别问题,以避免自动分词及词性标注的错误传递;引入掩码机制,遮蔽句中离合词,以强化对中间插入成分的学习,并对前后语素采用不同的掩码以强调其出现顺序;设计双编码模型,对原始句子与掩码后的句子分别进行编码。实验结果表明,该文提出的BERT_MASK+2BiLSTMs+CRF模型比当前性能最优的离合词识别模型提高了2.85%的F1值。

面向天文图像低表面亮度的小尺度星系检测

针对现有的目标检测算法检测表面亮度低的小尺度星系时效果不理想的问题,该文提出了一种基于掩码机制与目标交叉认证的低表面亮度的小尺度星系检测方法。首先,针对天文图像设计了一个基于目标总数变化率的阈值确定方法来获取阈值;其次,设计了基于掩码机制的目标去除方法和基于自适应半径的点源区域获取方法,结合图像分割和点源检测算法生成非检测目标掩码,与原图进行逐点相乘去除图中体积较大、亮度较高的非检测目标,得到亮度微弱、体积较小的候选者;然后,利用图像分割技术获取候选体分割区域,计算区域面积和质心坐标定位候选者;最后,通过目标交叉认证的方法将候选者与星表中真实记录的星体进行坐标差值计算获取星系目标。实验与分析表明,在SDSS(Sloan Digital Sky Survey)天文数据集上该方法对低表面亮度的小尺度目标检测率可达约94.90%,星系的识别率可达到约89.21%,都高于经典的目标检测算法。

基于关系的跨网络用户身份链接

为打破现存研究普遍以网络拓扑一致性假设为前提的限制,弱化锚节点数量和质量对链接任务的影响,提出一种基于跨网络语义表征的用户链接算法CSRMA(cross-network semantic representation link algorithm based on mask attention mechanism)。该算法框架包含3个模块:多视角采样与注意力机制相结合的跨网络表征模块、不同网络共性特征学习的语义空间映射模块、基于k-d树改进Gale-Shapley算法的用户身份精准链接模块。通过4个公开数据集上的实验验证了所提算法的有效性。与多个身份链接算法对比,CSRMA具有更高的精确率。