面向自然语言推理的基于截断高斯距离的自注意力机制

在自然语言理解任务中,注意力机制由于可以有效捕获词在上下文语境中的重要程度并提高自然语言理解任务的有效性而受到了人们的普遍关注。基于注意力机制的非递归深度网络Transformer,不仅以非常少的参数和训练时间取得了机器翻译学习任务的最优性能,还在自然语言推理(Gaussian-Transformer)、词表示学习(Bert)等任务中取得了令人瞩目的成绩。目前Gaussian-Transformer已成为自然语言推理任务性能最好的方法之一。然而,在Transformer中引入Gaussian先验分布对词的位置信息进行编码,虽然可以大大提升邻近词的重要程度,但由于Gaussian分布中非邻近词的重要性会快速趋向于0,对当前词的表示有重要作用的非邻近词的影响会随着距离的加深消失殆尽。因此,文中面向自然语言推理任务,提出了一种基于截断高斯距离分布的自注意力机制,该方法不仅可以凸显邻近词的重要性,还可以保留对当前词表示具有重要作用的非邻近词的信息。在自然语言推理基准数据集SNLI和MultiNLI上的实验结果证实,截断高斯距离分布自注意力机制能够更有效地提取句子中词语的相对位置信息。

相关滤波的运动目标抗遮挡再跟踪技术

针对相关滤波在抗遮挡方面效果不佳的问题,本文在ECO_HC(efficient convolution operators handcraft)的基础上提出了一种多特征融合的抗遮挡相关滤波算法。在相关滤波算法的框架下,将目标ULBP(uniform local binary pattern)纹理特征和目标HOG(histogram of oriented gridients)特征进行线性加权融合;在模型建立与更新阶段通过高斯掩码函数缓解循环移位造成的边界效应;通过计算目标最大响应值的峰值均值比来判断目标状态,并将卡尔曼算法作为目标被遮挡后重定位策略。实验结果显示,在16个视频序列上,该文算法的平均精确度达到87.3%,成功率达到76.5%,相比基线算法,分别提升了27.7%和23.7%。