空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.

基于视听诱发的听觉注意检测脑电数据集

在基于脑电信号的听觉注意检测任务中,运用较成熟的公开数据集仅包含脑电信号和音频数据,均缺少对视觉信息的关注。为了模拟真实世界的感知环境,该文引入一个创新性的脑电数据集,其中包含同时提供音视频刺激及仅有音频作为刺激的情境,并通过现有方法验证了该数据集的有效性。研究结果表明:不同频段的脑电信号对听觉注意的选择产生了差异影响,特别是Alpha和Gamma频段,在大脑处理听觉注意时发挥重要作用。与现有的公开听觉注意检测数据集相比,该文提出的音视频数据集引入了视频信息,更真实地模拟了日常场景。这种数据集设计为脑机接口的研究和应用提供了更丰富的模态信息,具有重要的研究和应用意义。该数据集已公开,网址为http://iiphci.ahu.edu.cn/toAuditoryAttentionEnglish。