基于多任务联合注意力的结肠息肉分割网络

结肠息肉具有边界不清晰且大小、颜色、形状各异的特点,使得采用深度学习方法提高其分割性能仍是一项极具挑战性的工作。为提高息肉分割的准确率,提出一种基于多任务联合注意力的结肠息肉分割网络CPMJA-Net。为改善Transformer缺乏机制来增强局部区域信息交换的问题,设计级联融合模块以增强网络的局部特征表示,有助于息肉边缘的识别和恢复。受多头Self-Attention机制的启发,构建多任务注意力模块,采用渐进式融合的方式将不同模块得到的特征图逐步进行融合,以凸显关键信息并抑制干扰信息。为更好聚合图像的高级和低级特征,设计联合注意力模块,利用高级特征的轮廓信息在低级特征中筛选出有利于边缘分割的细节特征,并将其与息肉轮廓聚合起来,得到更加精确的边缘分割结果。实验结果表明,CPMJA-Net在4个公开数据集上的性能表现均为最优,与次优的算法相比,CPMJA-Net的mDice系数分别在Kvasir、CVC-CilinicDB、CVC-ColonDB和ETIS数据集上提升0.7、0.8、0.4、0.4个百分点,平均交并比(mIoU)也分别提升1.6、1.2、0.6、0.5个百分点,其能改善过分割问题,弥补注意力机制的不足,提升解码器的细节恢复能力。

基于联合注意力的渐进式遥感图像融合

为发挥遥感图像在国防军事、公共安全、环境监测等领域的重要作用,如何融合已配准的高分辨率全色图像与低分辨率多光谱图像的互补信息成为当前研究的重点。尽管近年来全色锐化方法已取得较大进步,但大多数方法仍受到以下限制:一方面,利用Wald协议退化生成不同尺寸图像时会造成信息损失;另一方面,受到网络结构和单一注意力的限制,无法同时利用全局和局部特征。为解决以上问题,本文提出了基于联合注意力的渐进式网络(Pan-sharpening based on multi-attention progressive network),称为MAPNet。在该网络中,首先采用多阶段训练以减小尺寸变化带来的光谱和细节损失。其次设计联合注意力模块,将自注意力、空间注意力和通道注意力结合,实现对全局特征和局部特征、空间特征和通道特征的多模态分析,进一步提高MAPNet对纹理细节的保留能力。在高分二号卫星上进行大量对比实验和消融实验,定性和定量结果表明,本文方法融合效果优于其他10种方法,能够改善光谱失真和细节纹理丢失等问题。

基于联合注意力-可分离卷积的立体匹配算法

为解决立体匹配网络模型轻量化与高精度不能共存的问题,提出新的立体匹配算法CSA-Net(attention and separable convolution network)。该算法是在特征提取阶段,利用类ResNet进行特征提取,训练空洞金字塔池化(atrous spatial pyramid pooling,ASPP)模块扩大感受野,提取多尺度上下文信息,加入联合注意力机制(channel ang spatial attention module,CSM),在空间和通道维度提高表征能力,关注重要特征并抑制不必要的特征。在特征融合阶段,将2D深度可分离卷积提升到3D来代替原网络中标准3D卷积在空间维度和通道维度分别进行卷积运算,以降低特征融合网络的参数量与模型运行时间。实验结果表明,本文所提出的立体匹配网络模型在KITTI 2012和2015数据集进行验证,在三像素匹配误差率为1.44%和2.24%,模型运行时间减少近1/3。因此,相比于其他算法实现了更高的匹配精度和更快的运行速度。

基于联合注意与特征关联的实例分割算法

针对现有实例分割算法因目标特征表示不充分、模型捕获信息不完整等因素导致分割精度较低的问题,提出一种基于联合注意和特征关联的实例分割算法。该算法采用联合注意力机制,沿通道和空间两个不同维度对感兴趣区域特征进行权重优化,聚焦关键对象位置,实现目标特征表示,抑制冗余信息对实例检测和分割结果干扰。在此基础上,在分割阶段建立特征关联关系,充分挖掘实例内部各像素点相似性,加强网络对实例部分的细节特征感知,实现高质量的掩膜预测。此外,通过引入协调损失函数监督检测中分类和回归任务产生一致预测,提高目标对象检测的准确性,进一步提升分割性能。在MS COCO 2017和Cityscapes两个数据集上进行实验验证,结果表明:该算法能够有效提高各现实场景下实例的检测和分割质量。当主干网络为ResNet-50/101时,该算法在COCO数据集上的掩膜平均精度分别达到37.5%和38.6%,较基线方法Mask R-CNN分别提高1.9和2.4个百分点;在Cityscapes验证集和测试集上,该算法较Mask R-CNN在主干网络为ResNet-50时分别提高2.4和2.5个百分点。

联合注意:早期发展的里程碑

联合注意作为早期的社会认知能力,对语言、社会认知等能力的发展有很大的影响。文章综述了联合注意出现的先兆、联合注意的行为、联合注意的形式与功能,并阐述了其在发展中的重要作用。最后文章讨论了当前研究中存在的问题并指出联合注意新的研究方向。

自闭症早期预警:联合注意和共情的发生发展及影响因素

自闭症在3岁前已经发病,目前对于自闭症儿童的诊断却要到3岁后,滞后性的诊断使得自闭症儿童可能错过最佳干预治疗期。证据显示,在婴幼儿早期,联合注意与共情的发生发展可以作为3岁之前自闭症预警的重要内容。早期联合注意能力发展异常是自闭症言语和社交障碍的重要诱因;而早期共情能力发展的偏离则可能导致自闭症儿童表现出社交障碍和沟通障碍。文章初步描绘出早期联合注意和共情的发生发展轨迹,总结归纳了影响二者早期发生发展的三个重要方面:神经生理、遗传和环境机制。未来的研究应考虑结合分子生物学和神经成像技术,设计更加生态化的联合注意及共情任务,探索自闭症个体联合注意和共情损伤在大脑分子细胞层面的表征状态,从而为自闭症的早期预警提供更加客观的指标。

基于联合注意力孪生网络目标跟踪算法

为改进在发生形变、尺度变化及相似目标等多种干扰因素时视频中运动目标的跟踪精度,提出了一种联合注意力的孪生网络模型。首先,采用一种轻量级网络MobileNetV3作为主干网络对目标进行特征提取;然后,为提高模型对于目标关键特征的关注度,提出了通道联合空间注意力与孪生网络结合的模型结构;最后,对基于注意力模块与非注意力模块的特征向量互相关结果进行加权融合获得响应图,并利用该响应图获得目标跟踪结果。实验结果表明,所提算法在OTB50与OTB100数据集上能够获得较好的跟踪效果,两个数据集平均精确率和成功率达到78.5%和58.3%。此外,当存在形变、尺度变化及相似目标等不合作因素时,所提算法仍能取得较好的跟踪效果,从而表明该算法具有良好的鲁棒性。

基于时空注意力机制和联合注意力的视觉凝视目标跟踪方法

目前视觉跟踪技术易忽视人物与场景图之间的联系、以及缺少对联合注意力的分析和检测,导致检测性能不理想.为此提出一种基于时空注意力机制和联合注意力的视觉凝视目标跟踪方法.对于给定任意一幅图像,利用深度神经网络来提取人物的头部特征后,加入场景和头部之间的交互可以帮助增强图像的显著性,并引入一个强化注意力模块来过滤掉深度和视野上的干扰信息.此外,将场景中其余人物的注意力也考虑进所关注的区域,通过注意推送来增强标准显著性模型.加入时空注意力机制后,可以有效地将候选目标、目标注视方向和时间帧数约束结合起来,达到识别共享位置,利用显著性信息能够更好地检测和定位联合注意力.最后将图像中的注意力以热力图的形式可视化.实验表明:该模型能够有效地推断视频中的动态注意力和联合注意力,且效果良好.

基于虚拟现实的孤独症患儿联合注意缺陷干预研究现状综述

联合注意缺陷是孤独症患儿核心障碍之一,严重影响着患儿语言、沟通等多项基本技能的发展。虚拟现实场景干预因具有良好的交互性和沉浸感,在改善孤独症患儿联合注意技能方面具有较大潜力。本文梳理了近年来基于虚拟现实的社会场景和非社会场景在训练孤独症患儿联合注意技能方面的应用,并总结了该干预方式存在的问题与挑战,同时提出了社会评估场景和非社会训练场景的新型联合范式,最后对虚拟现实技术在孤独症患儿联合注意技能训练方面的未来发展和应用前景做出展望。

一种结构化双注意力混合通道增强的跨模态行人重识别方法

在目前跨模态行人重识别技术的研究中,大部分现有的方法会通过单模态原始可见光图像或者对抗生成图像的局部共享特征来降低跨模态差异,导致在红外图像判别中由于底层特征信息丢失而缺乏稳定的识别准确率。为了解决该问题,该文提出一种结构化双注意力可交换混合随机通道增强的特征融合跨模态行人重识别方法,利用通道增强后的可视图像作为第三模态,通过图像通道可交换随机混合增强(I-CSA)模块对可见光图像进行单通道和三通道随机混合增强抽取,从而突出行人的姿态结构细节,在学习中减少模态间差异。结构化联合注意力特征融合(SAFF)模块在注重模态间行人姿态结构关系的前提下,为跨模态表征学习提供更丰富的监督,增强了模态变化中共享特征的鲁棒性。在SYSU-MM01数据集全搜索模式单摄设置下Rank-1和mAP分别达到71.2%和68.1%,优于同类前沿方法。

分散注意力联合呼吸指导在肛周脓肿切开引流术患者门诊换药中的应用效果分析

目的探究分散注意力联合呼吸指导在肛周脓肿切开引流术患者门诊换药中的应用效果。方法此研究选取的研究对象为行肛周脓肿切开引流术治疗的患者80例,选取时间为2016年3月～2018年2月,根据治疗方式不同进行分组,分别为常规组(40例)与干预组(40例),给予常规组常规换药指导,给予干预组分散注意力联合呼吸指导。回顾分析两组患者临床资料,对比疼痛程度、心理状态、治疗依从性与护理满意度,使用统计学进行分析。结果比对两组患者换药后的疼痛程度,干预组改善优于常规组,组间差异呈P<0.05,表示存在统计学意义。比对两组患者的SAS评分与SDS评分,干预组改善优于常规组,组间差异呈P<0.05,表示存在统计学意义。对于治疗依从性与护理满意度,干预组更优,组间差异呈P<0.05,表示存在统计学意义。结论肛周脓肿切开引流术治疗的患者,在门诊换药时实施分散注意力联合呼吸指导,不仅有效缓解疼痛程度,还可以改善心理状态,促进治疗依从性与护理满意度提高,具有显著的护理效果。

人际同步对孤独症儿童合作行为的影响及干预促进

合作是人类行为的核心,也是儿童社会性发展的重要体现。孤独症儿童因神经生理、时间同步以及运动能力等缺陷,导致其在社会交往中合作能力不足。研究发现,人际同步可促进儿童的合作行为。通过人际同步干预,孤独症儿童的联合注意、积极情绪及运动技能等与合作相关的能力获得改善,神经系统得到激活,社会适应能力也有所提高。人际同步干预目前仍在同步机制、感知互动质量等方面存在局限性,未来除了关注同步形式、节奏频率及个体差异等变量对孤独症儿童合作行为的作用机制外,还应关注他们在复杂开放式社交场景中的感知互动质量。

联合时空注意力的视频显著性预测

为了解决视频显著性预测任务中时间与空间特征联合建模的问题,提出联合时空注意力机制(COStA),共同提取时间和空间维度的注意信息,突出特定时间和区域的特征供模型来感知。基于该机制,进一步提出视频显著性预测模型TASED-COStA,对比实验表明:COStA机制能为神经网络模型在CC、NSS与SIM三个评价指标上获得大于8%的性能提升,TASED-COStA模型能有效地建模视频信息中的时间与空间关系,并给出准确的预测结果。

动态视音场景下问答模型研究

现实世界由大量不同模态内容构建而成,各种模态的信息相互关联和互补,充分挖掘不同模态之间的关系和特性能够有效弥补单一模态信息的局限性。动态视音场景下的问答模型研究,旨在通过视频中多模态信息回答不同视觉物体、声音及其相互联系的问题,使人工智能获得场景感知和时空推理能力。针对视音问答不准确的问题,提出了一种空间时序问答模型,该模型通过空间融合建模和时序融合建模对多模态特征进行融合,从而提高问答准确率。首先,分别使用Resnet_18,VGGish和Bi-LST对音频、视频和文字进行特征提取;其次,根据声音和视频的关系,在特征融合时对声音和视频两种模态进行早期的空间融合,并使用联合注意力机制在相互辅助学习后进行特征融合,增强特征互补性;最后,在特征融合后添加注意力机制以增强融合特征与文字的相关性。基于MUSIC-AVQA数据集的实验准确率达73.49%,实现了场景感知和时空推理能力的提升。

面向视觉问答的跨模态交叉融合注意网络

为了提高视觉问答(VQA)模型回答复杂图像问题的准确率,提出了面向视觉问答的跨模态交叉融合注意网络(CCAN)。首先,提出了一种改进的残差通道自注意方法对图像进行注意,根据图像整体信息来寻找重要区域,从而引入一种新的联合注意机制,将单词注意和图像区域注意结合在一起;其次,提出一种“跨模态交叉融合”网络生成多个特征,将两个动态信息流整合到一起,每个模态内产生有效的注意流,其中对联合特征使用逐元素相乘的方法。此外,为了避免计算成本增加,网络之间共享参数。在VQA v1.0数据集上的实验结果表明,该模型的准确率达到67.57%,较MLAN模型提高了2.97个百分点,较CAQT模型提高了1.20个百分点。所提方法有效提高了视觉问答模型的准确率,具有有效性和鲁棒性。

注意和语言关系研究概述

为梳理注意和语言相互关系方面的研究,可以从以下三个方面进行概述:注意对语言的影响,其中包括联合注意对语言习得及发展的影响,注意对语言形式及语言产生的影响以及注意对二语习得的影响;语言对注意的引导作用;特殊人群的语言与注意之间的关系。

注视方向的知觉对注视追随行为的影响

他人的注视线索可诱导观察者将注意自动地转移到该线索所指示的方向上去(注视追随),但仍不清楚注视方向的知觉在注视追随中起到何种作用。本研究结合注视适应和注视线索提示范式发现:知觉到的注视线索角度越大,其线索提示效应越强;知觉适应后被试判断注视方向的准确性下降,注视线索引起的注意转移量显著减少。可见,对注视方向的知觉能直接影响注视追随行为,而注视方向抽取受到刺激显著性(注视角度)和知觉适应等因素的调节。这提示:在意识状态下,注视知觉与注视追随存在直接联系,即可能存在从注视知觉系统到注意转移系统的皮层加工通路;注视追随并非纯粹的反射式加工,它受自上而下知觉经验的调节。

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的将高光谱图像和多光谱图像进行融合,可以获得具有高空间分辨率和高光谱分辨率的光谱图像,提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好,但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性,提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法首先利用联合自注意力模块,通过光谱注意力机制提取高光谱图像的光谱相关性特征,通过空间注意力机制提取多光谱图像的空间相似性特征,将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合;随后,将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中,探索融合特征的长距离依赖信息,学习深度先验融合知识;最后,特征通过卷积层映射为高空间分辨率的高光谱图像。结果在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验,实验结果表明,与对比方法相比,本文方法从定量指标和视觉效果上,都取得了更好的效果。本文方法相较于性能第二的方法EDBIN(enhanced deep blind iterative network),在CAVE数据集上峰值信噪比提高了0.5 dB,在Harvard数据集上峰值信噪比提高了0.6 dB。结论本文方法能够更好地融合光谱信息和空间信息,显著提升高光谱融合超分图像的质量。

注视-西蒙效应的空间编码机制

采用注视-西蒙范式探讨了注视方向知觉的空间编码机制。实验一让被试采用双手交叉的反应方式,发现注视-西蒙效应并不随反应手的交叉而反转,说明它涉及抽象的空间方向编码,而非基于以手为参照系的半侧优势效应。实验二采用纯音音调辨别任务,发现了典型的注视-西蒙效应,结合实验一视觉通道的结果,注视-西蒙效应并非特异于视觉通道。结果支持注视线索能自动诱发观察者形成抽象的方向表征的观点。

奇观文化视阈下网络新闻标题的认知研究——以BBC英国女王加冕60周年庆典报道为例

随着消费文化与新媒体的结合,网络新闻以"导航结构"为技术平台,其标题呈现出形式上的多媒体视觉化、内容上的稀缺资源利用和语言意义的"被建构性"等奇观文化特征。媒体利用联合注意这一认知机制来引导受众在奇观文化语境中解读和建构多模态新闻标题,最终实现其意义的传播。在奇观文化视阈下考察多模态网络新闻标题并分析其幕后的联合注意认知机制,不仅有助于深化对多模态化网络新闻语类的认识,而且有助于拓展特定社会文化语境中的认知研究。