面向目标检测的视觉注意机制波段选择研究

近年来,波段选择在高光谱图像降维处理中得到了广泛地应用,然而常用的数据降维方法并没能将与人类视觉系统相关的信息进行有效利用,如果将人类与生俱来的视觉注意机制能力应用到高光谱图像中目标的视觉显著性特征的增强或识别,对于高光谱图像的目标检测研究无疑会产生相当的促进作用。研究提出引入视觉注意机制理论应用于波段选择研究,构建面向目标检测应用的视觉注意机制波段选择模型。通过分析计算波段图幅的目标与背景的可识别程度,量化所在波段对地物目标与背景的判别能力,提出了基于目标视觉可识别度的波段选择方法;利用LC显著性算法进行空间域的视觉显著性目标分析,计算背景与目标的显著性差异绝对值,提出基于LC显著目标结构分布的波段选择方法。将这两种方法结合提出的改进子空间划分方法,建立面向目标检测的视觉注意机制波段选择模型,并经高光谱遥感AVIRIS San Diego公开数据集进行目标检测实验验证,结果表明所提出的基于视觉注意机制的波段选择模型对于目标检测应用具有较好的检测效果,实现了数据降维和高效的计算处理。

基于视觉注意力的图文跨模态情感分析

针对单模态情感分析无法完全捕获情感信息的问题,提出一种图像和文本跨模态情感分析模型(BERT-VistaNet),该模型没有直接使用视觉信息作为特征,而是利用视觉信息作为对齐方式,使用注意力机制指出文本中重要的句子,得到基于视觉注意力的文档表示。对于视觉注意力无法完全覆盖的文本内容,使用BERT模型对文本进行情感分析,得到基于文本的文档表示,将特征进行融合应用于情感分类任务。在Yelp公开餐厅数据集上,该模型相比基线模型TFN-aVGG,准确率提高了43%,相比VistaNet模型准确率提高了1.4%。

界面设计影响蒙汉用户视觉注意的脑电研究

目的比较蒙、汉用户在不同界面布局的条件刺激下视觉注意对脑电刺激诱发响应的调节和影响作用。方法基于Oddball实验范式的事件相关电位技术,采用图文形式和纯文本形式的宫格式、标签式,以及侧面展开式界面布局刺激,结合分析脑电数据和行为数据,探究界面布局设计对蒙、汉用户视觉注意的影响。结果对视觉注意的早期阶段进行研究后发现,图文形式宫格式布局对汉族用户的视觉注意具有显著的刺激和调节作用,而图文形式侧面展开式布局对蒙古族双语用户的视觉注意有显著的刺激和调节作用。通过P300成分波幅发现蒙、汉用户的情绪发生变化,蒙、汉用户在纯文本形式标签式布局界面的影响下产生消极情绪,波幅降低。结论在事件相关电位技术中,通过P100成分与P300成分的波幅强度变化,可以作为界面布局刺激条件下衡量比较不同民族地区用户视觉注意与情感体验的观测量。

光照与认知特征下安全标志视觉注意效果研究

为探讨照度环境和3个安全标志认知特征混合条件下矿工安全标志视觉注意效果,对识别过程中的眼动指标数据进行双因素方差分析;研究模拟了12种不同的混合环境,通过眼动数据进行分析视觉注意效果。结果表明:照度环境对眼动指标均具有显著性影响,低照度环境影响更显著;熟悉度对识别过程有显著影响,富有意义度显著影响首次注视认知负荷,简单性对认知负荷影响不大;光照对安全标志识别的影响更大,高光照环境下低认知特征水平往往更难识别,在安全管理中要重视安全隐患的排查。

极繁主义服装的图案设计与视觉注意力的关系研究

通过分析极繁主义服装的图案设计与视觉注意力之间的关系,探讨最能引起消费者注意力与正向反馈的设计方法。选取了决定服装繁复要素中的图案因素作为研究对象,制作一系列同一元素图案构成循环的服装作为实验选取的样本进行眼动仪实验测得感性客观反映数据,与此同时,进行主观问卷调查,将感性数据以及理性数据进行交叉对比分析。得到既能引起消费者注意力又能激发消费者购买欲望的极繁主义服装图案设计方法。帮助设计师明确极繁主义应用在服装上的实际效果,为极繁主义的发展以及在服装上的设计思路提供一定的理论依据和数据支撑。

汉语发展性阅读障碍小学生的视觉注意广度研究

为探讨汉语发展性阅读障碍低年龄段小学生的视觉注意广度,以7—9岁低年龄段小学生为对象,选取发展性阅读障碍和正常阅读能力小学生各28名,采用2(被试群体:发展性阅读障碍组小学生、正常阅读能力组小学生)×2(汉字类型:简单、复杂)的两因素混合设计,使用Visual-1-back任务测量视觉注意广度,记录正确率、正确反应的反应时,并计算辨别力指数d’值。结果显示,发展性阅读障碍组正确率和辨别力指数小于正常阅读能力组,发展性阅读障碍组正确反应的反应时大于正常阅读能力组;简单汉字的正确率和辨别力指数大于复杂汉字,简单汉字的反应时小于复杂汉字。汉语发展性阅读障碍低年龄段小学生对汉字材料表现出视觉注意广度缺陷,进一步支持视觉到语音的映射这一观点。

基于视觉注意软池化的场景反光去除方法研究

为了优化图像中反光去除的效果,提出了一种基于视觉注意机制的软池化场景反光去除深度学习网络。该网络架构简洁、高效,通过融合视觉注意软池化理论与无反光干扰的闪光图像信息,实现了对透射图像的精确估计,从而高效地消除了反光。在广泛的实际场景测试中,该方法与其他几种主流去反光技术相比,不仅在视觉效果上更胜一筹,而且在去反光后图像质量的客观评价指标上也展现出了卓越的性能。

篮球赛事转播中视觉注意与赞助回忆的关系研究

通过分析视觉注意与赞助回忆的关系,为研究人员评估体育赛事广告赞助效果提供新的视角.应用眼动实验法,记录33名体育专业大学生观看体育赛事视频片段的眼动指标作为视觉注意因素,结合广告的曝光因素和品牌卷入因素,分析各因素对赞助回忆的影响.结果显示,曝光时间对赞助回忆的影响非常显著(OR=1.058,p<0.01),每增加一个单位的曝光时间,赞助回忆正确的概率提升5.8%.但曝光时间达到上限后,额外的曝光并不会提升观众的视觉注意和赞助回忆.注视时间对赞助回忆的影响显著(OR=1.097,p<0.05),每增加一个单位的注视时间,赞助回忆正确的概率提高9.7%.曝光次数(OR=0.817,p>0.05)、注视次数(OR=1.003,p>0.05)、品牌熟悉度(OR=0.945,p>0.05)和品牌使用率(OR=1.278,p>0.05)则对赞助回忆率影响不显著.本研究认为,通过曝光因素和品牌卷入因素与赞助回忆的关系评估广告投放效果具有局限性,研究人员可通过分析视觉注意因素与赞助回忆的关系,更加科学、有效地评估赞助商广告的投放效果.

视觉注意与神经振荡

人脑每时每刻都要接收大量视觉信息,由于人脑加工信息的能力有限,所以在较大视野内将注意分配给相关信息,同时抑制引起注意分散的不相关信息,对执行目标导向的行为至关重要。这种对视觉信息的选择性和主动性加工以适应当前目标的过程被称作视觉注意(visual attention),且视觉注意可分为自上而下的注意与自下而上的注意两种不同功能。由于来自大脑电信号的神经振荡活动在认知加工中发挥重要作用,已有研究综述了视觉注意与神经振荡(neural oscillation)的密切关系,但并未涉及不同的注意功能与神经振荡的关系。本文系统性调查了不同注意功能与神经振荡的关系,发现额-顶区域的theta频带振荡活动反映了自上而下的认知控制,而后部脑区的theta振荡与自下而上的注意相关。顶-枕区域alpha振荡的偏侧化有助于注意分配,而alpha频带的大规模同步促成了注意对视皮层自上而下的影响。Beta振荡介导了自上而下的信息与自下而上的信息之间的互动,作为信息载体促进了视觉信息处理。Gamma振荡则可能与自上而下和自下而上的注意间整合相关。本文就视觉注意功能与神经振荡关系的研究现状展开综述,旨在揭示不同的神经振荡活动在特定的视觉注意功能中的作用。

视觉注意与语义感知联合推理实现场景文本识别

场景中的不规则文本识别仍然是一个具有挑战性的问题。针对场景中的任意形状以及低质量文本,本文提出了融合视觉注意模块与语义感知模块的多模态网络模型。视觉注意模块采用基于并行注意的方式,与位置感知编码结合提取图像的视觉特征。基于弱监督学习的语义感知模块用于学习语言信息以弥补视觉特征的缺陷,采用基于Transformer的变体,通过随机遮罩单词中的一个字符进行训练提高模型的上下文语义推理能力。视觉语义融合模块通过选通机制将不同模态的信息进行交互以产生用于字符预测的鲁棒特征。通过大量的实验证明,所提出的方法可以有效地对任意形状和低质量的场景文本进行识别,并且在多个基准数据集上获得了具有竞争力的结果。特别地,对于包含低质量文本的数据集SVT和SVTP,识别准确率分别达到了93.6%和86.2%。与只使用视觉模块的模型相比,准确率分别提升了3.5%和3.9%,充分表明了语义信息对于文本识别的重要性。

基于渐进式学习与多尺度增强的客体视觉注意力估计方法

视觉注意力机制已引起学界和产业界的广泛关注,但既有工作主要从场景观察者的视角进行注意力检测。然而,现实中不断涌现的智能应用场景需要从客体视角进行视觉注意力检测。例如,检测监控目标的视觉注意力有助于预测其后续行为,智能机器人需要理解交互对象的意图才能有效互动。该文结合客体视觉注意力的认知机制,提出一种基于渐进式学习与多尺度增强的客体视觉注意力估计方法。该方法把客体视域视为几何结构和几何细节的组合,构建层次自注意力模块(HSAM)获取深层特征之间的长距离依赖关系,适应几何特征的多样性;并利用方向向量和视域生成器得到注视点的概率分布,构建特征融合模块将多分辨率特征进行结构共享、融合与增强,更好地获取空间上下文特征;最后构建综合损失函数来估计注视方向、视域和焦点预测的相关性。实验结果表明,该文所提方法在公开数据集和自建数据集上对客体视觉注意力估计的不同精度评价指标都优于目前的主流方法。

面向特情的航线飞行员视觉注意分配研究

为降低飞行中人因事件的发生比例,保障飞行安全,面向进近过程中飞机发动机火警处置任务,开展模拟飞行试验,探究飞行特情中飞行员视觉注意分配情况;记录被试在4个兴趣区域(AOI)的5项视觉注意分配指标,同时,记录试验中被试的决策行为和飞行绩效指标;结果显示,火警发生前后,飞行员被试在主飞行显示器(PFD,即AOI 2)上的5个视觉注意分配指标均显著高于其他AOI;在火警前阶段,被试在主火警灯(即AOI 1)的注视点数(FC)、注视时间(FT)、FC占比(PFC)、FT占比(PFT)和平均注视时间(AFD)值显著低于导航显示器(ND,即AOI 3)和发动机显示和机组警告系统(EICAS,即AOI 4),而在火警阶段,AOI 1的FC、FT、PFC和PFT显著高于AOI 4;机长组被试在PFD上的FC、FT、PFC和PFT显著低于副驾驶组;机长组更多选择落地后执行火警记忆项目。研究结果表明:飞行特情中,飞行员的视觉注意分配仍服从驾驶—导航—交流—系统管理任务优先规则;主火警灯故障会对飞行员的注意分配造成干扰;飞行经验可以改善飞行员的视觉注意分配。

融合视觉注意机制的高光谱RX异常检测算法

视觉注意机制具有快速引导关注到重点区域的特性,将其引入高光谱图像异常检测中具有可行性。本文从采样方式、波段选取、融入局部光谱特征3方面构建更适用于计算高光谱图像显著性的视觉注意机制模型。针对经典的基于高斯统计分布假设的RX异常检测算法在背景参数估计中易受潜在异常干扰的问题,利用视觉显著性结果对原图像进行高斯加权,在加权后图像中进行背景均值与协方差的重新估算,进而使用更精确的背景参数对原图像进行RX异常检测。在5个经典数据上的实验结果表明,本文方法有效地表现了潜在的异常目标,改进的RX异常检测算法具有更高的检测精度与更低的虚警率。

卷积神经网络和视觉注意力语义分割模型在高分辨率遥感影像分类中的性能分析

随着深度学习语义分割的快速发展,基于计算机视觉语义分割模型的高分辨率遥感影像分类方法也大量涌现。为系统定量地研究经典的和先进的视觉语义分割模型在遥感影像分类中的性能,在总结深度学习语义分割进展的基础上,选择9种基于卷积神经网络(CNN)和视觉注意力的语义分割算法,对米级和厘米级2个尺度的遥感数据集进行分析研究。在模型构建上基于计算机视觉通用的语义分割框架,训练时采用红绿蓝3波段遥感图像并基于ImageNet预训练权重进行迁移学习训练。研究结果表明:通用的语义分割模型通过常规训练设置进行训练能取得较好的遥感影像分类效果,部分地物的交并比(IoU)可以达到90%以上;基于视觉注意力的遥感影像分类模型的精度普遍高于基于CNN的模型,且MaskFormer能更有效地提取离散的地物信息;不同类别的精度最高值并不全在总体最优模型中,部分会存在于次优模型中;类似的地物在更高分辨率遥感数据集中可以获得更高的精度。

语言景观对游客视觉注意的影响——基于眼动追踪实验的分析

文章结合语言景观的信息-象征功能理论和情感诉求理论,利用眼动追踪实验方法,考察旅游语言景观的游客视觉注意和感知吸引力。设计3(功能类型:信息功能/全球象征功能/本土象征功能)×2(情感诉求:有/无)×2(情绪倾向:积极/消极)混合实验,对视觉注意指标(注视次数、平均注视时长和平均访问时长)进行多因素方差分析。研究发现:无论何种语言景观,都能快速吸引游客的关注;赋予语言景观象征功能和情感诉求,都能够显著提升游客的视觉注意和感知吸引力;情感诉求与功能类型的交互效应表明,有情感诉求时,具有本土象征功能的语言景观能显著引起视觉注意,无情感诉求时,不同功能类型的视觉注意无差异;情绪倾向与功能类型的交互效应表明,当游客的情绪倾向为积极(vs.消极)时,本土(vs.全球)象征功能的语言景观能显著引起视觉注意。研究结果有助于了解游客凝视语言景观的视觉注意模式,能够为目的地语言景观设计提供理论支持。

基于多通道视觉注意力的图像清晰度复原方法

图像采集过程中被拍摄物和照相机之间的相对运动会造成图像的模糊,严重影响图像清晰度。由于图像视觉降质后特征较为模糊,其复原难度较大。多通道模式可以将含有通道的图像分割成单个的通道,有效降低图像复原复杂度。为此,提出基于多通道视觉注意力的图像清晰度复原方法。根据视觉注意力下多通道分配函数,生成图像特征视觉信号和信息权重。将图像视觉状态传入长短期记忆网络,随机生成视觉信息元素。基于此,将注意力模型多通道化,弥补图像视角缺失,计算图像自然光向量及透射率。为使去雾后的图像自然清晰,加入调节参数调整透射率,利用给定灰度方差计算图像透射率平滑程度,通过高斯函数卷积获得最终清晰度复原图像。经实验证明,所提方法的图像复原效果更好,去雾明显,图像复原后透射率高,图像细节信息增加。

基于视觉注意力网络的恶意加密流量检测

近年来,以恶意加密流量为主要手段的网络违法犯罪活动层出不穷,从加密流量中检测出恶意流量能够有效发现网络攻击行为并确认恶意流量种类,对公安机关防御、鉴别、打击攻击类网络犯罪活动具有应用价值。针对传统检测方法流量呈现不直观以及忽略图像局部信息和长距离依赖等问题,提出一种基于视觉注意力网络的恶意加密流量检测模型。模型将流量转化为图像直观反映出流量的二维结构,再输入视觉注意力网络进行特征的提取和流量分类。实验结果表明,模型在恶意加密流量上的检测精度和区分度较高,可有效提高公安机关打击网络攻击行为的效率。

动作视频游戏对视觉注意的影响

目的:近年来,研究者们广泛探讨了动作视频游戏对视觉注意的影响,相关研究有待进一步总结,加深对动作视频游戏产生影响的了解。方法:通过总结近十几年的相关研究,综述动作视频游戏对视觉注意的影响。结果:本文从注意资源、信息处理速度、注意选择、注意转换及注意抑制五个方面分别论述了动作视频游戏对视觉注意的影响,总的来说,目前大多关于动作视频游戏对注意的影响的研究所得结果是积极的。结论:动作视频游戏是充满商业色彩的复杂游戏,其影响不可一概而论,仍需研究者们进一步探究。

考虑用户视觉注意机制的人机交互界面设计

为了有效提高人机交互界面的设计质量和效率,将视觉注意的计算方法引入到人机交互界面设计过程中,提出了一种考虑用户视觉注意机制的人机交互界面设计方法.利用视觉注意计算模型分析了人机交互界面中各元件的视觉注意程度,构建了视觉注意焦点图;采用配对比较法确定各元件的重要度和使用频率,以灰度图的形式建立了人机交互界面重要性分布图.通过比对视觉注意焦点图和重要性分布图,以用户的视觉特性为评价指标对人机交互界面设计方案进行了评估.以智能手机的人机交互界面设计为例,对所提出方法进行验证.结果表明:该方法优化了用户的视觉特性,与传统方法相比,人机交互界面设计质量和效率得以提升;所设计的人机交互界面增强了用户的交互体验.

基于视觉注意机制的网站前端网页布局优化方法

由于用户无法对网页中重要信息内容给予最多的注视次数和时间,导致其不能在第一时间获取到所需信息,造成用户人眼视觉负担增加。对此,在引入视觉注意机制的基础上,开展网站前端网页布局优化设计研究。将视觉注意机制融入到网页视觉注意力划分模型中,并根据目标重要程度对网页基础元素信息进行模块化设计。从网页元件色彩、元件距离等方面,实现对网页布局优化。对比实验证明,布局优化后的网页用户能够在第一时间找出网页中重要的信息内容,且对重要展示内容能够给予更多注视次数及时间,页面整体更符合用户视觉认知规律,解决了网站前端网页布局重要信息展示布局不合理的问题。