基于Itti视觉注意模型的三维人脸特征检测方法的研究

将计算机视觉与人类视觉的视觉注意计算模型结合,在对三维人脸特征提取和Itti视觉注意模型进行研究的基础上,提出了一种将Itti视觉注意模型用于三维人脸特征区域检测和特征提取的方法。实验结果表明,该模型能够准确定位三维人脸的特征区域,同时对不同表情的人脸模型具有鲁棒性。

基于视觉自注意力模型的苗期玉米与杂草检测方法

[目的]识别作物和杂草是农业智能化中自动除草的关键步骤。本文旨在解决作物与杂草识别精度低、检测模型实时性和鲁棒性差等问题。[方法]以叶龄处于3~8叶期的玉米及其伴生杂草为研究对象,提出一种高效准确的玉米苗与杂草的检测方法。该方法以实时端到端目标检测视觉自注意力模型为基础框架,用小尺度卷积等效替代大尺度深度卷积的思想,以较小的精度损失降低推理耗时。引入一种包含上下文信息的自顶向下注意力机制,强化模型对小目标的检测效果。应用组合图像增强策略,提升模型精度与泛化能力。[结果]改进后模型的平均检测精度为90.11%,推理阶段单张图片耗时33.67 ms,模型参数量44.86 MB。改进后的模型比主流目标检测模型总体精度更高,且推理速度快。[结论]所提方法对于玉米苗与伴生杂草的整体检测性能优秀,能够提高杂草识别的准确性和效率。

视觉注意模型的低照度图像感兴趣区域检测

针对低照度图像质量较低导致的检测困难问题,提出一种基于视觉注意模型的低照度图像感兴趣区域检测方法。将图像由RGB色彩空间转换至HSV色彩空间,通过NSST获取图像的多个高通子带和一个低通子带;在高通子带中利用自适应阈值去噪法去噪V分量,在低通子带中采用多尺度Retinex增强V分量,再修正增强后图像S分量,将处理后图像转换回RGB色彩空间;依据视觉注意模型分别获取图像亮度显著值、色彩显著值和方向显著值,联合构建图像像素点特征向量,采用过渡滑动窗贝叶斯方法实现图像感兴趣区域检测。实验结果表明,所提方法的预处理效果更理想、错分率和误分率更低。

基于改进视觉自注意力模型的分心驾驶行为识别研究

针对分心驾驶行为识别问题,文章提出一种基于改进视觉自注意力模型的方法,构建了模型ViT_CR,用于估计驾驶员头部姿势,通过多任务学习提高角度预测精度,在数据集AFLW上预测误差MAE为4.61;运用ViT_CR处理连续视频帧,并基于分心驾驶识别原则设定安全阈值与辅助参数判断驾驶员是否处于分心状态。实验表明,在真实驾驶数据集Dimags上,该方法能有效利用头部姿势的时序信息进行识别,为分心驾驶监测及预警提供了一种新的思路。

基于视觉注意力的图文跨模态情感分析

针对单模态情感分析无法完全捕获情感信息的问题,提出一种图像和文本跨模态情感分析模型(BERT-VistaNet),该模型没有直接使用视觉信息作为特征,而是利用视觉信息作为对齐方式,使用注意力机制指出文本中重要的句子,得到基于视觉注意力的文档表示。对于视觉注意力无法完全覆盖的文本内容,使用BERT模型对文本进行情感分析,得到基于文本的文档表示,将特征进行融合应用于情感分类任务。在Yelp公开餐厅数据集上,该模型相比基线模型TFN-aVGG,准确率提高了43%,相比VistaNet模型准确率提高了1.4%。

基于视觉语言模型的跨模态多级融合情感分析方法

图文多模态情感分析旨在通过融合视觉模态和文本模态预测情感极性,获取高质量的视觉模态表征和文本模态表征并进行高效融合,这是解决图文多模态情感分析任务的关键环节之一.因此,文中提出基于视觉语言模型的跨模态多级融合情感分析方法.首先,基于预训练的视觉语言模型,通过冻结参数,采用低阶自适应方法微调语言模型的方式,生成高质量的模态表征和模态桥梁表征.然后,设计跨模态多头互注意力融合模块,分别对视觉模态表征和文本模态表征进行交互加权融合.最后,设计混合专家网络融合模块,将视觉、文本的模态表征和模态桥梁表征结合后进行深度融合,实现多模态情感分析.实验表明,文中方法在公开评测数据集MVSA-Single和HFM上达到SOTA.

基于Itti模型的计算机视觉注意模型研究

本文通过对Itti模型的分析,提出Itti模型的不足,并以建立了以先验任务指导下的显著区域合并策略为基础的计算机视觉注意模型,并提出了模型的注意事项。

融合深度信息的视觉注意计算模型

针对Itti模型在特征选择上的局限性,借鉴心理学中有关视觉注意的研究成果,提出一种融合深度信息的视觉注意计算模型。该模型在基于图像分割的自适应立体匹配基础上提取深度特征,与亮度、方向、颜色特征相结合,实现空间显著性度量,并采用侧抑机制和WTA机制得到注意焦点。实验结果表明,新模型能较好地反映空间立体视觉信息对注意的影响,使计算结果能更符合人类视觉。

基于视觉注意模型和进化规划的感兴趣区检测方法

根据生物注意机制,该文提出了一种基于视觉注意模型和进化规划的感兴趣区检测方法。采用进化规划方法分割图像候选区域;区域兴趣度由视觉注意模型产生的局部显著和进化规划计算的全局显著共同度量。在视觉注意模型中,图像经过小波多尺度变换和计算中央周边差得到局部显著度。注意焦点在显著度增强因子的作用下,选取候选区域得到感兴趣区。实验结果表明,所提方法检测的感兴趣区更接近人眼的视觉注意机制,并取得了较为满意的对象检测和兴趣度量结果。

视觉选择性注意的认知神经机制与显著性计算模型

针对目前显著图计算复杂度高、分辨率低、对比度差等问题,受Stevens视觉认知模型和注意的神经控制回路的信息处理结构启发,提出一种基于选择性注意认知神经机制的视觉显著性计算模型和相关算法.该模型兼容了自上而下和自下而上两种视觉注意机制,可很好地模拟了人类的视觉注意系统.在显著性对象图像数据库进行的实验中,本模型在选择性注意的显著区提取精度、运行时间、噪声干扰抑制等方面都取得了令人满意的结果.

基于马尔可夫过程的驾驶员视觉注意力转移模型研究

为研究驾驶员在车辆驾驶时的视觉注意力的转移规律,构建了注意力转移模型。基于马尔可夫过程,在将驾驶员重点视觉域划分为主视区、左后视镜、右后视镜、正后视镜、仪表盘5个子域的基础上,构建了视觉注意力转移模型,并给出了模型的求解算法。最后结合实例验证了模型的可行性。

基于空间映射的视觉注意力分配预测模型

为预测飞行员视觉注意力分配,在SEEV(Salient Effort Expectancy Value)模型和多因素模型的基础上引入注意控制空间和资源分配空间的概念.前者描述了影响注意力分配因素,而后者则反应了兴趣区域所获得的注意资源.并通过空间映射建立注意力分配的预测模型,应用模糊层次分析的方法对模型进行结算.为验证预测模型效度,采用16名被试在飞行模拟器上开展基于异常信息恢复的工效学实验,通过眼动追踪装置记录注视点分布作为注意力分配指标.被试需要根据实验条件对主飞行显示器仿真界面中的目标信息状态进行监视,并通过驾驶杆的指定操作对异常信息进行响应.实验结果表明,注意力分配预测模型的理论结果与工效实验中注视点分布的实验结果显著相关且吻合较好,验证了预测模型的可用性.

基于视觉注意模型的自适应视频关键帧提取

关键帧提取是基于内容视频检索领域中一个重要的研究课题。提出了一种基于视觉注意模型的自适应视频关键帧提取方法。该方法分别提取视频中的运动和空间显著度,并用一种运动优先非线性混合模式将显著度合成为视觉注意度。在此基础上提出一种基于视觉注意度的局部和整体两级关键帧提取策略,先采用局部策略,选择镜头内注意度最大的帧作为关键帧候选;再根据视觉注意度的变化,为各个镜头自适应分配关键帧数目作为整体关键帧分配策略。实验证明,该方法提取的关键帧较为符合人类的视觉系统特性,而且该方法具有根据内容变化自适应提取关键帧等特点。

基于视觉注意计算模型的棉花异性纤维检测

基于机器视觉的棉花异性纤维在线检测,需要解决一个大背景下的小缺陷区域准确检测问题.为了解决这个问题,通过构建视觉注意计算模型,使检测目标兴趣区凸显出来,从而解决视觉数据冗余瓶颈问题.根据所构建模型结构,首先从输入图像中提取全局特征图;然后提取灰度和方向特征进行高斯金字塔多层分解,并采用中央-周边操作算子构建特征差分图;最后利用融合操作构建特征显著图和整体显著图,检测兴趣区在该显著图中被凸显出来.试验结果表明,该模型能够实现棉花异性纤维的有效检测,不仅检测准确率高,还具有较强的普适性,为棉花异性纤维在线检测提供了一种新方法.

基于时空特征融合的视觉注意模型

为了对人类视觉系统(HVS)中的注意机制进行建模,提出了一种基于时空特征融合的视觉注意模型。该模型以亮度对比度、纹理复杂度和前景物体的运动信息等三种初级视觉特征为基础,在自底向上的可计算架构上,采用空间域和时间域的特征融合方式,计算场景的视觉显著性图。试验结果表明,使用该模型可以对场景各个区域的显著性进行有效分析;与Walther和You视觉注意模型的对比结果也证明了该模型可以更准确地提取出场景的注意焦点(FOA)。

有指向性的视觉注意计算机模型

注意把有限的处理资源优先分配给那些需要精细加工的信息,能提高视觉信息加工中的检测能力和响应速度.基于生物视觉系统的生理结构特点,建立了模拟生物视觉注意系统的有指向性的视觉注意计算机模型.模型首先模拟生物视网膜的成像机制,将视场图像转化为视网膜图像;然后将最大梯度边缘检测和c-均值聚类等方法相结合,对视网膜图像中的目标进行编码,分别提取每个目标的颜色、中心以及边缘点集合等基本信息;最后用知识库中指向性目标的特征来指导注意焦点的转移.实验结果表明,利用此模型能较好地实现注意焦点的转移.

视觉注意模型在显著图生成中的适用性评估

针对Itti-Koch、Stentiford、光谱剩余假说和Hu-Rajan-Chia 4种视觉注意模型适用范围的问题,通过4种模型生成的显著图,结合眼动实验分别计算显著图间的相似度,由此对4种模型的适用性进行评估。实验结果表明,4种视觉注意模型对包含不同特征和语义的图像各有侧重,通过眼动数据得到显著图的相似度不低于0.7。

基于混合图上随机游走的视觉注意显著目标检测模型

目前的视觉显著性检测算法,主要依赖像素间的对比,缺乏从全局角度对显著目标进行分析理解。根据生物视觉注意机制,显著目标通常是显眼、紧凑和完整的,提出一种基于混合图上随机游走的显著目标检测算法,将视觉显著性检测公式化为马尔科夫随机游走问题。首先将输入图像进行分块,利用颜色特征距离和方向的空间分布和方向熵对比分别确定无向图和有向图的边权重,进而得到混合图;然后通过全连通图搜索提取全局特性,突出全局较孤立的区域;同时通过k-regular图搜索提取局部特性,增强局部较均匀的区域;最后结合全局特性和局部特性得到输入图像的显著图,从而确定感兴趣区域位置。实验结果表明,相比于其他两种具有代表性的算法,所提算法检测结果更加准确、合理,证明该方法合理可行。

基于2D视觉注意模型的全参考图像质量评价方法

为进一步提高视频图像质量评价主客观的一致性,提出一种基于2D视觉注意模型的全参考质量评价方法。将2D视觉注意模型与PSNR(Peak Signal to Noise Ratio)、SSIM(Structural Similarity Index Method)、GSSIM(Gradient based Structural Similarity Index Method)评价方法相结合,进行视频图像质量评价。实验结果表明,该方法对图像质量评价较原PSNR、SSIM、GSSIM方法更有效;在LIVE数据库上得到的Pearson、Spearman相关系数分别为0.903 5和0.903 1;较其他评价方法原理简单,计算复杂度较低,且性能较优,具有很好的评价效果。

基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。