基于视-听觉转换的视觉替代系统关键技术研究

视觉替代的目的是将视觉信息转换为听觉、触觉等方式输出给视觉障碍者,使其能更好地感知周围的环境。本文针对现有基于视—听觉转换的视觉替代系统中存在的信息传递效率低、听觉输出会影响正常的听觉感知和容易造成疲劳等不足,模仿人类视觉和听觉注意特性中的信息筛选功能,分析了基于视—听觉转换的视觉替代系统现状和存在的问题,提出高效的视—听觉转换环境描述方法和听觉输出与环境音协调方法,以提高视觉替代产品的性能和实用性。

基于注意模型的视觉替代方法

现有的视觉替代方法均是在特定环境中,通过目标识别获得映射特征,缺少普遍的适用性.针对这一问题,提出了一种基于注意模型的视觉替代方法.利用人眼的视觉特性,提取图像的感兴趣区域,并根据听觉显示的基本原理,提出了将感兴趣区域的位置、尺寸和颜色映射为音符响度、音长和音调的PSC映射方法.实验结果表明:将图像中引起视觉注意的区域映射为电子音符,符合人类视觉认知过程,有利于盲人获得外部环境的重要信息,降低了盲人训练和学习的难度,并且听感良好,不会造成听觉疲劳.

电刺激皮肤触觉型盲人视觉替代系统

作者在访美期间,参加了电刺激皮肤触觉型盲人视觉替代系统的开发,进一步研究皮肤处理时间和空间信息的能力。我们用装置了16个电极的腰带围在盲人腹部来显示视觉信息。一台带有mouse接口的IBM-AT计算机处理来自数字摄像机的图象。软件用C语言写成。驱动电路提供3个用户可调参数使对盲人刺激最优化。

大模型时代:电力视觉技术新起点

随着无人机、巡检机器人和远程监控系统在输电、变电、配电、安监等电力场景中的广泛应用,利用电力视觉技术完成对海量巡检图像的自动处理,能够进一步提升电力系统智能化运维水平,对我国源网荷储一体化进程的快速推进具有至关重要的作用。随着通用视觉大模型的兴起,电力视觉技术正处于从传统深度学习时代向大模型时代跨越的重要节点。该文首先综述了电力视觉技术和通用视觉大模型的最新研究进展,结合视觉大模型在多种公共场景的应用先例,探讨视觉大模型在电力视觉领域将面临的3重能力边界问题。从初步探索通用视觉大模型的潜力,到逐步构建电力视觉大模型的过程,提出4种模型应用范式以突破视觉大模型能力边界。最后分析了视觉大模型对电力视觉研究者的影响,并对大模型浪潮下电力视觉技术的发展方向进行了展望。

视觉SLAM方法综述

实时定位与建图(SLAM)技术搭载特定传感器,使移动机器人在无任何环境先验条件下,在运动过程中自主建立环境模型来计算自身位姿,大幅提高其自主导航能力,以及对不同应用环境的适应性。视觉SLAM方法以相机作为外部传感器,通过采集周围环境信息来创建地图并实时估计机器人自身位姿。为此,介绍了具有代表性的经典视觉SLAM方法及与深度学习相结合的视觉SLAM方法,分析了视觉SLAM方法中采用的不同特征检测方法、后端优化、闭环检测,以及动态环境下视觉SLAM方法的应用,总结了视觉SLAM方法的问题,并探讨了视觉SLAM方法在未来的热点研究方向和发展前景。

基于双通路视觉系统的自适应轮廓检测模型

在轮廓检测领域,背景纹理的干扰容易造成轮廓提取不完整。针对这一问题,本文提出了一种基于双通路视觉系统的自适应轮廓检测模型。首先从皮层下通路的信息采集与评估过程出发,对图像整体的显著性进行评估,以此获得轮廓信息的可能性分布;然后采用自适应尺度的高斯导函数对经典视觉通路中感受野的动态特性进行模拟,加强了模型对轮廓细节的捕获;最后在外周抑制算法的基础上,结合像素的空间分布对所有边缘的稀疏性进行度量,更加准确地区分了轮廓和纹理边缘。实验结果表明,本文模型可以有效抑制背景纹理,提升轮廓连续性,具有较好的轮廓检测性能。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

基于LIO-SAM建图和激光视觉融合定位的温室自主行走系统

为解决传统导航方案在温室内无法应对光照变化大、作物行间距窄、接收GPS信号差等问题,该研究提出了基于即时定位与地图构建技术的激光视觉融合式自主导航算法。该系统利用三维激光雷达VLP-16(Velodyne LiDAR,VLP-16)和惯性测量单元获取温室环境信息,采用基于紧耦合的雷达惯导定位建图(tightly-coupled lidar inertial odometry via smoothing and mapping,LIO-SAM)算法构建导航地图,基于轮式里程计和视觉里程计采用扩展卡尔曼滤波器算法实现局部定位,融合激光点云配准算法和自适应蒙特卡洛定位算法实现全局定位。同时,在自主行走系统应用A*算法规划全局路径和动态窗口算法规划局部路径,从而实现自主导航。试验结果表明,LIO-SAM算法构建的温室导航地图最大相对误差、最大绝对误差和均方根误差分别为9.9%、0.081和0.063 m,在温室内改进后的定位算法横向偏差小于0.020 m,纵向偏差小于0.090 m;当自主行走系统以0.15、0.30和0.50 m/s的速度运行时,横向偏差、纵向偏差和航向偏角的平均值分别小于0.120 m、0.10 m和8.5°,标准差分别小于0.070 m、0.140 m和6.6°。该导航方案满足自主行走系统在温室内高精度建图、定位和导航的需求,可为自主移动平台提供理论与技术支撑。

基于单激光束信息的掘锚装备视觉定位方法研究

煤矿井下掘锚装备智能化是改善行业采掘失衡问题的关键,而掘锚装备的精确定位是实现其智能化的前提。与其他传统定位方法相比,基于视觉的位姿测量方法以其无接触、无累计误差的优势在煤矿井下得到了初步的应用。针对目前煤矿井下掘进工作面掘锚装备视觉定位方法存在的合作标靶结构复杂、标定繁琐的问题,结合掘进工作面原有激光指向仪特征,提出一种基于单激光束信息的掘锚装备视觉定位方法。该方法通过分析激光指向仪光斑及光束图像特征,提出了一种基于二维反正切函数拟合的激光光斑中心提取方法和基于Hough直线检测的激光束中心线提取方法,构建了基于点线特征的双目视觉位姿解算模型,得出了掘锚装备在巷道中的实时位姿。最后,为了验证提出的特征提取方法和视觉定位方法的可行性和准确性,在实验室模拟掘进工作面工况环境搭建平台进行了试验。结果表明:基于矿用激光指向仪信息的掘锚装备视觉定位方法具有较高的位姿测量精度。在50 m的测试范围内,机身位置在巷道坐标系下沿X轴、Y轴和Z轴的平均测量误差分别为25.44、58.64、31.08 mm,其最大误差分别为55.16、127.39、63.57 mm;机身姿态在巷道坐标系下的俯仰角、偏航角和横滚角的平均测量误差分别为0.22°、0.22°、0.41°,其最大误差分别为0.29°、0.37°、0.58°。满足煤矿井下巷道施工的定位精度要求。

中国网络文学国际传播的视觉化研究:文化逻辑与运营机制

中国网络文学的对外译介与国际传播是当下备受关注的热点议题,也是当代中国国际传播能力建设的新话语形态。本研究认为,网络文学要实现精准有效传播,成为“注意力经济”秩序下深入人心的中国文化符号,令知识经验谱系不同的海外受众产生价值认同和文化共情,有关各方需要从认识论上高度重视并充分考量全球文化的视觉修辞与图像叙事的审美逻辑;在方法论上则要努力构建网络文学海外题材布局的多元样态,积极营造“文影漫音游”全IP联动的海外运营生态,充分探索多元译者主体协同翻译的机制,自主搭建线上翻译作品、影视改编、动漫改编、短视频改编、有声书音频改编、游戏改编等外文网站及APP协同联运的国际传播矩阵。

基于机器视觉与光谱融合的柑橘品质无损检测分级系统设计与试验

针对柑橘果径、着色率和内部糖度3项关键品质指标,基于双锥滚子式果杯传输线设计了一套柑橘综合品质无损检测分级系统,该系统主要包括喂料部分、机器视觉检测模块、近红外光谱检测模块和分级执行部分.机器视觉检测模块采用单相机拍摄不断翻滚的柑橘视频来获取大量不同姿态的柑橘图像,并进行轮廓提取,以单个柑橘所有帧图像的最小外接圆直径的平均值计算果径,以每一帧图像得到的其二维黄色占比的平均值作为全表面着色率.在近红外光谱检测模块中设计了透射式光路,采集柑橘透射率光谱,并按在线检测时柑橘出现的两种高频姿态建立了混合姿态糖度检测模型,对比不同预处理方法下的建模结果,选取应用效果较优的多元散射校正(MSC)后建立的偏最小二乘法(PLS)模型.在线试验结果表明:果径检测的最大绝对误差为-1.42 mm,着色率检测的最大绝对误差为0.048,糖度检测结果的相关系数为0.817,均方根误差为0.658%.内外品质的联合检测分级按判别树决策方法确定了3种品质的联合分级方式,在分选速度为5个/s时,综合分级的平均准确率可达到91.16%,该检测分级系统整体结构简单,对于类球形水果具有较强的适用性,在产业化应用上有很大的潜力.

从视觉中心主义到审美资本主义——以抖音为例的短视频文化解读

以短视频为代表的图像文化已进入到人们生活的各个领域,图像无处不在。短视频成为我们生活中“物”的一种类型,视觉文化不只是沟通和反映我们的生活世界,也是在创造世界。从短视频对当今社会全方位的影响程度看,它充分体现了“视觉中心主义”或“视界政体”特征。短视频系统构建了“全景敞视视界”体系,以统计学的方法形成了“全景敞视监狱”式的监视模式,并以“投其所好”的推送方式实现对观看者的无形规训;人们的窥视本能与短视频的“审美诱惑”相结合,以审美的名义实现资本利益的获取,实为一种审美资本主义。

工业机械臂辅助机器视觉的工件识别与定位

传统的工业机器人系统由于缺乏感知判断能力,很难适应目标种类和位置的变化,而现代工业需要生产不同种类和规格的产品。为此,以多品种小批量生产的零件为背景提出了一种机械臂辅助机器视觉系统,该系统能够实现对工件的图像采集并进行预处理,通过改进的Canny轮廓的提取算法与基于Hausdorff距离的模版匹配完成对不同种类工件进行识别和定位。最后经实验的验证该系统的定位精度在0.35 mm内,基本满足了在实际生产中对小批量生产、不同形状且没有固定夹具的目标工件的抓取、搬运与检测等要求。

视觉对人体姿势控制影响的脑功能网络连接机制

目的研究视觉对人体姿势控制影响及其脑功能网络连接机制。方法以15名健康青年为研究对象,要求受试者分别进行30 s睁眼、闭眼的双腿站立平衡,采集平衡过程中身体压力中心(center of pressure,COP)和脑电。对COP进行样本熵(SampleEn)计算;对脑电θ、α和β频段,计算相位滞后指数(phase lag index,PLI)构建大脑功能网络,并基于图论计算集聚系数(C)、特征路径长度(L)及小世界网络属性(σ)。结果人体在双腿站立平衡过程中,闭眼COPY样本熵显著高于睁眼(P<0.05)。闭眼α频段PLI平均值显著高于睁眼(P<0.05);闭眼α频段C、σ显著高于睁眼,L显著低于睁眼(P<0.05)。闭眼时α频段额区-中央区-顶区之间的网络连接以及中央区和顶区内连接强度显著高于睁眼(P<0.05)。闭眼时α频段PLI平均值以及C值与COPY样本熵中度呈中度负相关(P<0.05)。睁眼时左前额区、左顶区、左枕区α频段PLI平均值与COPY样本熵呈中度负相关;闭眼时左中央区、右枕区α频段PLI平均值则与COPY样本熵呈中度负相关。结论人体在站立平衡时,当没有视觉信息输入时,身体平衡稳定性下降,同时伴随着脑电α频段的脑网络连接增强以及大脑处理信息的效率需提升。人体在不同的视觉条件下进行姿势控制时,大脑会采用不同的神经策略。

基于计算机视觉的电力作业人员行为分析研究现状与展望

电力作业人员的有效监管是保障电力安全生产的基础。该文对电力视频中作业人员的行为识别研究进行了归类总结,涵盖静态行为分析(穿戴分析、动作分析和组合分析)和动态行为分析(复杂动作、时序行为和行为预测等);详细综述了电力作业行为分析中的核心算法模块,包括目标检测、姿态估计和视频跟踪等;论述了电力作业行为识别在算法高效性、鲁棒性、灵活性等方面所面临的应用难点和挑战,并展望了电力作业行为智能监控领域的未来发展方向,特别强调了在软硬件结合、通用大模型、生成式人工智能方面进行技术创新和改进所蕴含的潜在机会。

基于机器视觉的飞机故障检查系统

针对当前飞机维修检查工作以人工目视检查为主、效率低且存在人为因素影响的情况,设计一套基于图像识别与机器深度学习的飞机部件表面无损检测系统。收集并整理了某航空公司一线飞机维修员拍摄的飞机机身及发动机部件图片,对图片集进行预处理,包括通道提取、Sobel滤波处理及二值化;最后用Blob分析对处理后的图像进行特征提取与系统分析。系统运行速度快、准确率高且可连续自动识别图像。利用机器视觉技术对飞机部件表面进行无损检测不仅可以提高生产效率,同时可以去除人为因素对航空器飞行安全的影响,使得飞机的飞行安全得到进一步提升。实践证明,该系统性能稳定可靠,具有极高的推广应用价值。

基于计算机视觉的采摘机器人作业优化研究

为进一步提高我国采摘机器人智能化作业水平及采摘效率,基于计算机视觉应用技术展开优化研究。以采摘机器人结构组成为设计基点,运用视觉控制核心理念建立采摘机器人视觉识别处理与控制数学模型,实施相适应的采摘路径规划和系统采摘状态输出设计。同时,进行视觉采摘验证试验,结果表明:基于计算机视觉的采摘机器人系统优化正确可行,整机综合采摘效率可达94.61%,系统识别准确率与控制精度分别相对提升了6.12%和5.25%,机器人采摘成功率可提升至95.98%。因此,将计算机视觉处理技术有效应用至采摘机器人设计改进,对于类似农业采摘与收获装备开发研究可提供创新及借鉴思路,推广价值良好。

绘画艺术在服装设计中的视觉化展现

绘画艺术题材广泛,其造型手法纷繁多样,表现方式千变万化。借助绘画艺术的独特表现手法,汲取优秀绘画艺术作品中的设计元素,服装设计师可将创新的服装设计理念和思想转化为可视化形态,从而更为精妙地呈现服装的视觉效果,让服装设计作品更深层次地贴近消费者需求。从视觉角度出发,深入剖析绘画艺术在服装色彩、造型,以及诸多细节层面的可视化表达方式,总结了绘画艺术运用于服装设计过程中,在设计理念与设计方法等方面所采用的策略,以期对服装设计行业创新发展提供一定的参考意见。

基于深度学习与机器视觉的起重机吊装安全监测方法

随着我国经济的快速发展,各类大型工程层出不穷,对起重机吊装作业的需求不断增加。然而,吊装作业过程中依然存在众多的安全隐患,极易造成人员伤亡等安全事故。因此,该文提出一种基于深度学习和机器视觉的起重机吊装安全监测方法。将深度学习与机器视觉相结合对监控图像中的被吊物和工人进行识别和定位,同时可自主判断工人是否佩戴安全帽。根据监测模型的识别和定位信息,获得工人与被吊物之间的空间关系,为起重机吊装过程提供安全预警信息。为了提高所提方法的实用性和便携性,开发一个起重机吊装安全智能监测系统,不仅可以实时显示监控图像的识别结果,而且能够输出场景的语义描述、发出安全预警信号。