大模型时代:电力视觉技术新起点

随着无人机、巡检机器人和远程监控系统在输电、变电、配电、安监等电力场景中的广泛应用,利用电力视觉技术完成对海量巡检图像的自动处理,能够进一步提升电力系统智能化运维水平,对我国源网荷储一体化进程的快速推进具有至关重要的作用。随着通用视觉大模型的兴起,电力视觉技术正处于从传统深度学习时代向大模型时代跨越的重要节点。该文首先综述了电力视觉技术和通用视觉大模型的最新研究进展,结合视觉大模型在多种公共场景的应用先例,探讨视觉大模型在电力视觉领域将面临的3重能力边界问题。从初步探索通用视觉大模型的潜力,到逐步构建电力视觉大模型的过程,提出4种模型应用范式以突破视觉大模型能力边界。最后分析了视觉大模型对电力视觉研究者的影响,并对大模型浪潮下电力视觉技术的发展方向进行了展望。

视觉SLAM方法综述

实时定位与建图(SLAM)技术搭载特定传感器,使移动机器人在无任何环境先验条件下,在运动过程中自主建立环境模型来计算自身位姿,大幅提高其自主导航能力,以及对不同应用环境的适应性。视觉SLAM方法以相机作为外部传感器,通过采集周围环境信息来创建地图并实时估计机器人自身位姿。为此,介绍了具有代表性的经典视觉SLAM方法及与深度学习相结合的视觉SLAM方法,分析了视觉SLAM方法中采用的不同特征检测方法、后端优化、闭环检测,以及动态环境下视觉SLAM方法的应用,总结了视觉SLAM方法的问题,并探讨了视觉SLAM方法在未来的热点研究方向和发展前景。

基于深度学习与机器视觉的起重机吊装安全监测方法

随着我国经济的快速发展,各类大型工程层出不穷,对起重机吊装作业的需求不断增加。然而,吊装作业过程中依然存在众多的安全隐患,极易造成人员伤亡等安全事故。因此,该文提出一种基于深度学习和机器视觉的起重机吊装安全监测方法。将深度学习与机器视觉相结合对监控图像中的被吊物和工人进行识别和定位,同时可自主判断工人是否佩戴安全帽。根据监测模型的识别和定位信息,获得工人与被吊物之间的空间关系,为起重机吊装过程提供安全预警信息。为了提高所提方法的实用性和便携性,开发一个起重机吊装安全智能监测系统,不仅可以实时显示监控图像的识别结果,而且能够输出场景的语义描述、发出安全预警信号。

GNSS/SINS/视觉导航鲁棒算法

全球导航卫星系统(Global Navigation Satellite System, GNSS)、捷联惯性导航系统(Strapdown Inertial Navigation System, SINS)和视觉传感器优势互补,3者信息融合可获得高精度、无漂移的导航定位信息.针对GNSS/SINS/视觉融合导航易受运动速度、光照变化、遮挡等影响导致定位精度和鲁棒性降低问题,本文在图优化框架的代价函数中加入SoftLOne鲁棒核函数,设置量测值粗差检验程序,降低离群点带来的负面影响.进一步,对量测值计算残差进行卡方检验,对超限残差降权处理,提高系统精度和鲁棒性.实验结果表明,本文算法较不施加鲁棒核函数、不采用异常值剔除策略和卡方检验的传统算法,以及加入其他鲁棒核函数的算法精度更高、鲁棒性更好,能够较大程度提升GNSS/SINS/视觉导航定位精度和鲁棒性,在大尺度环境下,未出现较大漂移误差,绝对位姿均方根误差0.735 m,绝对位姿误差标准差0.336 m.

基于LIO-SAM建图和激光视觉融合定位的温室自主行走系统

为解决传统导航方案在温室内无法应对光照变化大、作物行间距窄、接收GPS信号差等问题,该研究提出了基于即时定位与地图构建技术的激光视觉融合式自主导航算法。该系统利用三维激光雷达VLP-16(Velodyne LiDAR,VLP-16)和惯性测量单元获取温室环境信息,采用基于紧耦合的雷达惯导定位建图(tightly-coupled lidar inertial odometry via smoothing and mapping,LIO-SAM)算法构建导航地图,基于轮式里程计和视觉里程计采用扩展卡尔曼滤波器算法实现局部定位,融合激光点云配准算法和自适应蒙特卡洛定位算法实现全局定位。同时,在自主行走系统应用A*算法规划全局路径和动态窗口算法规划局部路径,从而实现自主导航。试验结果表明,LIO-SAM算法构建的温室导航地图最大相对误差、最大绝对误差和均方根误差分别为9.9%、0.081和0.063 m,在温室内改进后的定位算法横向偏差小于0.020 m,纵向偏差小于0.090 m;当自主行走系统以0.15、0.30和0.50 m/s的速度运行时,横向偏差、纵向偏差和航向偏角的平均值分别小于0.120 m、0.10 m和8.5°,标准差分别小于0.070 m、0.140 m和6.6°。该导航方案满足自主行走系统在温室内高精度建图、定位和导航的需求,可为自主移动平台提供理论与技术支撑。

微波视觉与SAR图像智能解译

高分辨率雷达成像技术和人工智能、大数据技术的快速发展,有力促进了雷达图像智能解译技术的进步。由于雷达传感器本身的特殊性和电磁散射成像物理的复杂性,雷达图像的解译缺乏光学图像的直观性,准确迅速识别分类的需求对雷达图像解译提出了迫切的挑战。在借鉴人脑光视觉感知机理和计算机视觉图像处理相关技术基础上,进一步融合电磁散射物理规律及其雷达成像机理,我们提出发展微波域雷达图像解译的“微波视觉”的新交叉领域研究。该文介绍微波视觉的概念与内涵,提出微波视觉认知模型,阐述其基础理论问题与技术路线,最后介绍了作者团队在相关问题上的初步研究进展。

采摘机器人机械臂运动控制与目标抓取研究——基于嵌入式和机器视觉技术

首先,从整体方案、视觉定位系统和运动控制系统完成了对采摘机器人机械臂控制系统的设计;然后,基于图像处理技术设计了目标物体识别与抓取策略;最后,基于RRT算法研究了对采摘机器臂运动轨迹的控制方法,实现了对采摘机器人机械臂运动控制与目标抓取系统。采摘试验结果表明:系统对苹果的识别和定位准确度比较高,采摘成功率达到了100%,对采摘机器人自主采摘的实现具有一定的现实意义。

基于机器视觉的木窗双端铣削加工尺寸测量方法

木窗是一种以木材或木质复合材料为主要构件的门窗产品,具有良好的生态性能和美观效果,适用于多种建筑形式和风格,其中木窗尺寸是衡量木窗加工是否合格的重要指标。对于传统木窗双端铣削加工中人工测量尺寸方式存在的精度低、效率低等问题,提出一种基于机器视觉的木窗双端铣削加工尺寸测量方法,以期提高尺寸测量精度及加工效率。该方法针对木窗厚度引起的透视效应,提出一种物平面提升法,以消除透视投影带来的误差。首先对木窗图像采取灰度化、平滑去噪、图像增强及轮廓分割等举措,完成图像预处理,提取出木窗内外轮廓区域。对轮廓区域应用Canny算子获取木窗像素级轮廓。通过优化的Zernike矩亚像素边缘提取算法对木窗像素级边缘进行更精确的定位,得到亚像素级轮廓坐标。通过最小二乘法联合RANSAC算法对亚像素轮廓坐标进行拟合,得到拟合轮廓及角点坐标,并使用透视矫正模型计算出木窗尺寸。实验利用3种厚度规格相同但尺寸不同的松木材质矩形木窗,分别测量其内框和外框的边框尺寸及对角线尺寸,并与对应的实际物理尺寸对比,验证了所提木窗尺寸测量方法的检测精度。研究结果表明,所提方法与实际物理尺寸值相比,其绝对误差范围在±0.12 mm之内,相对误差在±0.1%之内,且效率及精度高,可以满足对木窗的在线尺寸检测。

面向目标检测的视觉注意机制波段选择研究

近年来,波段选择在高光谱图像降维处理中得到了广泛地应用,然而常用的数据降维方法并没能将与人类视觉系统相关的信息进行有效利用,如果将人类与生俱来的视觉注意机制能力应用到高光谱图像中目标的视觉显著性特征的增强或识别,对于高光谱图像的目标检测研究无疑会产生相当的促进作用。研究提出引入视觉注意机制理论应用于波段选择研究,构建面向目标检测应用的视觉注意机制波段选择模型。通过分析计算波段图幅的目标与背景的可识别程度,量化所在波段对地物目标与背景的判别能力,提出了基于目标视觉可识别度的波段选择方法;利用LC显著性算法进行空间域的视觉显著性目标分析,计算背景与目标的显著性差异绝对值,提出基于LC显著目标结构分布的波段选择方法。将这两种方法结合提出的改进子空间划分方法,建立面向目标检测的视觉注意机制波段选择模型,并经高光谱遥感AVIRIS San Diego公开数据集进行目标检测实验验证,结果表明所提出的基于视觉注意机制的波段选择模型对于目标检测应用具有较好的检测效果,实现了数据降维和高效的计算处理。

基于双通路视觉系统的自适应轮廓检测模型

在轮廓检测领域,背景纹理的干扰容易造成轮廓提取不完整。针对这一问题,本文提出了一种基于双通路视觉系统的自适应轮廓检测模型。首先从皮层下通路的信息采集与评估过程出发,对图像整体的显著性进行评估,以此获得轮廓信息的可能性分布;然后采用自适应尺度的高斯导函数对经典视觉通路中感受野的动态特性进行模拟,加强了模型对轮廓细节的捕获;最后在外周抑制算法的基础上,结合像素的空间分布对所有边缘的稀疏性进行度量,更加准确地区分了轮廓和纹理边缘。实验结果表明,本文模型可以有效抑制背景纹理,提升轮廓连续性,具有较好的轮廓检测性能。

基于车载视觉的端到端驾驶员疲劳检测模型

营运驾驶员长时间疲劳驾驶是导致事故发生的重要原因,为此,企业在营运车辆上安装相机采集驾驶员面部视频,基于模型和算法自动识别驾驶员的疲劳状态,通过语音提醒甚至启用远程护航进行疲劳干预,以此提高驾驶安全。现有的疲劳检测研究大多数都是基于面部关键点检测的算法,该类算法对面部视频的质量要求严格。在真实的营运行车环境中,夜晚光线过差,相机位置安装不理想,驾驶员面部遮挡等均会造成关键点检测失效,从而影响模型的准确性。基于卷积神经网络(CNN)和长短时记忆神经网络(LSTM)设计了一种端到端营运驾驶员疲劳检测模型,该模型以相机采集的驾驶员面部视频作为输入,使用CNN网络提取视频单帧特征,在此基础上将时序单帧特征作为LSTM网络的输入来最终识别驾驶员的疲劳状态,实验表明,模型的接收者操作特征曲线下面积(AUC)为0.9,远优于现有的面部关键点模型。此外,为了提高该模型在实际行车环境中的鲁棒性,基于光线变化及相机变化的模拟操作在训练数据上进行了数据增强,通过模型重训练进一步提高了模型的精度及鲁棒性。实验结果表明,改进前,营运车辆行车环境下模型的AUC相比实验室模型下降37.3%,而改进后AUC仅下降9.7%,模型的鲁棒性得到改善,能够更好地适应复杂的营运车辆自然驾驶环境。

动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

基于单激光束信息的掘锚装备视觉定位方法研究

煤矿井下掘锚装备智能化是改善行业采掘失衡问题的关键,而掘锚装备的精确定位是实现其智能化的前提。与其他传统定位方法相比,基于视觉的位姿测量方法以其无接触、无累计误差的优势在煤矿井下得到了初步的应用。针对目前煤矿井下掘进工作面掘锚装备视觉定位方法存在的合作标靶结构复杂、标定繁琐的问题,结合掘进工作面原有激光指向仪特征,提出一种基于单激光束信息的掘锚装备视觉定位方法。该方法通过分析激光指向仪光斑及光束图像特征,提出了一种基于二维反正切函数拟合的激光光斑中心提取方法和基于Hough直线检测的激光束中心线提取方法,构建了基于点线特征的双目视觉位姿解算模型,得出了掘锚装备在巷道中的实时位姿。最后,为了验证提出的特征提取方法和视觉定位方法的可行性和准确性,在实验室模拟掘进工作面工况环境搭建平台进行了试验。结果表明:基于矿用激光指向仪信息的掘锚装备视觉定位方法具有较高的位姿测量精度。在50 m的测试范围内,机身位置在巷道坐标系下沿X轴、Y轴和Z轴的平均测量误差分别为25.44、58.64、31.08 mm,其最大误差分别为55.16、127.39、63.57 mm;机身姿态在巷道坐标系下的俯仰角、偏航角和横滚角的平均测量误差分别为0.22°、0.22°、0.41°,其最大误差分别为0.29°、0.37°、0.58°。满足煤矿井下巷道施工的定位精度要求。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

形状匹配的铁路油罐车罐口视觉定位方法

为了克服非均匀光照、车型以及摄像机安装位置等因素造成的罐口定位误差,提出了一种基于形状匹配的铁路油罐车罐口视觉定位方法。利用罐口为标准几何形状的特点,使用标准图像提取罐口边缘并进行形状拟合;将得到的轮廓形状作为图像识别模板,在待搜索图像中使用基于轮廓的归一化互相关查找目标;在搜索过程中对形状模板进行缩放,以兼容不同型号车型罐口;利用图像金字塔技术减小计算量,加快匹配速度。结果表明,所提出的方法满足误差要求,能够应用于工业现场。

一种四轴飞行器单目视觉测距算法

为解决四轴飞行器在执行目标检测与跟踪任务时无法判断机身与障碍物或跟踪目标之间安全距离问题,提出一种四轴飞行器单目视觉测距算法,算法融合基于帧间差分技术的水平测距模型与基于小孔成像的垂直测距模型.首先,算法可利用基于YOLOV4-Tiny的目标检测算法识别视频帧中的物体类别,并可在视频帧中框选出被测物体,依据现场环境选择最佳的测距方法进行测距;其次,系统终端执行测距方法,基于被测物体的视频帧成像位置与设定参数之间的差值控制四轴飞行器飞行,并记录飞行数据;最后,通过测距模型对飞行数据进行处理,计算出四轴飞行器在初始位置和最终位置与被测物体之间的距离.通过在特洛(Tello)飞行器平台上的实际飞行验证,实验结果表明所提出的四轴飞行器单目视觉测距算法可以有效分析出视频帧中各物体的景深,测距误差百分比均值为4.07%.在四轴飞行器与障碍物或跟踪目标之间距离较近,却无法评估此距离是否处于安全距离时,所提出的算法可为搭载单目摄像头的四轴飞行器提供可靠的测距技术支持.

复杂环境下基于视觉/惯性的单兵自主定位性能评估

针对在卫星信号拒止等复杂环境下单兵自主定位精度低的问题,提出基于视觉/惯性测量单元(IMU)的单兵自主定位技术。将高效的IMU初始化方法融合到ORB-SLAM3算法并应用于单兵自主定位技术中,评估了单兵实时运动整体定位精度,重点分析了改进ORB-SLAM3算法在单目/IMU、双目/IMU下的定位精度准确性和鲁棒性。实验表明:在复杂树林环境下,单兵在基于视觉/IMU自主定位时,改进算法的IMU初始化时间最少提高了10 s,双目/IMU的估计轨迹曲线更加吻合实际运动轨迹曲线。在绝对轨迹误差的各项评估指标中,双目/IMU比单目/IMU的均方根误差提高了24.67%,而且定位精度和鲁棒性都要优于单目/IMU,为城市巷战中单兵自主高精度定位的实现提供了一种切实可行的思路和举措。

基于计算机视觉的腰背痛患者痧象图片处理和分析研究

目的提出痧象图片处理和分析的思路和方法,为痧象数字化研究提供参考。方法以计算机视觉技术为基础,以腰背痛患者背部痧象处理和分析为目标,提出痧象图片预处理、特征提取和筛选、痧象分析等系列方法,并进行实验验证。结果痧象预处理方法能够实现原始图像颜色校正和背部区域精准分割;特征提取方法提取了腰背痛患者94个痧象颜色和纹理特征,筛选得到20个关键特征;痧象分析方法能够找到与不同证候相关的关键特征。结论利用计算机视觉方法能够较好地完成痧象图片的预处理、特征识别和提取、痧象分析和理解,可以为痧象数字化和客观化研究提供支撑。

基于检测框下边沿的单目视觉车辆测距研究

对车辆测距是当今驾驶领域的热门研究方向。针对传统测距方法测距精度受到车型大小影响的问题以及前车存在的X轴偏移问题,提出了基于检测框下边沿中心点的车辆测距模型。该模型通过使用单目视觉摄像头及车辆检测算法获取前方车辆的位置信息,并通过车辆检测框得出的下边沿中心点坐标,以及相机安装的俯仰角信息综合建立了车辆测距模型,解决了车型大小带来的误差问题;通过构建三角函数模型,解决了前车相对于实验车辆存在的X轴分量问题,并优化改进了前车安全距离的判定方式;设定车尾矩形框中心点横坐标与车辆外接矩形框宽度的比值λ,根据λ取值分情况讨论,使该模型更符合场景应用需要。并提出了基于测距关键点的逆透视变换模型,减小了测距误差。实验表明,改进后测距模型的测距精度不受车型大小的影响且能考虑到前车位置的X轴分量问题,改进后的测距模型相对于传统测距模型,测距误差降低了约1.5%,且测距精度明显提高。

基于图像视觉检测技术的激光标线仪校准装置研究

针对传统激光标线仪靶标测量方法难度大、人工读数困难且效率低的问题,基于图像视觉检测技术,设计了激光标线仪校准装置硬件系统及软件算法。通过数据采集单元、靶标系统单元和多功能升降工作台单元搭建出系统硬件装置。采用图像预处理方法将原始图像激光线与背景分割,提取出基准中心原点并进行系统标定,利用骨架提取算法拟合出激光测量线,计算出计量特性的偏移量,并根据算法设计出交互软件,自动测量和保存数据。最终通过所研制的校准装置和传统校准方法,校准同一激光标线仪进行比对实验,实验结果|E_(n)|≤1,结果判定为满意,验证了校准系统的可行性。