An Accurate and Real-time Method of Self-blast Glass Insulator Location Based on Faster R-CNN and U-net with Aerial Images

This paper proposes a new deep learning framework for the location of broken insulators(in particular the self-blast glass insulator)in aerial images.We address the broken insulators location problem in a low signal-noise-ratio(SNR)setting.We deal with two modules:1)object detection based on Faster R-CNN,and 2)classification of pixels based on U-net.For the first time,our paper combines the above two modules.This combination is motivated as follows:Faster R-CNN is used to improve SNR,while the U-net is used for classification of pixels.A diverse aerial image set measured by a power grid in China is tested to validate the proposed approach.Furthermore,a comparison is made among different methods and the result shows that our approach is accurate in real time.

一种航拍绝缘子串图像自动定位方法

绝缘子串自动定位是实现其运行状态监测与故障诊断的重要前提。针对航拍图像背景复杂的特点,提出一种基于阈值分割和二值形状特征描述的绝缘子串自动定位方法。先利用基于非下采样Contourlet变换(NSCT)的灰熵模型和细菌觅食-粒子群优化(BF-PSO)算法求取阈值,将原始航拍图像分割为二值图像,再利用二值图像中绝缘子串的形状特征,对其特征进行数字化描述,并以此为依据去除非绝缘子目标,实现绝缘子的自动定位。实验结果表明,提出的分割方法可以把目标和背景区分开来,边缘完整、连续,目标内部空洞少,抗噪性好;提出的定位方法可以完成复杂背景下绝缘子串的定位,定位精度高,速度快。该方法无需人工参与,可以为绝缘子的状态监测与故障诊断奠定基础。

一种电网巡检航拍图像中绝缘子定位方法

提出了一种电网巡检航拍图像中绝缘子定位方法。该方法利用遗传算法改进的最大类间方差法对航拍绝缘子图像进行阈值分割,然后基于形态学滤波重构;采用Sketch Up软件构建绝缘子图像库,即正样本,对该正样本和负样本(背景)分别提取Hu不变矩来训练Ada Boost分类器;利用训练好的分类器对分割后的绝缘子进行分类和粗定位;通过顺序割图法(Order Cut method,OC)对粗定位得到的包含同一个绝缘子的所有矩形的并集的初始最小外接矩形进行裁割,最终获得精细定位的完整绝缘子。实验结果表明,该方法能从航拍图像中有效、精确地定位不同类型、不同长度的完整绝缘子。

基于SFFS多特征选择的航拍图像目标检测

针对航拍图像目标多变、目标角度变化丰富以及背景复杂等特点,提出基于SFFS(Sequential Floating Forward Selection)多特征选择的航拍图像目标检测方法。首先,引入BING(Binarized Normed Gradients)算法进行目标粗定位,克服航拍图像数据量大、检测效率低等问题。其次,提取航拍图像的RI-LBP (Rotation Invariant LBP)特征、FD(Fourier Descriptor)形状特征和RIFF(Rotation Invariant Fast Feature)特征对航拍图像进行描述,避免单一特征描述能力不足带来的误检测率高的问题。最后,基于SFFS贝叶斯分类算法对RI-LBP特征、FD特征和RIFF特征集合进行最优子集选择,以进一步提高特征的泛化性与鲁棒性。实验结果表明,该多特征航拍图像目标检测算法不仅对航拍角度变化具有更强的鲁棒性,且在减少特征维数的同时,提高了目标检测的平均准确率,满足实时性的需求。

基于CNN的多尺寸航拍图像定位方法的研究与实现

图像定位常用于无人机视觉导航,传统的无人机视觉导航广泛采用景象匹配导航方式,随着计算机技术的不断发展,深度学习技术为视觉导航的实现提供了新途径。以无人机的垂直侦查为背景,将飞行区域的航拍图像划分成大小相同的若干网格,每个网格代表一类区域,用网格图像制作数据集训练卷积神经网络(CNN)。基于AlexNet设计了一种融合显著性特征的全卷积网络模型,有效实现了一个基于CNN的多尺寸输入的滑动窗口分类器,并提出了一种邻域显著性参照定位策略来筛选分类结果,从而实现多尺寸航拍图像的定位。

无人驾驶飞机精确定位方法研究

GPS技术已广泛应用于无人驾驶飞机的空间定位和导航,但在战时、困难地区的应用会受到限制。文章提出了一种利用多点约束的影像匹配技术实现无人机精确定位的方法,该方法基于多点约束的思想提高了影像匹配的可靠性,同时利用匹配获取的多个同名点解决了由于无人机空中姿态变化引起的单点无法精确定位问题。该方法首先对无人机获取的实时影像和基准影像进行小波变换处理,以便从实时影像上获得足够的明显特征点,然后利用影像匹配和匹配点之间的位置约束关系获取基准影像上的同名点位,使用这些同名点,可以得到精确的无人机空间位置。

利用影像匹配和摄影测量实现无人机精确导航

GPS技术已广泛应用于无人机的空间定位和导航,但在战时、困难地区的应用会受到限制。本文提出了一种利用影像匹配和摄影测量原理实现无人机精确定位和导航的方法,首先对无人机获取的实时影像和基准影像进行小波变换处理,以获得足够的初选同名点位,然后利用最小二乘影像匹配获取精确的同名点坐标,使用这些同名点,经摄影测量处理得到了精确的无人机空间位置。

基于CCD摄像头的航空相机最佳成像位置定位系统

航空相机用来获得地面图像信息,是圆满完成侦察任务的重要的前提条件。提出了一种定位航空相机最佳成像位置的系统,论述了系统的工作原理、硬件组成。该系统采用光学准直系统产生定位信息,利用CCD摄像头作光电转换器件接收图像,采用最小二乘法处理数据,由测控系统控制摄像头轴向的精确平移,根据采集的图像尺寸定位相机的最佳成像位置,利用实际成像面与最佳成像位置之间的距离判断是否离焦。通过对多部航空相机进行测试,是否离焦的判断与试飞结果完全相同。

基于定点航拍图像序列的运动目标跟踪方法

定点航拍图像序列不仅包括目标物的运动信息,同时包括外界环境干扰或自身抖动信息。针对航拍图像序列的背景抖动,对前后帧进行Fast特征点检测匹配,并对当前帧进行仿射变换至前帧的参考坐标系中;针对航拍图像序列中的运动目标,采用Kalman滤波来预测运动信息,设置置信度区间减少Meanshift目标检测迭代的次数。仿真表明:结合Fast特征点的背景运动补偿与改进的Meanshift目标跟踪方法,可有效地补偿外界扰动或自身抖动对航拍图像序列的影响,并对目标物进行快速的跟踪。

航空视频图像地理定位处理技术分析

在飞行平台上安装视频摄像机实施对地面进行观测、勘测、监视越来越多地被用于城市建设、森林植被勘测、边境安全监视、反恐和缉毒等各行各业中。在各种实际的应用中,不但要求获取清晰的视频图像,更要求对视频图像中的地面目标和场景实现地理定位。描述了目前使用的直接定位处理技术和精确定位处理技术,给出了直接定位技术原理和误差分析,并对如何实现航空视频图像精确定位处理方法提出了处理模型和流程。

基于Faster R-CNN的松材线虫病受害木识别与定位

松材线虫病是一种毁灭性松树传染病,其传播速度快、发病时间短、致病力强,及时发现、确定受害木的位置,并采取安全处理措施是目前控制松材线虫病蔓延的有效手段。本文通过小型无人机搭载可见光RGB数码相机获取超高空间分辨率影像,采用Faster R-CNN目标检测算法实现对染病变色松树的自动识别,与传统受害木识别方法不同,本文考虑了其他枯死树和红色阔叶树对受害木识别的影响。实验结果表明,根据受害木的冠幅大小修改区域生成网络中的锚框(anchor)尺寸,并考虑其他枯死树和红色阔叶树的影响,有利于提高受害木识别效果和检测精度。改进后受害木识别总体精度从75.64%提高到82.42%,提高了6.78个百分点,能够满足森林防护人员对受害木定位处理的需求。通过坐标转换的方式得到受害木的精确位置信息与空间分布情况,结合点位合并过程,最终正确定位出494棵受害木。本文通过无人机遥感结合目标检测算法能监测松材线虫病的发生和获取受害木的分布情况,可为松材线虫病的防控提供技术支持。

航拍图像序列的地面运动目标跟踪

建立了一套针对航拍图像的运动目标跟踪系统。根据航拍图像序列存在背景运动的特点,运用了一种基于稀疏采样的局部补偿误差函数泰勒展开法,求得背景模型参数,补偿背景运动;根据背景运动矢量和目标运动矢量不同的特点,采用了运动矢量聚类的算法,对多个潜在目标准确定位,并建立跟踪器找出真实目标进行跟踪。针对图像匹配可能产生的误差,提出对匹配结果进行聚类,以提高求得的背景模型参数的精确性,又针对差分图像中运动目标信息的不完整的特点,根据目标残缺信息先取得目标完整边缘信息,再进行目标定位,提高了定位的精度,并给出了部分实验结果。结果表明,该算法对噪声和光照具有很强的抑制性,能快速有效地对运动目标进行跟踪。

基于机器视觉深度学习的绝缘子前端定位方法

将尚未应用于电力领域的SSD(single shot multibox detector)深度学习算法和现场可编程门阵列(field-programmable gate array,FPGA)硬件加速方法应用于电力巡检无人机,设计了一种基于目标图像识别技术的绝缘子前端定位系统。首先,计算目标物在图像像素坐标系中的位置坐标,并分别计算该位置在X方向、Y方向与图像中心的位移偏差值;然后,根据坐标转换关系,将位移偏差值转化为2个偏转方向上的偏转角值;最后,将偏转角信息作为控制参数反馈给云台,驱动电动机完成摄像机的转动,使拍摄的目标物保持在摄像机视野的中心位置,利用经过图像数据库训练的SSD深度学习算法实现绝缘子定位。检测结果显示,该系统能够准确地对绝缘子进行定位,数据处理速度较快,提高了巡线效率。

基于图像匹配的无人机目标定位方法

利用无人机的侦察图像对目标进行精确定位的过程中,针对无人机图像与基准图像不可避免地存在尺度变化、旋转变化和光照变化,提出了一种改进SIFT的图像匹配方法。在特征点匹配时,采用简单的准欧式距离作为相似度量准则,并按照DoG空间结构由粗至精进行匹配。实验结果表明,该方法可以实现图像之间的精确匹配,对噪声、光照变化和局部场景变化具有较强的鲁棒性和实时性,为无人机目标定位提供了一种可行和有效的手段。

结合航拍图与车载图像的车辆路面位置定位

在道路交通事故司法鉴定实践中,准确定位事故车辆在路面上的位置,对事故过程还原和事故成因分析具有重要意义。引入航拍及三维激光扫描技术,运用几何映射原理,提出了一种利用航拍图像景物特征与车载视频图像景物特征相匹配的方法,对事故车辆的路面位置进行定位。该方法既无需构建一致性场景,也无需在原始现场中放置车辆;仅通过对原始现场及标定现场进行航拍,捕捉相关环境特征及车辆特征;并结合事故车辆的车载视频图像,将车辆图像放置在原始现场的航拍图中,以获取相关车辆的位置参数。结果表明,以图像中央区域特征和车前近距离特征为基础,当选择一组特征的视角约为20°时,车辆路面位置的定位效果最佳,其定位误差可控制在20 cm以内。

基于视觉的无人机感知与规避系统设计

结合无人机自身携带的光电平台,设计了一个面向空中动态目标的无人机感知与规避系统。使用图像阈值法结合帧差法检测出运动目标,利用Mean shift与Kalman滤波融合,在图像中实时跟踪目标;利用自抗扰控制器控制无人机光电平台光轴指向目标并进行激光测距以实现目标定位;最后采用人工势场法,实时地计算下一时刻航路点,对目标进行规避。仿真实验表明:针对虚拟现实产生的模拟视频流,系统所采用方法具有良好的实时性和有效性。