Lane Line Detection Based on Improved PINet

Accurate perception of lane line information is one of the basic requirements of unmanned driving technology, which is related to the localization of the vehicle and the determination of the forward direction. In this paper, multi-level constraints are added to the lane line detection model PINet, which is used to improve the perception of lane lines. Predicted lane lines in the network are predicted to have real and imaginary attributes, which are used to enhance the perception of features around the lane lines, with pixel-level constraints on the lane lines;images are converted to bird’s-eye views, where the parallelism between lane lines is reconstructed, with lane line-level constraints on the predicted lane lines;and vanishing points are used to focus on the image hierarchy, with image-level constraints on the lane lines. The model proposed in this paper meets both accuracy (96.44%) and real-time (30 + FPS) requirements, has been tested on the highway on the ground, and has performed stably.

基于EDLines的遥感影像直线快速提取方法研究

随着现代科学技术的发展,大数据已经成为这个时代的标志。因此快速、准确地采集图像数据变得十分重要。本文研究的是实时线段检测算法EDLines,首先通过实验对比分析及所给公式,可以获得梯度幅度和方向、线验证参数、梯度阈值、锚点阈值和扫描间隔参数值,基于所获得的参数值,在处理不同类型图像时不需要改变其参数就能获取准确的结果,然后对所研究的算法EDLines与现今已知运行较快的直线提取算法进行对比分析,得到本文所研究的EDLines算法相比较其他直线提取算法都具有最优性。最后,根据本文研究的EDLines算法对遥感影像进行直线提取,获得清晰且假阳性较少的直线提取图像。超高的精度和计算速度使实时计算机视觉和图像处理的应用迈出了崭新的一步。

基于改进HT-LCNN线段检测模型的隧洞施工活动时间信息智能提取方法

施工活动时间信息的有效提取是隧洞施工进度分析与决策的重要前提,目前常采用的一种隧洞施工活动时间记录方式是绘制横道图线段。针对传统依赖于人工统计的方式存在效率低、易出错等问题,提出基于改进深度霍夫线条先验网络(Hough Transform-Line Convolutional Neural Network,HT-LCNN)线段检测模型的隧洞施工活动时间信息智能提取方法。首先,采用单应性变换手段进行施工日志图像预处理,解决原始图像存在的倾斜、旋转、扭曲等问题;其次,利用全局上下文注意力模块(Global Context Network,GCNet)改进HT-LCNN模型的残差模块,通过建立和共享全局注意力图,获得目标线段在特征图和通道间的长距离依赖关系,提高模型对目标手绘线段的注意力,克服原有HT-LCNN方法容易受到表格线段和文字干扰的不足,实现手绘线段的高精度智能检测;进一步地,建立施工时刻-活动坐标系,根据所检测的手绘横道图线段的端点坐标位置特征,将其自动转化为施工活动时间信息。将该方法应用于某长距离引水隧洞TBM施工日志活动时间提取,本文提出的改进HT-LCNN模型的检测精度AP_(5)、AP_(10)、AP_(15)值分别为94.7%、95.0%、95.1%,均高于HT-LCNN和LCNN;基于本文方法自动提取的施工活动时间与人工提取结果相比,平均绝对误差仅为1.82 min。本研究为隧洞施工活动时间信息准确高效提取提供了新思路。

基于直线段检测和LT描述符的矿井图像线特征匹配算法

图像匹配是同步定位与地图构建(SLAM)技术中极为重要的一环,用于根据图像之间的变换关系确定相机位姿。基于线特征的图像匹配方法具有较强的鲁棒性和抗噪能力,更加适用于井下图像匹配,基于深度学习的线描述符对线段遮挡等场景具有较高的鲁棒性,性能优于传统描述符,但卷积神经网络架构的描述符将可变长度线段抽象为固定维进行描述,不利于线段长度及视差变化较大图像的匹配。针对上述问题,提出一种基于直线段检测和线描述符的矿井图像线特征匹配算法。在频域利用单参数同态滤波降低图像的照射分量,并增强反射分量,提升亮度及对比度;在YUV空间利用对比度受限的自适应直方图均衡化(CLAHE)算法对亮度分量进行均衡,使亮度分布更加均匀;变换至RGB空间提取直线段检测(LSD)线,引入一种基于Transformer架构的LT描述符构建LSD线的特征向量,最后完成线特征匹配。实验结果表明:该算法结合了同态滤波和CLAHE算法的优点,增强后图像的亮度适中,对比度良好,灰度分布均匀,增强效果优于单参数同态滤波算法、EnlightenGAN算法;该算法提取的线特征数较原图平均提升了32.92%,在不同相似纹理占比、不同程度旋转与平移变化的井下图像匹配中鲁棒性好,平均正确匹配数为61.75对,平均精度为86.83%,优于线二进制描述符(LBD)算法、LBD_NNDR算法、LT算法,能够满足矿井图像稳健匹配的需求。

基于改进HRNetV2的高寒区隧道衬砌冻害检测方法

针对修建在高寒区的隧道衬砌存在的所处环境恶劣、冻害频发、衬砌图像干扰因素多、冻害目标尺度不一致及传统人工目视检测方法效率低下且成本昂贵等问题,提出了基于HRNetV2的高寒区隧道衬砌冻害检测方法。首先以HRNetV2为基础模型,提出改进模型,在主干特征提取网络结合迁移学习的知识,在结构中引入注意力机制以加强模型对于冻害特征的学习能力,并使用Focalloss作为损失函数以解决类别不平衡问题。为验证改进后模型的性能,使用高清摄像头采集高寒区隧道衬砌冻害图像,经过裁剪及数据增强等手段,建立一个包含2800张图像的冻害数据集。实验结果表明,改进后的模型在冻害数据集上的平均交并比(mean intersection over union,mIoU)可达到89.05%,相比原始模型提升了5.41%,在面对复杂形态冻害时展现出较好的鲁棒性,可直接应用于高分辨率原图;且在综合性能上优于DeeplabV3+、U-Net、PSPNet三种模型。所提方法可准确、安全地实现衬砌冻害智能检测,可为高寒区隧道智能化运维提供一定技术支持。

激光雷达点云特征线检测与结构化研究进展与展望

实景三维(3D)建设是国家新型基础测绘建设的重要组成部分,是对在3D地理场景上承载结构化、语义化、支持人机兼容理解和物联实时感知的地理实体进行构建。而结构化是实现地理实体单体分割并获取其几何轮廓及组成结构的过程。随着大范围、城市级激光点云数据采集成本逐渐降低,3D点云的应用也越来越广泛。基于3D点云能完成生成地物的结构化表达,涉及线、面、体重建及语义分割、实例分割等。点云数据处理的核心内容是点云特征线检测、特征线线段化及特征线结构化。因此,点云特征线对点云处理和行业应用具有理论和实践价值。进行城市场景点云自适应特征线检测和精细结构化研究具有重要意义;研究点云特征线智能感知理论及结构化表达方法能为点云数据处理提供新的视角,对各类工程实践具有重要的理论指导意义,可服务于实景3D建设、二维(2D)、3D高清地图生成等具体应用。本文从点云特征线检测、点云特征线线段化、点云特征线结构化角度进行国内外研究现状综述,总结归纳点云特征线检测与结构化研究存在问题,并明确下一步研究思路。

基于直线生成的卷积霍夫线段检测

直线检测作为计算机视觉的上游任务,为下游包括工业视觉、遥感图像分析等任务提供支撑。直线检测的一大方向是霍夫直线检测,但现有霍夫检测基于近似原理设计计票器,直线检测准确度不高。为提高霍夫变换线段检测的准确度,利用卷积改进霍夫直线检测的计票器并提出基于直线生成的卷积霍夫线段检测方法。利用中值滤波对原始图像中的复杂纹理平滑处理后检测图像中的边界;通过按位异或卷积去除边界检测结果中的噪点并保留候选的线段端点;将候选的线段端点两两组合并使用布雷森汉姆算法进行线段生成,由利用卷积改进的计票器判断生成的线段是否存在于边界上;确认端点所构成线段位于边界后求取端点对之间的参数并合并参数相似的加检测结果,得到最终线段检测结果。对比实验中该方法的F1指标为0.7626,优于对比方法中最高的0.6523,证明该方法保留了霍夫变换较高鲁棒性的同时提高了检测结果的准确性。

融合多尺度特征的残差车道线检测网络

针对车道线分布范围广、占像素少、特征不易提取的问题,本文构建了一种基于多尺度特征融合的残差车道线检测网络。首先,以残差双边网络为基础,采用双边特征聚合模块,利用语义分支的上下文信息指导同一阶段的细节分支的特征响应,并融合两分支的信息;然后,针对不同阶段具有不同尺度,使用多尺度自适应特征对齐融合模块,构建采样前后偏移向量索引表,降低因简单采样而造成的细节信息缺失;最后,引入空间注意力机制,增强模型的长距离特征捕捉能力。试验结果表明,本文模型在3个公开数据集上均取得了良好效果,其中在CULane数据集上的准确度达77.89%,比目前主流算法高2%。

基于改进HybridNets的多任务驾驶感知方法

针对计算资源有限的自动驾驶系统和多任务驾驶感知算法精度低问题,提出了一种改进的HybridNets多任务驾驶感知算法。选择EfficientNetV2-S作为该算法的主干网络,降低参数数量,提高训练速度和识别准确率;结合深度可分离卷积并采用shuffle-channel方式卷积降低模型计算量;使用三个独立的解码器来解决不同难度的问题,并在主干网络与Neck端之间加入A2-Nets双重注意力机块,充分提取全局特征。与基础网络HybridNets相比,该模型在车辆检测任务中mAP50可达79.8%,提高了2.6%;可行驶区域分割任务中mIoU可达91.8%,提高了1.2%;车道线检测任务中IoU可达32.55%,提高了0.93%。运行速度达到38 FPS。实验结果表明,与现有方法相比,所提方法的准确率有较大提高。

基于语义分割的中后期玉米行间路径导航线检测

中后期玉米行间路径存在光照不足、遮挡等因素的干扰,不利于农业机器人自主作业时导航线的检测。针对此问题,本文提出一种基于改进Fast-SCNN语义分割模型的中后期玉米行间路径导航线检测算法。首先,针对目前路径语义分割模型在中后期玉米环境下边缘分割不够准确的问题,提出一种Edge-FastSCNN模型,在模型分支中引入本文提出的边缘提取模块(Edge extraction module,EEM)以获取准确的路径边界信息,并在模型中引入空间金字塔池化(Atrous spatial pyramid pooling,ASPP)模块以融合图像边界信息和深层特征。然后,基于模型预测的行间路径掩码,通过像素扫描法检测路径掩码左右边界点,通过加权平均法求得路径掩码中点。最终利用最小二乘法拟合导航线,实现中后期玉米行间路径导航线的检测。为验证所提出方法的性能,基于中后期玉米正常光照无遮挡、光照不足、阴影、杂草遮挡、叶片遮挡等5种环境,进行了模型性能对比实验和导航线检测实验。实验结果表明,模型平均交并比为97.90%,平均像素准确率为98.84%,准确率为99.39%,推理速度为63.0 f/s;模型在上述5种环境下的平均交并比为96.93%~98.01%,平均像素准确率为98.33%~99.03%,准确率为98.53%~99.12%;预测导航线与真实导航线在上述5种环境下的航向角偏差平均值为1.15°~3.16°,平均像素横向距离为1.89~3.41像素;导航线检测算法的单帧图像平均处理时间为90.04 ms。因此,本文提出的导航线检测算法满足中后期玉米行间路径导航任务的准确性和实时性要求。

基于线激光传感器的盾构管片自动拼装方法

针对盾构管片自动化拼装中的管片位姿检测问题,提出了一种无需事先标记管片且适用于几何参数未知的盾构管片自动化拼装方案,并推导了管片位姿检测算法。该方案利用安装在拼装机器人末端执行器抓取板上的5个线激光传感器分别对管片的直边和弧边进行照射,通过检测线激光照射在管片边缘而产生的偏折点的3D坐标,逐步计算出管片在拼装过程中相对于拼装机器人的基坐标系的位姿,再据此计算出机器人将待拼装管片拼装至期望位姿时,机器人末端执行器相对于基坐标系的位姿,从而实现管片的自动化拼装。为了验证该算法的有效性,在实验室环境中搭建了基于线激光传感器的管片自动拼装实验平台,并利用该平台进行了管片自动拼装实验。实验结果表明,提出的盾构管片自动拼装方法在管片定位方面表现出较小的误差,且管片拼装最大错台为1.50 mm,最大间隙为0.96 mm,符合工程要求。这为盾构管片的自动化拼装提供了一种有效的技术解决方案。

基于语义分割网络的植保机器人视觉伺服控制方法

为实现稳定可靠的植保机器人视觉伺服控制,提出了一种基于语义分割网络的作物行特征检测方法。基于语义分割网络ESNet实现农田场景图像像素级带状区域检测,并利用最小二乘算法拟合得到每条行作物线特征;在此基础上通过设计一种主导航线提取算法获取导航路径,并利用卡尔曼滤波对主导航线几何参数进行平滑处理,有效抑制了不平整地面导致的机器人运动颠簸与视觉图像测量噪声引起的导航参数波动。继而构建机器人前轮转向、后轮差速的阿克曼运动学模型;在图像空间坐标下设计纯追踪控制器实现植保机器人的伺服运动控制。大田环境下的现场实验结果为:总体横向偏差为0.092 m,验证了本文方法的有效性。

基于L0梯度平滑与图像分块聚类的海天线检测

海天线检测在海洋工程安防活动中具有重要的意义,真实海洋环境中的海天线检测易受云朵、海浪、光照变化、目标遮挡物、边界模糊等外界干扰。为了实现对真实海洋环境中海天线的检测,本研究提出一种基于L0梯度平滑和图像分块聚类的海天线检测算法。首先,对图像进行L0梯度平滑滤波,以增强海天线边缘,弱化非海天线因素干扰;接着,将图像沿着竖直方向分割成若干等宽图像块,以降低整体环境干扰,加强局部海天线检测效果;然后,通过Canny算子和霍夫变换提取每个分割图像块中的直线段;最后,采取K-means聚类算法提取每个图像块中的海天线段,拟合生成完整海天线。实验结果表明,在真实的海天线数据集中,本研究方法获取的矩形框重叠率平均精度为93.22%,角度差平均精度为7.66%,均高于文中选取的近年典型对比算法。满足实际海天线检测抗干扰强、准确率高、适应性广等要求。

基于背景抑制与改进多尺度LSD的声呐小目标检测算法

针对声呐小目标检测由于水下环境复杂、目标回波信号弱等因素造成虚警率和误检率较高的问题,文章提出基于背景抑制和改进直线分割检测(Line Segment Detection,LSD)的检测算法。首先对原始声呐数据截取序列片段,构建多周期累积历程图,凸显运动目标轨迹线特征;其次设计边缘滤波算子,有效滤除部分背景噪声,并结合投影变换进行线特征增强,不仅实现了断裂直线重连,还抑制了剩余噪声;然后基于图像金字塔改进了多尺度LSD直线分割检测算法,有效缓解了过检测问题,大幅增加了直线平均长度;最后为了合并冗余检测信息,利用运动轨迹时空一致性特征设计后处理模块,提高了检测定位精度。通过多组无人遥控潜水器(Remotely Operated Vehicle,ROV)、潜水员、空心球靶小目标序列的湖试、海试数据的定量与可视化结果定性分析,实验结果显示,文中算法与传统LSD相比,误检率和漏检率分别降低了11.2和3.9个百分点,定位误差下降了1.495个像素。结果表明,文中所提算法大幅提高了声呐小目标检测精度,为后续水下目标识别、跟踪等任务奠定重要基础。

基于改进PIDNet的水位线检测算法

PIDNet是三分支网络构成的语义分割模型,在众多竞赛数据集中均保持优秀的分割精度。然而,积分分支中进行多次下采样和金字塔池化模块中多分支特征融合冗余的缺点限制了算法精度的提高。在水位线检测任务中,现有算法的缺点会导致局部细节信息丢失,使得水体边缘精细化检测的能力有所下降。为了缓解这个问题,提出一种基于改进PIDNet的水位线检测算法。首先设计一种结合通道注意力的轻量化像素增强模块,在积分分支下采样过程中进行像素增强,减少局部信息丢失。然后对金字塔池化模块进行重构,在减小池化输出特征大小的基础上减少并行分支数,同时在特征融合时结合通道注意力进一步加强关注重要特征的能力,提高水位线边缘的分割精度。此外,融合多场景的河流数据集,避免复杂场景下检测出的水位线位置发生偏移和断线。实验结果表明,所提方法(S和M)在水位线检测任务中相对原算法(S和M)在3个性能指标上都有所提高,以M规模为例,像素正确率提高了1.47个百分点,平均交并比提高了1.04个百分点,检测延迟降低了0.9 ms。

一种机载LiDAR点云电力线自动化提取和重建方法

针对电力线走廊的机载LiDAR点云,提出了一种电力线自动化提取和重建方法。首先构建规则格网DEM,采用相对高程获得远地面点,分析点云空间分布特征对电力线点云进行粗提取,并利用局部高差的区域生长分割算法进行精细提取;其次,采用最小二乘拟合每个分割单元在xoy平面内的直线,分析该直线与对应高程数据的一阶导数变化趋势,利用密度聚类算法实现电力线的自动分段;最后,依据邻接电力线拟合求交点方式检测悬挂点位置,并采用多项式模型重构每根电力线矢量。实验结果表明,该方法能够自动化检测悬挂点位置,提取准确率高、拟合误差低,具有一定的参考价值。

结构件角焊缝表面参数检测算法研究

针对多种类结构件角焊缝特征曲面变化小,设计了一种基于线激光的角焊缝检测方法。利用机器人搭载线激光相机扫描焊缝获取点云,预处理后采用确定随机种子的RANSAC算法分割,基于最小二乘算法拟合母材平面与焊缝二次曲面,提出一种基于临域迭代均值法求取焊趾方法,计算角焊缝特征。以角焊缝工件作为实验对象,与传统结构光角焊缝检测算法对比,结果表明,该算法可以将检测进度误差控制在0.1mm以内;且重复检测偏差在±0.03mm,具有较好的准确性与稳定性。

基于YOLOv7和图像分块的车道线破损检测算法

提出了一种结合YOLOv7和图像分块的车道线破损检测方法。首先,利用YOLOv7模型检测并提取车道线区域。其次,运用Otsu法计算每个子块的阈值及子块背景区域和目标区域的灰度均值差值,以此实现二值化。然后,采用双线性插值法平滑图像,实现车道线分割,并利用拓扑结构分析法提取车道线轮廓。最后,设计了像素统计、直线拟合、割断检测3种方法判断车道线是否破损。实验结果表明:在不同场景下,该算法在破损车道线检测中的精确率为91.79%,具有较好的检测效果和一定的应用价值。

一种基于梯度的直线段检测算法

针对传统直线段检测算法计算量大、鲁棒性差的不足,本文提出了一种在数字图像中检测直线段的算法.图像梯度对于检测图像中的边缘结构具有重要意义,算法首先求取图像梯度的模值和方向;然后根据梯度模值伪排序结果采用梯度区域增长方法扩张方向一致的邻域像素,得到的连通像素区域作为直线段候选区域;最后用外接矩形描述候选区域,其长轴和短轴可作为直线段判定标准,满足判定标准的长轴就是所求的直线段,并用MATLAB对图像进行仿真实验.结果表明:本文算法耗时8.87s检测出了108条直线段,与传统算法相比,不但耗时降低了17%,而且检测出的直线段增加了16%.

“多段式”近光光型拐点检测算法研究

汽车近光拐点的检测对于前照灯的配光检测十分重要,为了准确地检测近光拐点的位置,该文提出一种基于点到折线组距离和的汽车近光光型拐点检测算法,尤其适合用于“多段式”近光光型的拐点检测。首先,需要对近光光型图进行预处理,包括平滑滤波、目标区域裁剪和二值化,再利用轮廓跟踪法,从左侧起始点对预处理图像进行边缘点提取得到边缘点和链码,然后将边缘点经过两次筛选得到候选拐点及其组合成的折线组,最后计算所有边缘点到每个折线组的距离和,其最小值所对应的候选拐点即为近光光型的拐点。实验验证,该方法可以很好地检测出“多段式”近光光型拐点以及截止线,且具有旋转不变性,具有很高的实用价值。