基于三角函数的加权平均全景环视图像融合方法

全景环视(AVM)系统是减小汽车盲区的有效工具,针对已有AVM图像中存在的拼接缝以及拼接误差等问题,提出了两种依据像素坐标的三角函数值计算权值的像素级图像融合方法。对于短距AVM图像的融合,提出了一种以融合区域像素坐标的正弦/余弦值为融合权重的图像融合方法,命名为“时钟扫描图像融合法”;对于长距AVM图像的融合,提出了一种依据正切函数曲线拟合矩形融合区域,并利用正切函数系数构造权值区间确定各像素权重系数的方法,以同时顾及3条融合边界,称之为“tan—加权图像融合法”。研究结果表明,两种图像融合方法在消除相邻图像之间的拼接缝、提升融合图像的清晰度等方面具有良好效果,可实现融合区域的平滑过渡。

一种基于环视图像的空停车位检测方法

停车位检测是自动泊车系统的重要组成部分.针对车位线及角点不清晰或出现遮挡情况下的车位难以检测问题,提出了一种基于环视图像的空停车位检测方法.该方法将整个空停车位视为一个整体,在空停车位车位线及角点信息不完整的情况下利用MobileNetV3进行特征提取并构建特征金字塔,进而实现分类、边框回归和语义分割,再根据Douglas-Peucker算法对语义分割结果进行拟合得到空停车位.实验表明,所提方法在ps2.0数据集测试集中挑选出的车位线及角点不清晰或者出现遮挡的197张测试图片中检测性能优秀,精确率达到98.39%,召回率达到97.21%,实现单帧11 ms的检测速度,能对不同环境下的不同类型车位进行检测.此外该方法在自注释数据集上具有优秀的性能,有较好的泛化能力.

物体坐标系曲面投影立体环视图像生成算法

针对立体环视图像拼接准确度的难点,提出了一种基于物体坐标系的曲面投影图像拼接算法.根据实际应用场合建立合适的三维模型,对图像进行基于物体坐标系的纹理映射,将三维模型划分为融合、非融合区域,将原始图像映射到非融合区域,对于拼接融合区域,结合模型特点,设计了一种基于角度信息的加权平均融合算法,对拼接后的图像进行颜色校正,消除光照不均、亮度及色度差异现象.算法通过车载立体环视图像的生成验证其有效性,实验结果表明,生成的立体环视图像能够以立体的形式显示车身周围环境,图像拼接准确度较高,视觉效果佳.

基于全景环视的端到端停车位检测方法

现有停车位检测方案大多将目标检测方案和人工设计的后处理模块进行简单结合,各阶段提取的特征存在大量冗余信息.并且,人工设计的后处理模块通常适应面窄,计算量大,最终导致停车位检测效果难以实用.针对这些问题,本文引入全景视觉,结合现有算法的优点与环视图像的特点,设计端到端的无锚框停车位检测算法.该算法对停车位进行进入线朝向建模,而非单独考虑两个入口点,省去了停车位入口点匹配和朝向判断流程,最终实现完全一体化的停车位位置、朝向和占用情况检测.考虑到实用性,在网络结构设计上进行了速度和精度的平衡、正负样本均衡,以及无后处理等多方面优化.最终,在ps2.0数据集上,本文提出的AFPSD模型以88.7的FPS(每秒帧数)达到68.7%的AP,相较VPS-Net和DMPR-PS方案精度分别提升1.2%和2.1%.由此可知,本文设计的一阶段端到端方案可以代替三阶段方案,在环视图像上实现停车位的稳定检测.

一种基于环视图像的车辆开门碰撞预警方法

为避免汽车停车开门时车门和外界的移动物体产生碰撞,提出了一种基于环视图像的车辆开门碰撞预警方法.该方法采用安装在车上的四个鱼眼摄像头获取车辆四周图像,然后在四个图像上设置与潜在碰撞运动方向平行的扫描线,利用扫描线上的像素点构成时空信息图,对时空信息图中的边缘线进行提取和拟合,根据每条边缘线的斜率进行统计得到决策向量后做出决策.实验结果表明,该方法可以有效实现对汽车开门时人视线盲区内存在的威胁的预警,辨识率约99.3%,误检率低于1%.

基于障碍物和车位检测的单阶段多任务YOLO-Parking算法研究

文章提出一种基于YOLOv4的端到端多任务网络模型用于自动泊车系统中的感知任务,以环视图像(around view monitor, AVM)作为网络输入,基于卷积网络提取图像特征信息,通过YOLO和DMPR-PS(directional marking-point regression-parking slot)检测头实现停车位与障碍物并行检测。在PS 2.0公开数据集上进行验证的结果表明,所提出的多任务检测方法能够同时检测停车位和障碍物,障碍物识别平均精度均值达到89.72%,车位识别查准率达到93.53%,网络检测速率为34.0帧/s,在满足自动泊车感知任务需求的同时提升了系统的检测效率。该文研究成果对自动泊车感知技术的发展具有一定的意义。

一种基于环视系统的车位检测方法

针对传统视觉系统视野有限的问题,提出了一种基于环视系统的车位检测方法。环视系统由4个鱼眼相机构成,对每个相机获取的图像进行畸变校正和逆透视变换得到鸟瞰图;使用加权平均融合的策略将4幅鸟瞰图拼接融合为一幅环视图,该环视图像能显示的左右最远距离能达到7.5m;在环视图的基础上,提出了一种新颖的车位检测算法,该算法利用LSD(Line Segment Detector)算法检测环视图像中的直线。实验表明,该方法比常用的霍夫变换具有较高的检测精度和鲁棒性,并且能够达到实时的要求。

停车场环境下的视觉惯性里程计

为解决自动驾驶汽车在停车场环境下停车过程中的定位问题,本文针对停车场环境设计了基于惯性测量单元和环视图像的视觉惯性里程计。利用逆透视变换拼接多个相机传回的图像组成环视图像,并提取所需的视觉特征,之后配准估计车辆位姿;将视觉特征拼接成局部地图后,再将局部地图与全局地图拼接,构建停车场的地面点云地图;融合惯性测量单元测量数据和位姿构建了基于误差状态卡尔曼滤波器的松耦合视觉惯性里程计。在机器人操作系统下实现算法并设计仿真环境进行了在线仿真,验证了算法可以为自主泊车这种行驶过程中转弯多、行驶距离不大的任务提供较为精确的位置信息。

基于小型深度学习网络的车位检测方法

针对车载嵌入式系统开发需求,文章提出一种小型深度学习网络的车位检测方法。环视图像的车位角点具有大小相近、分布均匀的特点,将整个环视图像分割成若干个子图像,裁剪深度网络模型结构,使用小网络对各个子图像进行车位角点检测,可以有效降低大图像高算力的要求。实验数据表明,以384*640图像大小为例,将原图像分割成128*128子图像,子图像的深度网络算力要求为原图像的1/15,而相应的检测性能没有损失。

基于语义分割的近距离全向车距检测方法研究

为获取主车与周围近距离车辆之间的距离,确保驾驶安全以及预防剐蹭事故,提出了一种基于视觉的近距离全向车距检测方法。首先,在车身四周安装四路鱼眼镜头,使用语义分割模型对采集到的图像中的车辆进行语义分割;然后将车辆分割后的四路图像拼接为360°环视图像;根据环视图像中像素与实际地面距离的比例关系,通过计算图像中周围车辆外缘到主车外缘的最近距离,实现近距离全向车距的检测。实验结果表明:该方法检测的车距平均误差为12.6%,且误差在15%以内的占比超过90%。

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径:一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。