一种面向鱼眼图像的行人检测算法

鱼眼镜头非线性光学畸变导致鱼眼图像行人检测算法精度低,且校正算法也无法完全克服鱼眼图像的边缘严重变形。针对上述问题,文中以Faster R-CNN架构为基础,建立了鱼眼图像校正光路模型。针对鱼眼图像畸变,提出一种基于微分方程的鱼眼图像校正模型,并提出一种改进算法用于鱼眼图像的行人检测。构建了ResNet 50融合特征金字塔网络结构,以增强网络的多尺度特征提取能力,提高网络对行人小目标的定位和识别能力;优化平滑L1损失函数解决大梯度难学样本与小梯度易学样本间的不平衡问题,提高训练效果。实验结果表明,文中算法与现有鱼眼图像行人检测算法相比,检测精度提高了39.68%。在边缘轻微畸变及小尺度行人的检测精度可以达到90%以上,有助于提高极端条件下鱼眼图像的行人检测性能。

基于改进YOLOv5的鱼眼图像目标检测算法

针对自动驾驶场景下车载鱼眼相机采集到的图像存在畸变严重、场景复杂、尺度变化剧烈、小目标多以及传统的目标检测模型的检测精度不高的问题,提出了一种基于YOLOv5s改进的鱼眼图像检测模型YOLOv5s-R.首先,为解决小目标难识别的问题,提出随机裁剪多尺度训练的数据增强方法,该方法优于消融实验所得的最优数据增强方法.其次,为了提高模型的检测精度,在网络头部添加置换注意力机制与轻量化解耦头,增强模型对特征的提取能力与识别能力,并抑制噪声干扰.最后,模型额外增加角度预测项,实现旋转框目标检测.通过构建环形标签并用高斯函数对标签平滑,解决了旋转框角度的周期性问题;又对损失函数进行了优化,提出了RIOU,在CIOU的基础上增加角度惩罚项,提高了回归精度并加快了模型的收敛.实验结果表明,提出的YOLOv5s-R模型在WoodScape数据集上取得良好的检测效果,相比于原始的YOLOv5s模型,mAP@0.5、mAP@0.5∶0.95分别提升了6.8%、5.6%,达到82.6%、49.5%.

基于球面角点特征的鱼眼相机与激光雷达联合标定方法

针对鱼眼相机和激光雷达的联合标定问题,提出一种基于球面角点特征的鱼眼相机与激光雷达联合标定方法。首先利用静电斥力物理模型得到了均匀分布在球面上的点集,并以这些点集为生长点对球面进行Voronoi划分,得到了均匀的球面像素,实现了鱼眼相机图像在球面上的均匀重采样;之后在球面上提取了鱼眼相机图像的角点特征,有效地避免了图像畸变带来的角点提取困难的问题;最后利用17组标定数据在球面上实现了鱼眼相机和激光雷达联合标定,在鱼眼图像上的重投影误差小于2个像素,并通过数据融合实验复现了真实场景中的彩色三维效果。

基于鱼眼图像修正的天空视域因子计算方法

天空视域因子(SVF)是城市热环境的重要评价指标之一。利用鱼眼照片估计天空视域因子的方法快速准确,但深受等距投影的制约。在本研究中提出一种对鱼眼照片进行等距化畸变修正的方法,将任意投影模型的鱼眼镜头实拍图修正为等距投影下的图像,然后用Steyn算法计算SVF值。通过对比两组镜头的实验结果,说明非等距投影鱼眼镜头也能得到准确的SVF值,验证了该方法的精度和有效性。本文的方法具有很高的经济性、实用性,为城市热环境领域研究者及城市规划人员提供了便利。

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

用于高精度准直测量的鱼眼相机标定方法

为了扩展准直测量的应用领域,提高测量范围是最为有效的手段之一,因此用于准直测量的鱼眼相机应运而生。针对准直测量用鱼眼相机标定精度不高的问题,提出了一种基于插值形式的径向粗标定及基于栅格形式的补偿精标定的两步式准直测量用鱼眼相机标定方法。该方法使用插值而并非构建成像模型,能够有效避免模型不准确及参数设置不合理而引入的系统误差,并且可以在一定程度上抑制镜片加工的非对称性及光学系统装调所带来的偏差。区别于图像评价的峰值信噪比(PSNR)以及结构相似性(SSIM)等性能指标,该方法选择的平均重投影误差(MRE)这一指标能够更有效地衡量准直测量使用条件下相机标定结果的优劣。仿真对比实验结果表明该方法在4种虚拟鱼眼相机模型上的标定效果皆优于传统标定方法,与传统的方法相比,标定的不确定度最大能够改善82.63%。样机标定实验结果表明,该方法能够有效标定真实的准直测量用鱼眼相机,在搭建的真实样机上应用该标定方法后,样机的入射矢量解算的不确定度能够提升至角秒级。

内蒙古黄岗梁不同色调鱼眼石的谱学特征及高压X射线衍射光谱研究

通过对内蒙古黄岗梁地区不同色调绿色鱼眼石样品的基础宝石学特征、 X射线荧光光谱(XRF)、红外光谱、拉曼光谱等多方面综合分析,系统探讨了不同色调绿色鱼眼石的化学成分和谱学特征。通过高压X射线衍射(HPXRD)光谱测试,深入剖析了该矿物在高压环境下的晶体结构特征,为揭示鱼眼石在地质运动中再次俯冲进入地壳后的稳定存在深度提供了关键线索。研究结果表明,内蒙古黄岗梁地区的鱼眼石属于氟鱼眼石,Fe^(3+)和结晶水的含量对绿色鱼眼石的色调深浅产生显著影响。在HPXRD实验中,随着压力的升高,鱼眼石的轴长和晶胞体积逐渐减小,特别是c轴的压缩率较a轴更高。在9.0 GPa和15.3 GPa两个压力节点上,观察到压缩率的突变,伴随着新衍射峰的出现以及旧衍射峰的分裂和消失。这一发现揭示了鱼眼石晶体在高压环境中发生的两次明显相变过程。本研究为鉴定鱼眼石、寻找矿物资源提供了有力的科学依据,同时为鱼眼石在地质学领域的进一步研究提供了新的视角和认识。

鱼眼型高速连接器的材料性能识别与压接特性仿真研究

获取高速连接器关键部位准确的力学性能参数,是开展连接器插拔过程仿真和压接可靠性优化设计的前提。针对某型号鱼眼型高速连接器关键部位的材料开展纳米压痕实验,获取了顺应针和PCB孔镀层的载荷-位移曲线。结合内点罚函数优化算法,采用反演求解的方法得到了顺应针和PCB孔镀层的力学性能参数。建立鱼眼型高速连接器插拔过程的有限元模型,将仿真结果与实验结果进行对比,验证了仿真模型的有效性。对顺应针的几何结构进行参数化表征,通过调整顺应针和PCB孔的几何参数,分析几何参数与插拔力的关系,为鱼眼型高速连接器插拔特性的优化以及可靠性分析提供了参考。

针对鱼眼图像的FastSAM多点标注算法

为了解决多点表示方法在鱼眼图像人体检测过程中标注成本高的问题,本文提出了基于FastSAM的多点标注算法,将鱼眼图像数据集本身的矩形框标注作为提示引导框,与原图一起作为输入,通过FastSAM获取较为准确的目标分割标注,根据分割标注与矩形框的IoU评估分割信息的准确性,对于不准确的个体进一步补全纠错。针对多点表示无法处理中心点不在目标内的问题,提出了基于凸包的多点表示回归策略,直接通过分割信息获取多点表示标注信息,同时设计了相对应的标签分配机制和损失函数。本文的方法可以节省大量的人工成本,同时通过实验验证该算法具有可行性。

适用于鱼眼图像的改进YOLOv7目标检测算法

鱼眼相机捕获的图像具有宽视场、几何失真和尺度差异大等特点,这给基于标准卷积网络的目标检测器带来了巨大的挑战。现有的目标检测算法可以在网络结构设计、特征学习等方面进一步改进以适用于鱼眼图像上的失真目标检测任务。为减轻鱼眼图像上径向畸变的影响,研究在YOLOv7主干引入多分支堆叠结构的多头注意力模块以捕获全局上下文信息,提高检测准确性。同时,在YOLOv7的Neck侧,使用简单高效的融合可变形卷积的层聚合结构以实现有效的多尺度特征融合,提高模型对失真目标的特征提取能力。提出的检测模型直接在鱼眼图像上执行,无须指定先验信息和校准。在公开的综合鱼眼图像数据集VOC_360上进行实验,结果表明,改进后的YOLOv7鱼眼图像目标检测器有效地提高了检测精度,mAP50、mAP50:95分别达到84.3%、70.4%,相比基准模型YOLOv7分别提升3.1个百分点、6.4个百分点。

大型商用车超声波雷达与多路鱼眼相机感知数据融合研究

介绍大型商用车智能驾驶系统中多传感器融合研究现状,分析超声波雷达与鱼眼相机的优缺点,提出一种新的基于大型商用车特性开发的超声波雷达与多路鱼眼相机感知数据融合的方法,以提高障碍物检测的精度,为智能驾驶多传感器融合算法的开发提供参考。

改进YOLOv5网络的鱼眼图像目标检测算法

针对目标检测算法应用在鱼眼图像数据集上检测精准率低、算法实时性差等问题,提出了在化工场景下利用改进网络YOLOv5进行鱼眼图像中的目标检测算法。由于无公开化工场景鱼眼图像数据集,提出了利用不同类型图像间像素点的坐标关系,将数据集转换为同鱼眼图像具有相同畸变效果的图像。为消除鱼眼图像中有效区域外的冗余信息,将线扫描算法应用到YOLOv5s数据预处理阶段。为在缩减模型的同时保证算法的检测精准率,提出了采用注意力机制scSE和空洞卷积来改进轻量级网络ShuffleNetV2,并利用改进后的轻量级网络代替原YOLOv5s中主特征提取网络。实验结果表明,在实验设置相同的条件下,改进后的算法在模型从27.4MB缩减到14.2MB的情况下,检测精准率从97.86%提高到98.46%。

面向3D动画球幕电影的鱼眼图像制作方法

近年来,随着3D动画球幕电影的需求量不断提高,需要解决使用3D动画软件制作鱼眼图像存在的功能少、效率低等问题。基于球幕电影定义的等距鱼眼投影的数学模型,针对不同规格球幕影院的放映需求,利用虚拟球面变换,提出了制作鱼眼图像的具体方法和实现步骤。首先,将二维鱼眼图像中的每个像素映射到三维虚拟球面上,针对不同剧场放映特点,对球面坐标进行变换,再将球面坐标与3D动画空间坐标建立映射关系,最后对生成鱼眼图像进行抗锯齿处理优化。该方法可以通过编写可执行程序或者3D动画软件插件的形式实现,可调度CPU或GPU执行。使用该方法已参与完成制作多部球幕电影,并在国内外多个球幕影院中播放,能够有效地还原3D动画中所制作物体的形状比例,无任何扭曲,且使用场景灵活,易并行。

一种新的鱼眼图像校正算法

鱼眼镜头由于焦距短视角大而在不同领域得到广泛应用,但鱼眼镜头在成像时由于不同视场垂轴放大率不同,使图像产生畸变,影响鱼眼图像的实际应用价值,由此引起了人们对鱼眼图像的研究热潮。该文就校正鱼眼图像畸变问题展开研究,首先提出了一种新的确定鱼眼图像有效区域的扫描线逼近算法,解决了经典扫描线逼近法在有效区域边界存在大量黑色像素点时容易出现偏差的问题。然后,又提出了一种对鱼眼图像横向和纵向同时进行校正的算法,实验结果表明新的校正算法的横向校正效果与经度校正算法相近,纵向校正效果明显优于经度校正算法,在校正速度上也有所提升,且校正后的图像清晰度要远远好于经度校正算法校正后的图像。

对鱼眼照片场景实现三维重建和虚拟浏览

该文对鱼眼相机拍摄的照片建立了一种可校正的鱼眼镜头抛物面模型和一组鱼眼透视约束条件 对于一个场景 ,只需前后拍摄两幅鱼眼照片并给出其结构草图 ,就可以利用局部高斯加权的算法提取整个场景框架 ,从而恢复场景的三维模型 以此模型为基础 ,不仅可以实现全景漫游 。

一种基于光束平差法的双目鱼眼系统标定方法

针对双目鱼眼系统畸变偏大导致标定误差较大的问题,文中提出了基于光束平差法的双目鱼眼系统标定方法。通过灰度质心法获取标定板的特征点(圆心)坐标并进行排序;基于Kannala鱼眼相机模型和张正友标定法对双目鱼眼系统进行标定,获取系统内外参数及畸变参数;将得到的初始标定参数与特征点的三维空间坐标作为待优化集合,利用光束平差法结合LM法和雅可比稀疏矩阵对该集合进行迭代优化,使得双目鱼眼系统的重投影误差最小。实验表明:相比于传统的双目鱼眼系统标定方法,提出方法的重投影误差减小了52.64%。

基于边缘计算的鱼眼相机高空抛物检测系统

高空抛物引发的人身财产损失案件频发,并且抛物行为迅速而突然,目击者少且不稳定,这导致了案件的取证工作变得极为复杂.针对此类现象,提出一种基于边缘计算的鱼眼相机高空抛物检测系统,主要分为图像视频采集、终端动目标检测以及边缘端目标识别3个模块,在终端将高空抛物视频矫正畸变后,利用三帧差法对抛物者与抛物对象进行标记,随后发送视频序列至边缘端进行目标识别.实验结果的平均精确率均值为0.994,结果表明该系统能够有效检测高空抛物行为.

基于鱼眼相机的双目视觉法在煤斗三维重建上的应用

煤斗或是煤仓的体积测算是燃煤厂的一项重要工作,直接关系到企业的运行经济和科学管理。采用基于鱼眼相机的双目视觉法,通过相机的标定、特征点匹配算法、视差图计算、三维恢复、噪声滤除、点云模型融合等技术手段来解决对煤斗的三维重建。

一种基于球面透视投影约束的鱼眼镜头校正方法

鱼眼镜头摄像机具有较大视场 ,但是 ,使用鱼眼摄像机拍摄的图像会有非常严重的变形 .该文研究基于球面透视投影约束的鱼眼镜头校正方法 .球面透视投影约束是指空间直线的球面透视投影为球面上的大圆 .作者首先使用含有变形校正参数的鱼眼变形校正模型 ,将空间直线的鱼眼投影曲线上的点映射为球面点 ,然后通过球面点到大圆的球面距离最小来拟合大圆 ,恢复了变形校正参数 ,从而实现了鱼眼图像的校正 .模拟实验和真实图像实验表明 ,该方法能得到比较满意的校正结果 .

应用经纬映射的鱼眼图像校正设计方法

为了消除鱼眼镜头带来的形变,该文提出了一种应用经纬映射的鱼眼图像校正设计方法,推导了消除变形的数学依据,总结出一种不需要任何标定数据,快速的纠正等角鱼眼变形的算法。使用经纬映射图像的校正方法,可以把扭曲的半球鱼眼图像投射为普通照片的四方形状,也即通过投射降低图像的扭曲程度,在视觉上基本达到实用要求。