Electronic stabilization of catadioptric panoramic image

An effective algorithm of electronic image stabilization （EIS） of catadioptric panoramic imaging system for track robots is presented. The key techniques of this algorithm are as follows：① A model of electronic image stabilization is built by analyzing the imaging theory and the principle of EIS, and the image shift function of unwrapped panoramic image is deduced;② The relationship equation between motion estimation parameters of annular panoramic image and motion estimation parameters of unwrapped panoramic image is developed according to the constrained aspect ratio of real objects, motion parameters of annular panoramic image are firstly estimated, and then motion parameters among the image shift function are carried out according to the relationship equation;③ An excessive stabilization threshold is presented to prevent the phenomena of excessive stabilization, and the Kalman filtering is adopted to smooth the image sequences. Numerical experimental results show that this algorithm can effectively smooth out the unwanted motion and follow the intentional camera movement under certain resolutions.

中间像面非理想成像的近红外折反射系统光学装调方法

近年来,基于中间像面非理想成像的近红外折反射系统应用广泛,但由于该波段干涉仪的价格昂贵且难以维护,其应用并不普及,因此在该类系统集成阶段,通常只能采用传统的机械特征定位方式(例如采用中心偏测量仪辅助定位)进行装调。由于传统机械定位方法无法直接借助干涉仪对系统出瞳波像差进行实时高精度监测,即不能通过观察各视场像差变化规律来指导装调,导致系统的装调效率和精度通常难以保证。针对一个口径为150 mm、焦距为450 mm的中间像面非理想成像近红外折反射系统的高精度光学装调方法开展研究,通过对系统中继透镜组透镜薄膜进行包含常用干涉仪工作波长(λ@632.8 nm)的设计,来实现利用可见光激光干涉仪对系统波像差进行高精度检测的目的,然后研究了系统各装调自由度和系统初级波像差的敏感度关系,以失调敏感度单变量分析为基础,分析了各失调维度间的耦合作用特性,在此基础上提出了次镜和中继镜组相互反复迭代联调的光学装调方案。整机装调后,光学系统各视场波前误差(RMS)和设计仿真结果数值大小大致相同,方向一致,均达到成像质量要求。

基于球面折反射成像和YOLOv7的内螺纹缺陷检测

螺母在机械制造环节得到广泛应用,其内壁螺纹质量对于机械联接至关重要。为了实现螺母内螺纹的非接触缺陷检测,首先提出一种基于球面折反射全景成像原理的图像采集装置,其次利用该装置采集图像数据集并提出一种基于改进YOLOv7的缺陷检测算法。该成像装置具备一次性成像、无须伸入内壁、采集到的内螺纹图像细节完整等优势,有效地改进了传统视觉检测方案存在的成像分辨率低、相机视场占比小的问题。对YOLOv7模型进行改进并结合螺母内螺纹的缺陷特征,使用k-means++算法聚类锚框,使得模型训练更容易收敛。通过在特征融合网络中加入坐标注意力(CA)机制,提高网络的特征表达能力。使用SIo U损失函数替换原YOLOv7模型中的CIo U损失函数,提高模型分类的准确性和可靠性。实验结果表明,针对缺口、漏攻纹、刮痕、碎屑4种内螺纹缺陷,改进后的YOLOv7模型的平均精度(AP)分别达到96.89%、100%、98.07%、99.98%,平均精度均值(m AP)达到98.74%,检测速度达到39.64帧/s,与其他常见模型相比,改进模型精度更高,能够满足工业现场的实时检测需求。

球面折反射成像的内螺纹螺距视觉测量系统

为了实现内螺纹参数的非接触、自动化在线测量,本文以通孔螺母和盲孔螺母为检测对象,提出了一种基于球面折反射全景成像原理的内螺纹螺距参数的机器视觉测量系统。系统采集经球面折反射得到的图像,随后分割出完整的内螺纹区域;采用对比度受限的自适应直方图均衡化算法提高图像对比度,并采用中值滤波与双边滤波的组合来保护螺纹边界信息;再使用Zernike矩边缘检测算法确定每条螺纹的亚像素边缘;最终,基于折反射成像理论计算得到内螺纹螺距尺寸。与计量用螺纹综合测量机的螺距测量值进行了对比,实验结果表明该系统的平均测量误差为0.018 5 mm,满足工业生产中内螺纹螺距精度的要求,检测效率高,可用于内螺纹在线视觉检测。本研究为圆柱形内壁尺寸测量和缺陷检测提供了一种参考方案。

非全对称五面镜单视点折反射红外周视系统

综合多视点周视系统和单视点折反射周视系统的优势,充分利用前者空间分辨力高和后者无需拼接直接成像的优点,提出了一种分孔径、单视点的非全对称五面镜折反射红外周视系统方案,构建了单视点约束的非全对称五面镜结构设计流程。针对车辆驾驶应用中前方/左右侧、后方对行人探测距离要求的不同(分别为200 m和145 m),使用三套焦距5.8 mm和两套焦距4.1 mm的红外成像组件,构成前方、左、右侧均为64°视场、后方为两个84°视场的非全对称五面镜折反射红外周视原型系统,实现对水平360°、俯仰±29°视场的无遮挡、无缝、无盲区红外成像,提供全方位、大俯仰的车载实时周视红外图像,可用于智能交通、自动驾驶、军事侦察等军民用领域。

基于全变分的全向图像稀疏重构算法

折反射全向成像由于曲面镜的反射作用,导致全向图像存在严重变形,传统的梯度计算方法在全向图像中不能很好地符合折反射成像的特点.为了从压缩采样数据快速有效地重构全向图像,提出了一种结合全向图像特征的全变分模型——全向全变分,并在基于TV范数进行全向图像重构时,采用全向全变分作为目标函数,进行模型的求解.实验结果验证了本文算法的有效性和可行性,其重构结果的主客观效果明显优于传统TV模型.

日间电晕紫外照相机的研究

电晕放电对高压传输线和高压设备危害巨大,因此对电晕故障进行检测意义重大。电晕放电发出的日盲紫外波段(240～280nm)的光尽管比较微弱,但是近地面上来自太阳的这个波段的背景光强度为零。利用这一特点,自行研制了一种日间电晕紫外照相机,即一种光束分光方式的日盲紫外-可见双光谱照相机。照相机采用了一种折反射结构镜头,其口径大、分辨率高,而且所有元件的曲面都为球面,加工工艺简单。在晴天对数十米外的紫外点光源和背景进行野外成像实验,获得了较为清晰的紫外与可见光图片,合成图像也较清晰。

无死角的全方位视觉传感器的设计

在对全景实时处理要求下,全方位视觉传感器(ODVS)是一种快速、可靠的视觉信息采集途径,为了克服目前ODVS技术还存在着死角的问题,探讨了一种具有平均角分辨率的ODVS的二次折反射的成像原理,根据该成像原理设计了这种新型的ODVS的结构和折反射镜面,利用4阶Runge-Kutta算法求得了镜面曲面的数字解,然后根据组合镜头的设计方法将ODVS与广角镜头集成在一起来获取原ODVS技术所存在的死角视频图像。实验结果表明,本研究所设计的ODVS能实现真正意义上的全方位监控,在全方位视频智能监控、动态图像理解、计算机视觉等领域具有重要的应用价值。

双曲面折反射全景图像的柱面解算研究

折反射全景视觉导航是自主移动机器人研究领域一项新兴技术,但由该视觉传感器生成的原始图像是严重畸变的,不适合机器人的目标定位和跟踪等任务。基于此,提出一种全景图像中心定位方法,将双线性内插值法应用于图像的采样,实现双曲面折反射全景图像的柱面还原解算。实验结果显示,还原后的图像人机交互性能有一定的提高。

日盲紫外-可见光双光谱照相机系统

为准确检测电晕放电的位置和强弱,考虑电晕放电会发出日盲紫外波段(240～280nm)光,对这一波段的目标进行检测可以避免太阳光的干扰这一特点,研制了一种基于分光方式的日盲紫外-可见光双光谱照相机。设计了一种孔径为68mm、焦距为180mm的高分辨率折反射结构的日盲紫外镜头,并设计了基于TMS320DM642的DSP芯片的图像处理电路。借助DSP/BIOS实时内核和RF5框架,实现了图像采集、图像输出显示、和压缩存储任务的调度,采用加权平均算法实现了图像融合。在阳光强烈的夏天对90m处的汞灯紫外点光源和背景进行了野外成像实验,获得了较为清晰的紫外图像、可见光图像以及合成图像。此外,提出了相机的改进建议。

折反射全向图像柱面展开校正算法研究

传统图像校正方法无法直接应用于折反射全向图像。为了有效解决折反射全向图像的校正问题,提出了一种通过校正对应柱面展开图来校正折反射全向图像的方法。该文首先分析了全向图的获取与展开,而后根据柱面全景图像成像原理,讨论了其对极几何约束与求解;接着依据校正图像是否充分有效利用参考图像,提出了图像校正重采样效应的评估准则;最后分析了在这一准则下,柱面图像的基于极线采样校正方法在像素保持率和像素有效率上的优势,并重点研究了如何依据对极几何来最大限度对参考图像进行采样,以减少像素损失和图像畸变。实验结果表明,该方法可以有效提高校正图像的像素保持率和像素有效率。

一种折反二次成像式长波光学系统的杂散光抑制

讨论了一种折反二次成像式长波红外光学系统的杂散光抑制方法,该光学系统采用R-C反射式结构和二次成像光路,用于小型低成本红外成像制导系统。利用LightTools软件仿真找出光学系统中的主要杂散光来源和传输路径,结合仿真分析结果设计出了合适的机械拦光结构。然后在LightTools中建立了光学机械结构模型针对杂散光抑制进行了迭代设计,并对杂散光抑制效果进行了仿真验证。设计的光学系统加工、装配完成后进行了太阳杂散光抑制试验,仿真和试验结果表明:太阳夹角7°以外不存在杂散光干扰,可以满足系统杂光抑制要求。

多视点折反射全景成像系统分析与设计

单视点折反射全景成像系统存在成像透镜昂贵或安装精度要求高等不足,本文结合抛物反射面和常规成像相机实现了一种无需昂贵的远心透镜且安装精度要求不高的多视点折反射全景成像系统,并对其视点分布情况进行了分析,在此基础上,设计了视点分布较为集中的系统结构,使得成像系统拍摄的环状全景图像可以基于传统的单视点柱面展开方法进行近似展开得到效果良好的近似柱面全景图像。

柱面场景无畸变的折反射全景成像系统

提出了一种基于透视成像模型的柱面场景无畸变的折反射全景成像系统设计方法,该方法 利用系统柱面场景无畸变成像要求和视场角确定反射镜面形。根据这一方法设计制作了高次旋转对称非球面反射镜,并用该反射镜和CCD摄像头建立了全景成像系统,实现了对360°柱面场景的无畸变成像。

一种基于凸曲面反射镜的柱面全景图像无缝快速生成系统

全景图像在虚拟场景绘制和监控等领域有着广泛的应用。传统的全景图像生成需要在一个视点拍摄多张、多角度有边界重叠的图像再进行拼接,拍摄要求很高,制作繁琐。本文设计了一种新的全景图像生成系统,在一个视点只需拍摄一张图像,经过变换即可得到360度柱面全景图像。

双曲面折反射全景成像柱面展开图像质量分析

为提高双曲面折反射全景成像系统柱面展开图像的质量,根据双曲面反射镜的性质,给出了全景图像柱面展开方法的数学模型。提出以图像分辨率和像素有效率作为图像展开质量的衡量指标,分析了2个指标随起始入射角和入射角跨度变化的规律,得出了柱面展开时起始入射角和入射角跨度的选择范围,仿真结果和实测数据实验验证了结论的正确性。

一种抛物反射折射圆像的拟合方法

基于圆的摄像机标定有着无可比拟的优势.目前,虽有文献证明了圆在反射折射摄像机下的像是一条四次曲线,但由于存在遮挡,仅仅部分封闭曲线在像平面上是可见的,且通过其可见部分无法拟合圆像的方程,进而无法标定摄像机参数.因此,当摄像机位率为1且斜率为0时,作者提出了一种抛物反射折射圆像的拟合方法,为研究基于圆的摄像机标定算法奠定了基础.首先,推导出了抛物反射折射圆像需要满足的条件;其次,在这些条件基础上提出了一种抛物反射折射圆像的拟合方法;最后,利用拟合得到的抛物反射折射圆像和通过抛物镜面的投影轮廓线估计得到的摄像机主点直接计算出摄像机焦距,以此评价文中拟合方法的性能.大量的模拟实验和真实实验均验证了文中拟合方法的有效性.

消畸变成像折反射全景成像系统设计

单视点折反射全景成像系统畸变较大,通过计算反射镜面型可有效地实现折反射全景成像系统消畸变成像。在反射镜入射角与反射角呈线性关系的基础上,推导适用于消畸变折反射全景成像的反射镜面型公式。为说明反射镜面型的准确性,设计了F#为3.3,视场为138°的消畸变成像折反射全景成像系统,并利用实际像平面和虚拟像平面间的坐标映射关系,实现了系统的消畸变设计。各视场MTF在奈奎斯特频率下均达到0.6,边缘视场相对畸变小于4%。结果表明:该面型可实现消畸变折反射全景成像,反射角光线追迹法适用于折反射全景成像系统畸变评价,为折反射全景成像系统消畸变设计提供了必要的模型和计算方法。

异构双核的高分辨率折反射全景高速处理系统

为了实现对高分辨率折反射全景的快速处理,采用DSP+FPGA异构双核结构、多级乒乓缓存的数据通信机制,基于查找表技术和分块预取策略的全景图像展开算法等,开发了一个可对300万像素折反射全景进行帧速率为12fps的采集、展开并输出的嵌入式系统。系统动态可重构、易扩展、计算效率高,可应用于全景视频监控、机器人视觉等领域。

船载折反射全景视觉系统电子稳像算法

为解决船载全景视觉系统在视频采集过程中的图像晃动问题,提出了一种基于海天线的电子稳像算法。根据全景图像中海天线成像特点,提出了一种最优边缘估计算法计算海天线成像椭圆方程。建立了基于海天线的全景图像稳像模型,介绍了海天线稳像算法的实现,并给出了使用关键帧对稳像无效区域的重建方法。使用实际海洋环境下拍摄的海上全景图像序列进行了验证分析,实验结果表明:该算法对船载全景视觉系统采集的视频图像稳像快速、有效,平均计算时间小于50ms,实际应用效果良好。