基于分类激活图增强的立体视觉图像分类方法

在立体视觉图像的分类过程中,由于无法准确计算图像双线性特征的通道维数,导致图像分类准确率较低。为此,提出一种基于分类激活图增强的立体视觉图像分类方法。利用卷积神经网络提取图像双线性特征,采用外积运算将双线性特征展开成一维特征,获取特征通道维数,通过特征间的元素累加和交互达到特征融合的目的。以融合结果为基础细化图像特征,采用分类激活图增强方法进行池化处理,以实现立体视觉图像分类。实验结果表明,该方法的立体视觉图像分类损失较小,分类准确率较高。

计算机立体视觉技术综述

计算机立体视觉技术主要有双像合成法、莫尔条纹法、傅立叶变换轮廓法、位相测量法、三角测距法、聚焦法、飞行时间法和光谱法。分析了各种方法的基本原理和主要优缺点，提出了一种新的方法———光谱法，并对该方法作了分析介绍，讨论了该方法的特点。

基于主动式全景视觉传感器的管道内部缺陷检测方法

针对管道内表面检测空间受限的约束以及同时需要检测管道内壁功能性缺陷和结构性缺陷等需求,基于主动式全景视觉检测原理提出了一种既能视觉检测管道横截面几何尺寸又能获取和分析管道内壁表面缺陷的管道内部全方位视觉检测方法。利用携带有主动式全景视觉传感器的爬行机器人进入管道内部,分别实时获取内壁全景图像及激光横断面扫描全景图像。本文重点介绍基于管道内壁全景图像的缺陷检测方法,对管道内壁全景图像进行展开、预处理并提取管道病害区域的几何特征,最后判定缺陷类别及危害程度。经本文方法获取的缺陷几何特征实验数据验证,管道内表面存在的较为普遍的裂缝、腐蚀缺陷几何特征差异明显:腐蚀缺陷的圆形度较大,而裂缝缺陷的圆形度趋于0;腐蚀缺陷的凸度普遍大于裂缝缺陷;裂缝缺陷由于弯曲程度不同其边界离心率变化率大,而腐蚀缺陷的边界离心率趋于1。实验结果表明:该系统能够有效提取疑似缺陷区域并计算各几何特征,可通过合适的阈值判定其所属类别,为管道内表面缺陷检测提供了一种新的手段。

基于双目视觉技术的煤矿救援机器人研究进展

针对发生煤矿事故后的环境探测和紧急救援任务,研发和使用煤矿救援机器人是提高救援效率和降低救援危险系数的关键途径,而双目视觉技术是煤矿救援机器人获取事故现场信息和实现自主避障及路径规划的前提。首先,基于双目视觉技术的实现流程,介绍了视觉测距的数学原理,归纳了目前摄像机标定领域的代表性方法,包括传统标定方法、主动视觉标定方法和自标定方法。阐述了立体视觉匹配中全局匹配算法、局部匹配算法和亚全局匹配算法的最新研究成果,并比较了3类匹配算法的优缺点。然后,在对近年来煤矿救援机器人研究文献进行分析的基础上,研究了双目视觉技术在煤矿救援机器人中的应用和发展情况。指出双目视觉技术在煤矿救援机器人领域的研究范围主要涵盖立体视觉匹配算法、模式分类与识别、视觉测量与3维重建、组合测量与定位、视觉伺服控制和基于虚拟现实技术的视觉算法仿真等方面。最后,根据煤矿非结构化环境的高动态和强干扰特点,指出煤矿救援机器人现场应用的关键是解决运动模糊和镜头污染、超广角镜头的非线性大幅畸变、弱/零照度条件等技术难题;根据煤矿救援机器人双目视觉的大视场、高精度、自适应感知等要求,提出了包括多自由度测量、多传感器信息融合、基于主动视觉的自适应感知等未来发展建议。

一种新型的小型无线主动式全景视觉传感器设计

针对小口径火炮炮膛内表面全景图像获取难、内膛疵病种类多、定性定量分析难和检测自动化程度低等问题,本文提出了一种基于主动式全景视觉的各种口径火炮身管疵病检测方法。首先,设计了一种便于获取各种口径火炮炮膛形貌全景图像的主动式全景视觉传感器,通过对心装置将其与伸缩推杆连接成一体,便于在检测时主动式全景视觉传感器沿火炮炮膛轴线移动采集内膛全景图像;其次,通过P2P点对点通信技术将主动式全景视觉传感器获取的全景图像传输给检测系统。实验结果表明:基于主动式全景视觉传感器的视觉检测系统能够适合不同孔径的火炮身管,实现了小型化、无线化和轻量化的设计,为实现火炮身管疵病检测的"采集-识别-判定"全过程的自动运行奠定了坚实基础。

主动式三维立体全景视觉传感技术

为了使全方位视觉传感器(Omni-Directional Vision Sensor,ODVS)获取的全景图像上各像素本身具有成像物点的深度信息,文中设计了一种具有单发射中心点(Single Emission Point,SEP)的全景彩色体结构光发生器(Panoramic Color Structured Light Generator,PCSLG)以配合具有单视点(Single View Point,SVP)成像特点的ODVS;然后将ODVS和PCSLG垂直配置在同一轴心线上,实现一种主动式立体全景视觉传感器(Active Stereo Omni-Directional Vision Sensor,ASODVS);最后根据全景图像上各像素点所带光源的颜色信息,通过颜色识别算法以及ODVS和PCSLG的几何关系推断PCSLG的发射角并估算成像物点的深度值.实验结果表明,该文设计的ASODVS能快速实时进行全景立体图像的特征点实时匹配和空间物点深度的测量,实现了一种以观察者为中心的3D主动立体视觉感知.

主动多基线立体视觉及其在机器人焊接技术中的应用研究

介绍了多基线立体视觉的基本原理针对焊接工件等一类表面缺乏纹理物体的三维深度恢复这一难题 ,提出采用基于条纹光照明方式的主动多基线立体视觉方法解决这类物体的三维视觉建模问题。并通过实验证明方法的有效性和可靠性。

基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。

主动式立体全景视觉技术的研究

为了解决立体视觉测量中的快速匹配问题,文中通过集成全景彩色结构光发生器和全方位视觉传感器构建一种主动式立体全景视觉传感器;通过分析图像像素的颜色和投射角之间的映射关系估算全景图像上各像素息对应的投射角,利用三角关系计算对应物点的深度信息;实验结果表明该方法能快速地得到场景的全景深度信息。

一种主动式全景立体视觉传感器设计

现有的三维激光扫描仪无法实时、全自动地计算空间三维信息,需要对获得的点云数据进行配准。为解决这些问题,研制了一种新型主动式全景立体视觉传感器(ASODVS),并且从影响ASODVS测距精度的各个因素进行了分析。实验结果表明:设计的ASODVS能自动、实时地进行空间物点深度测量,并得到相应的点云数据。

面向踝关节功能评价的三维测量与重建系统设计

在临床上医师通过对踝关节的X线拍片和经验判断踝关节功能性不稳,该方法增加了临床诊断成本和诊断门槛。为此,研发一种基于三维测量与重建模型的踝关节功能评价系统。该系统采用正反结构光投影技术,通过结构光正反条纹图像检测结构光边缘并实现亚像素定位。利用主动立体视觉原理实现踝关节姿势的三维测量与三维重建,并根据三维重建模型分析踝关节功能性不稳。实验结果表明,该系统可有效地分析踝关节功能性不稳,为早期发现踝关节功能性不稳和康复医疗提供有利的诊断与决策依据。

基于多相机的人脸姿态识别

主动形状模型(ASM)算法被用来进行人脸特征点的精确定位,然后在多相机测量的图像中进行特征点的立体匹配,利用双目视觉和相机三维测距技术可以确定人脸特征点的空间三维位置,从而利用这些特征点的相对位置确定出人脸的姿态。实验结果显示,用该方法进行人脸姿态识别能取得比二维识别更高的精确度。

基于肤色及深度信息的人脸轮廓提取

提出并实现了一种新的提取人脸封闭轮廓的方法.首先通过三目立体视觉系统获得彩色图和深度图,然后利用彩色图的肤色信息和深度图的深度信息而惟一确定的面部区域,最后再通过对面部肤色区域轮廓提取并结合活动轮廓模型(Snake)提取下巴,从而完成整个人脸轮廓的提取.该算法能够较好地提取人脸的轮廓线,克服了下巴边界难以从颈部区域提出的困难,定位精度高,边缘连续性好,满足了人脸轮廓特征提取的要求.

基于视觉的护栏清洗车偏离预警系统

为了获得护栏清洗车与护栏之间的准确距离信息,避免驾驶员进行观察护栏位置的同时操作车辆而导致分心驾驶和疲劳驾驶,提出一种基于视觉的护栏检测方法并应用在护栏清洗车偏离预警系统。使用双目立体视觉获得护栏的准确距离值;结合摄像头标定和标记分水岭算法分割护栏所在区域,并使用Hough变换直线检测算法提取护栏分割区域内的直线特征;通过约束直线检测参数和直线检测数量实现护栏检测。使用恒定速运模型条件下的Kalman滤波器跟踪护栏位置,结合特征检测信息和位置跟踪信息进行决策和预警。结果表明:偏离预警系统平均预警准确率为89.40%,因此在工程环卫车辆上具有一定的实用价值。

Monitoring a Wide Manufacture Field Automatically by Multiple Sensors

This research is dedicated to develop a safety measurement for human-machine cooperative system, in which the machine region and the human region cannot be separated due to the overlap and the movement both from human and from machines. Our proposal here is to automatically monitor the moving objects by image sensing/recognition method, such that the machine system can get enough information about the environment situation and about the production progress at any time, and therefore the machines can accordingly take some corresponding actions automatically to avoid hazard. For this purpose, two types of monitor systems are proposed. The first type is based on the omni directional vision sensor, and the second is based on the stereo vision sensor. Each type may be used alone or together with another type, depending on the safety system's requirements and the specific situation of the manufacture field to be monitored. In this paper, the description about these two types are given, and as for the special application of these image sensors into safety control, the construction of a hierarchy safety system is proposed.

基于四色结构光线图案的主动立体视觉匹配算法

主动立体视觉是获取物体三维信息最有效的方式之一。目前,实时重建动态物体的三维外形仍然非常困难,设计适用性广泛的结构光并且开发高精度的立体视觉匹配算法是解决这一问题的有效途径。为此提出了一种由红色、浅绿色、青色和紫色四种颜色线构成的新颖结构光线图案,并根据设计的图案提出了立体视觉匹配算法。用基于斜率差分布的阈值选择方法在色调,饱和度,亮度颜色空间中提取两相机视图中不同颜色的线。在中心对准后,两相机视图中的青色线基于一种线索引算法匹配,然后,基于已经匹配的青色线分别匹配浅绿色线和紫色线。最后,基于已经匹配的青色线、浅绿色线和紫色线匹配红色线。所提方法对栅格板的测量误差为0.3825 mm,不同方法对栅格板的测量结果表明所提方法的测量精确度优于其他测量方法。除此之外,不同实验物体的重建结果表明所提方法在重建静态及动态物体方面具有更强的鲁棒性。

基于改进欧式聚类算法的双目主动视觉点云目标检测研究

双目视觉立体匹配时,在同色调表面因为缺乏纹理信息,不仅计算量大且匹配度低,而且生成的场景中的点云又具有非结构化、近密远疏的性质,因此,提高双目视觉匹配的精度与速度,以及准确分割点云目标,一直是点云获取及目标检测中的难点问题。针对以上问题,本文首先提出了一种融合主动激光的3D点云目标采集方法,快速准确地获得原始点云数据;其次提出了一种基于欧式聚类的改进算法,使用距离阈值和角度阈值作为阈值分割判断条件进行分段聚类,得到边界明确的3D点云目标检测框。实验结果表明:所设计的3D点云成像系统能够有效获取前方物体的3D点云信息,且具有比激光雷达成本低、易实现、信息丰富等优势;改进后的欧式聚类算法能有效改善传统算法对阈值较为敏感导致的物体易出现欠分割或过分割的问题,提高了目标检测的准确率,在室内场景下具有良好的检测效果。

基于主动散斑投射的水下双目视觉三维成像

基于主动散斑投射的双目立体视觉成像技术仅需一次投影拍摄即可实现三维重建,适合于动态成像,但在水下应用时,存在小孔模型失效、极线约束匹配条件不满足,以及投射散斑左右图像因受水下环境吸收、散射影响产生退化等问题。本文重新建立了基于主动投射散斑图案的水下双目视觉成像模型,分析了散斑图案对水下双目对应点匹配精度的影响,搭建了主动散斑水下双目视觉动态三维成像系统实验装置。实验结果表明,基于主动散斑投射的水下双目立体视觉技术具有较好的动态3D成像效果,动态误差在该双目立体视觉实验装置本身结构和系统参数决定的静态误差之内。

基于主动式全景视觉的管道形变检测及重构技术的研究

研究了一种采用主动式全景视觉传感器(ASODVS)的管道内表面全方位检测方法。基于主动式全景视觉检测原理,提出了一种能够快速、全方位获取管道内壁三维点云信息,实现视觉检测管道形变的全景激光视觉系统;利用携带有ASODVS的爬行机器人进入管道内部,采集激光横断扫描全景图像;然后根据提取的管道内壁三维点云数据计算最小直径、横断面面积等几何特征判断变形率;最后根据三维点云圆周分布的特征,采用三角格网模型进行三维重构。实验结果表明:基于主动式全景视觉的管道内壁全方位检测系统能够实时完成对管道凹凸形变的检测和识别,并恢复管道内壁的三维形貌,具有较高的检测精度。

应用于车辆主动安全的轻量级图像匹配

基于立体视觉的路障探测是当前汽车主动安全技术的研究热点,其核心是图像匹配技术。本文引入二进制鲁棒独立基元特征(BRIEF),提出一种兼具高匹配精度和低运算复杂度的轻量级图像匹配方法,为利用车载低功耗处理器进行双目图像实时匹配提供了可能。