基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

利用自由形状线特征的遥感影像分级匹配方法

为较好地解决自由形状线特征匹配研究中线特征丰富信息的充分利用与有效描述这对矛盾,提出一种利用分级匹配策略的遥感影像匹配方法。为保证方法具有较高的匹配精度,从影像中检测亚像素边缘并进行有效的跟踪以得到连续性较好的自由形状线特征;再从中提取闭合线特征、线特征交点和角点等较稳定的特征作为共轭实体进行粗匹配,在确定各类特征的待选同名特征后,根据面积、角度等几何信息以及模型参数的分布特点逐步剔除误匹配,进而利用同名特征确定精匹配的初始参数;精匹配时对线特征中的亚像素边缘点加以利用,采用多层次二维迭代最邻近点(ICP)法依次利用由低到高采样率的边缘点进行匹配。试验结果表明,粗匹配选取的特征性能稳定,具有较高的匹配正确率和精度,能为精匹配提供较准确的初始参数,精匹配能达到与最小二乘影像匹配相当的亚像素级匹配精度,并且对具有较小仿射变形的影像也能实现稳定、准确的匹配。

基于直线段检测和LT描述符的矿井图像线特征匹配算法

图像匹配是同步定位与地图构建(SLAM)技术中极为重要的一环,用于根据图像之间的变换关系确定相机位姿。基于线特征的图像匹配方法具有较强的鲁棒性和抗噪能力,更加适用于井下图像匹配,基于深度学习的线描述符对线段遮挡等场景具有较高的鲁棒性,性能优于传统描述符,但卷积神经网络架构的描述符将可变长度线段抽象为固定维进行描述,不利于线段长度及视差变化较大图像的匹配。针对上述问题,提出一种基于直线段检测和线描述符的矿井图像线特征匹配算法。在频域利用单参数同态滤波降低图像的照射分量,并增强反射分量,提升亮度及对比度;在YUV空间利用对比度受限的自适应直方图均衡化(CLAHE)算法对亮度分量进行均衡,使亮度分布更加均匀;变换至RGB空间提取直线段检测(LSD)线,引入一种基于Transformer架构的LT描述符构建LSD线的特征向量,最后完成线特征匹配。实验结果表明:该算法结合了同态滤波和CLAHE算法的优点,增强后图像的亮度适中,对比度良好,灰度分布均匀,增强效果优于单参数同态滤波算法、EnlightenGAN算法;该算法提取的线特征数较原图平均提升了32.92%,在不同相似纹理占比、不同程度旋转与平移变化的井下图像匹配中鲁棒性好,平均正确匹配数为61.75对,平均精度为86.83%,优于线二进制描述符(LBD)算法、LBD_NNDR算法、LT算法,能够满足矿井图像稳健匹配的需求。

一种基于线特征约束的无人机双目视觉SLAM算法

为了解决点特征SLAM算法在低纹理环境中精度下降的问题,提出了一种基于线特征约束的无人机双目视觉SLAM算法。首先,将双目相机观测线特征分为单目相机在两帧下观测、双目相机在两帧下观测、双目相机在一帧下观测3种情况;然后,计算了3种情况下的残差块和雅可比矩阵;最后,利用所提线特征约束改进了VINS-Fusion算法。在EuRoC数据集上进行实验验证,结果表明提出的算法在数据集半数以上的场景中都有良好的表现,相较于改进前的VINS-Fusion算法定位精度平均提升13.2%。

基于改进的LSD线特征提取算法研究

基于LSD直线段检测算法可能导致直线提取碎片化的问题,提出了改进的LSD线特征检测算法,根据角度和距离对直线进行筛选,解决了直线提取碎片化问题,采用LBD(line band discriptor)描述相邻帧图像之间的线特征相似度,提高了视觉SLAM位姿优化的计算效率,在公开数据集上对LSD算法与改进后的算法进行对比实验。结果表明,改进后的LSD在匹配精度上提升了27.8%。

弱纹理环境下融合点线特征的双目视觉同步定位与建图

针对室内弱纹理环境下基于点特征的视觉同步定位与建图(Simultaneous Localization and Mapping,SLAM)存在的轨迹漂移等问题,提出了一种融合点线特征的双目视觉SLAM系统,并对线特征的提取与匹配问题展开研究。为了提高线特征的质量,通过长度与梯度抑制、短线合并等方法,进一步改进LSD(Line Segment Detector)线特征提取方法。同时,通过将匹配问题转换为优化问题,并利用几何约束构建代价函数,提出了一种基于几何约束的快速线段三角化方法。实验结果表明,本文所提方法在多个数据集上的表现都优于基于描述子的传统方法,尤其在室内弱纹理场景下,其平均匹配精度达到91.67%,平均匹配时间仅需7.4 ms。基于此方法,双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2,PL-SLAM的定位误差分别为1.24,7.49,3.67 m,定位精度优于现有算法。

基于点线特征视觉惯性融合的机器人SLAM算法

针对弱纹理环境下单目视觉SLAM系统只依靠提取点特征鲁棒性较差的问题,提出一种点线特征视觉与惯导融合的机器人SLAM算法。首先,采用自适应加权提取点线特征并使用普吕克坐标法表示线段,减小计算量同时较好克服线特征提取时线段割裂的不足;其次,采用四叉树法实现点线特征提取均匀化解决特征堆积问题,同时消除点线特征误匹配,再利用视觉点线信息与IMU紧耦合优化机制提高机器人SLAM算法精确度。最后,将该算法在EuRoC数据集和弱纹理环境中进行实验,结果表明,改进后线特征提取相较于传统线特征提取鲁棒性提高了12.94%,相较于原生算法ORB-SLAM3,改进后特征匹配时间节约了19.2%,大型弱纹理环境中绝对定位精度提高了55.6%,所提算法在弱纹理环境中定位效果具有较强的鲁棒性和精确性。

基于双视线特征感知编组的多目标跟踪方法

为实现精准的图像多目标捕获与跟踪,提出基于双视线特征感知编组的多目标跟踪方法。利用自由形状线特征涵盖的丰富信息,使用双视线特征感知编组方法将线特征匹配结果当作计算条件,推算已匹配的每对线特征左右视差均值,将方位相近、左右视差均值接近的线特征视作一组,明确各组线特征作用窗口,代入时差收敛均值,实现多目标特征匹配;代入联合概率数据关联算法,构建改进粒子滤波模型,让粒子权值呈现出测量值与目标轨迹的关联概率,确保各目标跟踪轨迹持续性,并完善轨迹初始点与终点,增强跟踪时效性。仿真结果表明,所提方法能很好地处理车辆交叉引发的错误匹配问题,在交叉或遮挡等复杂情况下,依旧可以快速准确地同时对多个目标车辆进行跟踪。

乳腺钙化的X线特征及其诊断乳腺疾病的价值

目的 :探讨X线影像对乳腺钙化在不同乳腺疾病中的诊断价值。材料和方法 :经手术、B超、穿刺活检或随访证实的 ,乳腺X线摄影确认的 15 0例钙化病例 ,回顾性分析其钙化形态、大小、密度、分布等特点。结果 :乳腺钙化可分成七型 ,即棍棒型、精盐型、沙石型、融合型、圆弧型、轨道型和圆孔型。棍棒型 3 0例 ,其中恶性 2 9例 (97% ) ;精盐型 40例 ,恶性 3 4例 (85 % ) ;沙石型 2 2例 ,良性 19例 (90 % ) ;融合型 2 5例 ,良性 2 3例 (92 % ) ;圆弧型、轨道型和圆孔型 ,均为乳腺良性病变。结论 :棍棒型及精盐型钙化是乳腺恶性病变钙化的主要类型 ;沙石型、融合型、圆弧型、轨道型和圆空型钙化是良性病变钙化的主要类型。乳腺钙化在诊断不同乳腺疾病及鉴别良恶性肿瘤中具有重要作用。

北京地区雷暴大风日θ_e平均廓线特征

利用NCEP再分析资料对北京地区 1 999～ 2 0 0 3年 7～ 8月出现的 2 4个雷暴大风日相当位温θe 的平均廓线进行了研究。结果表明 ,在对流层底层有一个θe 的极大值 ,在对流层中层 ( 50 0～ 6 6 0hPa)θe 达到其极小值。

Beamlet变换与多尺度线特征提取

beamlet变换是Donoho提出的一种多尺度分析的有效工具.本文提出一种离散beamlet变换的快速算法,利用二进方块中线段的对称、平行等性质减少了求离散beamlet基上象素点坐标的计算量.对利用复杂度惩罚能量进行多尺度线特征提取的方法做了改进,建立了二进方块最大beamlet能量的二尺度关系,并提出一种阈值化最大beamlet能量方法,避免了惩罚因子选取的困难,使线特征提取结果更清晰.

基于共面二点一线特征的单目视觉定位

研究了根据点、线混合特征进行单目视觉定位问题,在给定物体坐标系中共面的两个特征点和一条特征直线的条件下,根据它们在像平面上的对应计算相机与物体之间的位姿参数。根据三个特征之间的几何位置关系,分两种情况给出问题求解的具体过程,最终将问题转换成求解一个二次方程问题,真实的工件定位实验验证了方法的有效性。该结果为应用单目视觉进行工件定位提供了一种新方法。

一种用于掌纹识别的线特征表示和匹配方法(英文)

作为一种较新的生物特征,掌纹可用来进行人的身份识别.在用于身份识别的诸多特征中,掌纹线,包括主线和皱褶,是最重要的特征之一.本文为掌纹识别提出一种有效的掌纹线特征的表示和匹配方法,该方法定义了一个矢量来表示一个掌纹上的线特征,该矢量称为线特征矢量(line feature vector,简称 LFV).线特征矢量是用掌纹线上各点的梯度大小和方向来构造的.该矢量不但含有掌纹线的结构信息,而且还含有这些线的强度信息,因而,线特征矢量不但能区分具有不同线结构的掌纹,同时也能区分那些具有相似的线结构但各线强度分布不同的掌纹.在掌纹匹配阶段,用互相关系数来衡量不同线特征矢量的相似性.实验表明,LFV方法无论是在速度、精度,还是在存储量方面都能满足联机生物识别的要求.

基于种蛋图像血线特征和深度置信网络的早期鸡胚雌雄识别

为了实现孵化早期鸡胚雌雄识别,构建了机器视觉采集系统,在LED光源下获取180枚鸡种蛋孵化第4天的图像。首先对鸡种蛋图像进行RGB分量提取、中值滤波、感兴趣区域提取等预处理,然后利用限制对比度自适应直方图均衡化、形态学处理、最大类间方差阈值分割和八连通域去噪等方法凸显血线纹理,并通过方向梯度直方图(histogram of oriented gradient,HOG)提取图像的全信息特征和利用灰度共生矩阵提取能量、对比度、相关性、熵、均匀度等5个特征,对HOG全信息特征采用主成分分析(principal component analysis,PCA)降维,最后利用全信息特征和PCA降维特征-灰度共生矩阵特征组合的简化特征,分别构建支持向量机(support vector machine,SVM)、反向传递(back propagation,BP)神经网络、深度置信网络(deep belief networks,DBN)3种鸡胚雌雄识别模型,并比较不同模型的识别准确率。试验中,全信息特征比简化特征构建的模型识别准确率高,基于简化特征的BP、SVM、DBN模型测试集识别综合准确率分别为51.67%、60%和58.33%,基于全信息特征的BP、SVM、DBN模型测试集识别综合准确率分别为58.33%、63.33%和83.33%。其中,基于全信息特征的DBN模型识别准确率最高,达到83.33%。结果表明机器视觉技术为孵化早期鸡胚雌雄识别提供了一种可行方法。

多视点图像中线特征的三维重建

将多视点图像中的离散线段(称为线特征)用于场景的三维重建过程.首先将平均重投影几何误差作为线特征三角形法和光束平差法的目标函数,保证了重建结果的最优性;其次提出一种对含噪声的空间直线Plücker坐标进行双线性约束矫正的解析方法,并给出理论证明;最后推导出针对具有4自由度空间直线的最少参数化迭代方法,消除了优化过程中的过参数化问题,以避免由于内约束存在而导致迭代难于收敛的情况,提高了重建结果的精度.仿真数据以及真实图像的实验结果验证了该方法的有效性和精确性.

基于Beamlet变换的线特征检测

线特征是图像的重要特征,其检测效果直接影响模式识别和分类。基于调和分析的思想,给出一种带有方向信息的多尺度的Beamlet基,对图像进行Beamlet变换。试验结果表明,该线特征检测方法不仅能提取无噪声图像中的直线和曲线,而且对强噪声图像中的直线和曲线提取效果也很好。

点线特征融合的激光雷达单目惯导SLAM系统

多传感器融合的SLAM系统定位精度相比单一传感器的SLAM系统更高,但在低纹理场景或退化场景下的定位精度有待提高。提出一种点线特征融合的激光雷达视觉单目惯导紧耦合SLAM系统(PL2VI-SLAM),其由点线特征融合的视觉惯导系统(PLVIS)和激光雷达惯导系统(LIS)两个子系统组成。通过PLVIS系统实现点线特征的提取与匹配,使用滑动窗口选择性地引入关键帧,并将惯性导航器件与相机紧耦合以解算位姿。LIS系统将多个约束集成到因子图中进行联合优化,其初始化状态可以作为PLVIS的初始猜测,通过扫描匹配实现激光雷达里程计,并将点云深度分别与PLVIS系统的特征点以及特征线进行关联,为视觉特征提供精确的深度值,提升定位精度。此外,两个子系统将联合进行回环检测,并对位姿进行矫正。在jackal、handled以及自制的长走廊数据集上的实验结果表明,与LVI-SAM、VINS-MDNO及LIO-SAM系统相比,该系统的定位精度更高,适用于低纹理场景及退化场景,并能满足实时性要求。

一种基于倾斜影像线特征的三维模型优化方法

针对基于点云构建的建筑物模型通常存在的表面凹凸不平、边缘锯齿等现象,以及建筑物模型中存在的视觉效果不佳的问题,本文提出了一种基于倾斜影像三维线特征约束的三维模型优化方法。该方法以重叠区域为依据对线段进行质量评估与筛选。然后采用选权迭代思想对三维线段进行择优重构,以三角网为单元进行平面拟合与模型表面的纠正与优化,以三维线段为辅助对模型边缘的三角网进行纠正与优化。采用无人机倾斜摄影数据进行实验,将本文方法与Poisson表面重建方法进行了比较,结果表明本文方法有效地消除了平面凸包和边缘锯齿,边缘精度优化至1像素以内,平面精度优化至0.5像素,模型总体精度比Poisson表面重建方法提升了近1倍。此外,对比现有的完全基于点云模型重建算法,本文方法极大地改善了模型的视觉效果,保持了三维模型平面与边缘的特征,模型的边缘和表面精度都得到了提升。

基于直线特征的遥感影像自动绝对定向

主要研究了道路自动提取和直线空间后方交会在遥感影像自动绝对定向中的应用,分析了用控制线代替控制点在后方交会中的优点,详细阐述了直线空间后交的几何关系并扩展了基于“共线方程”形式的误差方程式,实现了在已有矢量道路网基础上的道路自动提取。通过单幅航空影像绝对定向和高分辨率卫星影像外参数解算试验及精度分析,证明了本文算法和策略的正确性,为航空影像自动空中三角测量、多尺度遥感影像的配准提供了一个可行的方向。

基于线特征的多时相遥感图像变化检测

多时相遥感图像中利用线特征可以感知道路等线形地物的变化。论文提出一种新的基于边缘特征描述的线特征变化检测算法,首先根据边缘的梯度信息得到变化边缘,并对变化边缘进行编组,形成变化边缘的直线支撑区域,然后通过最小二乘拟合方法从直线支撑区域中提取出变化直线。提出的线特征变化检测算法把边缘的相位和幅度信息作为变化检测的判定依据,从而避免了线的匹配与比较工作,降低了变化检测的算法复杂度,具有很强的实用性。将提出的方法用于多时相遥感图像变化检测,实验结果显示该方法的有效性。