基于双目视觉与Transformer的连铸坯模型定位与测量

针对双目视觉传统检测算法效率低、匹配复杂等问题,本文提出一种基于双目视觉与Transformer的连铸坯模型定位与测量方法。首先,使用标定后的平行双目相机采集连铸坯模型左右图像,经校正、标注后将其作为数据集。然后以改进的Transunet~*为骨干,利用神经网络对数据集输出关键点坐标,网络模型采用多尺度U型结构来抵消因下采样量化而产生的高斯热图理论误差下界。为改善卷积神经网络只关注局部特征的缺陷,加入Transformer结构来强化每个通道内的信息交互,并提出一种优化的损失函数计算方式来克服正负样本比例失调问题以及加速网络收敛。最后,对网络输出的关键点坐标进行双目视觉三维重建并完成测距。研究结果表明:本文算法在关键点检测精度上比其他神经网络方法的高,相较于次优方法,本文方法均方根误差和归一化平均误差分别减少17.24%和18.58%;在三维测距上,其精度明显高于传统特征检测算法精度,满足工业上测量定位的精度高、受环境影响小等要求。

基于非线性扩散与高维M-SURF描述符的双目视觉测量方法

针对传统图像匹配算法存在误匹配率高和双目视觉测量精度低的问题,本文提出一种基于非线性扩散与高维改进加速鲁棒特征(modified-speeded up robust features,M-SURF)描述符的双目视觉测量方法。首先改进非线性扩散模型中的PM(Perona-Malik)模型,使图像中边缘区域得以平滑而维持内部平坦区域不变,再将扩散后图像与原始图像进行差分运算,利用KAZE算法检测特征点;然后采用环形邻域构建描述符,在对Harr小波响应值进行叠加时,根据与其垂直方向响应值的正负号进行多区间划分,生成高维M-SURF描述符;最后采用Hamming距离匹配,利用随机采样一致性(random sample consensus,RANSAC)算法剔除误匹配并筛选出测量所需的匹配点对,根据平行双目视觉测量原理获取匹配点对的三维坐标即可完成测量。实验结果表明,本文提出算法的匹配正确率较传统KAZE算法提高24.09%,测量最小相对误差达到0.3756%,满足测量精度的要求。