基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究

针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题,本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定,通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配,提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测,将预测的深度信息通过阈值法与MVS深度图相融合,对MVS深度图进行修正,重建出物体的稠密点云,提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明,本算法比原始MVS重建算法重建的点云模型点云数目多31.25%,整体重建时间节省了21.16%。

基于载物台运动信息的显微图像拼接算法研究

传统非实时图像拼接方法易因局部图像失配导致全局拼接中断。此外,显微图像具有大量相似的微观结构,存在特征检测耗时长、误匹配率高等问题。为此,提出一种基于载物台运动信息的显微图像预测拼接算法。通过控制电动载物台XY轴移动距离来决定相邻图像间重叠区域大小,在图像的重叠区域采用加速稳健特征算法检测特征点。利用图像间前后位置关系预测待匹配特征点的范围,在预测范围内筛选出最小欧氏距离的待匹配点。最后通过匹配特征点对的斜率粗筛选匹配点对,随机抽样一致性算法进行精匹配并计算单应性矩阵配准图像完成拼接,使用改进的加权平均算法融合拼接图像。实验结果表明:与暴力匹配和快速最近邻搜索算法相比,所提算法匹配率提高7.95%~26.52%,有效提高配准精度。同时,当图像分辨率为1600×1200时,多图拼接速率为2 frame·s^(-1),其效果优于AutoStitch软件拼接效果。