基于提示信息的分割大模型建筑物提取方法研究

针对现有方法训练的分割模型在测试集上提取建筑物效果不佳的问题,提出了一种基于分割大模型提示信息的建筑物精准提取方法。首先利用现有分割模型从原始影像中粗略提取建筑物区域,再从这些区域中生成建筑物目标框和关键点,作为分割大模型的提示信息,进而指导分割大模型精确分割建筑物目标。通过在多张遥感影像上进行分割实验验证了该方法的精度。结果表明,与现有分割方法相比,该方法的精确率和召回率分别从88.71%、58.38%提升至91.49%、83.74%。

基于SAM的无人艇多源图像分割研究

针对无人艇多源传感器的图像分割问题,开展了结合图像分割大模型与大模型低成本微调技术的研究,以增强感知大模型在无人系统上的实用性。首先将分割大模型应用于无人艇可见光、红外和声学图像分割,并对其性能进行了比较。经对比发现,分割大模型对可见光和红外图像分割效果好,但对声学图像的分割性能存在严重下降。随后利用低秩自适应算法对分割大模型编码器部分进行了微调训练,以适应声学图像分割任务。微调后的分割大模型对声学图像的分割性能得到显著提升,Dice相似系数平均值相比初始分割大模型提高了52.88%,证明了方法的有效性。作为一种大模型的微调技术,低秩自适应算法使用低秩近似来降低权重矩阵维度,大幅减少模型中可训练的参数量,在提升训练效率的同时降低了训练成本。