视觉大模型SAM在医学图像分割中的应用综述

随着大模型技术的不断发展,以分割一切模型(segment anything model,SAM)为代表的视觉大模型在图像分割领域取得重要突破。SAM通过提示驱动完成一系列下游分割任务,旨在统一解决所有的图像分割问题。因此,将SAM应用于医学图像分割具有重要意义,其泛化性能够适应多种医学图像,为医生提供更全面的解剖结构和病变信息。介绍了图像分割常用的数据集;对SAM的网络结构和泛化性进行细致阐述;重点对SAM应用在全切片成像、磁共振成像、计算机断层扫描、超声和多模态图像的五大类医学图像进行梳理分析,总结优缺点和相应的改进方法;结合当前医学图像分割领域中存在的实际问题,讨论并展望了SAM未来的发展方向。

分割一切模型SAM的潜力与展望:综述

随着基于对比文本—图像对的预训练(contrastive language-image pre-training,CLIP)方法或者模型、聊天生成预训练转换器(chat generative pre-trained Transformer,ChatGPT)、生成预训练转换器-4(generative pre-trained Transformer-4,GPT-4)等基础大模型的出现,通用人工智能(artificial general intelligence, AGI)的研究得到快速发展。AGI旨在为人工智能系统赋予更强大的执行能力,使其能够自主学习、不断进化,解决各种问题和处理不同的任务,从而在多个领域得到广泛应用。这些基础模型在大规模数据集上进行训练后,能够成功应对多样的下游任务。在这一背景下,Meta公司提出的分割一切模型(segment anything model,SAM)于2023年取得重要突破,在图像分割领域获得了优异的性能,以至于被称为图像分割终结者。其原因之一是,通过SAM数据引擎方法用三阶段采集的、包含1 100万图像和超过10亿掩码的分割一切—十亿(segment anything 1 billion,SA-1B)图像分割数据集,同时保证了掩码的品质和多样性,继续导致在分割领域的突破。在SAM开源后不久,科研人员提出了一系列改进的方法和应用。为了能全面深入了解分割一切模型的发展脉络、优势与不足,本文对SAM的研究进展进行了梳理和综述。首先,从基础模型、数据引擎和数据集等多个方面简要介绍了分割一切模型的背景和核心框架。在此基础上,本文详细梳理了目前分割一切模型的改进方法,包括提高推理速度和增进预测精度两个关键方向。然后,深入探讨分割一切模型在图像处理任务、视频相关任务以及其他领域中的广泛应用。这一部分详细介绍了模型在各种任务和数据类型上的卓越性能,突出其在多个领域的泛用性和发展潜力。最后,对分割一切模型未来的发展方向和潜在应用前景进行了深入分析和讨论。

基于深度学习的船舶水尺识别研究

船舶水尺的检测与识别对于实现精准水尺计重至关重要。针对传统人工观测存在的主观性强、有误差和高成本等问题,提出了一种基于深度学习的船舶水尺读数方法。首先,使用YOLOv8检测算法对水尺区域进行字符目标检测,然后,使用分割一切模型(SAM)分割水面区域,最后,通过形态学操作与计算得到最终读数。实验结果表明,该方法在船舶水线检测和水尺识别精度方面均表现出明显的优越性,机器视觉水尺读数精度达到99.7%。

基于Segment Anything的荒漠草原植被覆盖度提取研究

植被覆盖度(Fractional Vegetation Coverage,FvC)是草原监测评价工作的重要指标,实时、快速、准确地采集FVC是草原监测评价工作的基础。文章以解决荒漠草原单位面积的植被覆盖度为目标,选取分割一切模型(Segment Anything Model,SAM)以打点或者画框的方式对单位面积的图像进行分割,计算分割出的植被所占像素点的总数T和图像总像素点数A,然后通过F=T/A计算单位面积的植被覆盖度,并制作植被覆盖度评估系统。实验的结果表明,基于SAM大模型可以使荒漠草原单位面积的植被覆盖度提取结果更加准确和可靠,减小了噪声对覆盖度提取的影响。