分割任何模型：未来分割人工智能模型的新方法

type

status

slug

summary

date

利用 CNN 检测器进行高效实例分割

介绍

在快速发展的计算机视觉领域，分段任意模型（SAM）已成为实例分割的强大工具。然而，其实际部署，特别是在实时应用中，受到与 Transformer 模型相关的大量计算资源需求的阻碍，Transformer 模型构成了 SAM 架构的主要部分。本文深入研究了最近提出的一种方法，该方法提供了 SAM 的加速替代方案，实现了可比的性能，但运行速度提高了 50 倍。

更快的替代方案

所提出的方法利用具有实例分割分支的常规卷积神经网络（CNN）检测器将任务重新表述为片段生成和提示。这种方法有效地绕过了对资源密集型 Transformer 模型的需求，从而产生了一种不仅速度更快而且对于实时应用程序更实用的解决方案。

FastSAM：方法论和模型架构

FastSAM 作为端到端算法运行。与 SAM 通过大规模数据的学习过程来学习面向视觉的归纳偏差不同，FastSAM 在结构设计方面利用人类先验知识获得了相对紧凑的模型。

FastSAM由两个阶段组成：全实例分割和提示引导选择。第一阶段涉及检测和分割图像中的所有对象，类似于全景分割过程。第二阶段取决于所提供的提示，以将感兴趣的特定对象从分段全景图中分离出来。这种任务的解耦显着降低了其复杂性，从而提供了提出任何模型的实时分段的可能性。

FastSAM直接使用第一阶段生成的边界框作为目标建议。为了评估性能，按照现有的评估策略，在 LVIS 和 COCO 数据集上进行了测试。除此之外，还测试了第一阶段的全实例掩模的掩模提案准确性。

CNN 探测器的强大功能

CNN 检测器长期以来一直是计算机视觉领域的主要产品，以其效率和有效性而闻名。通过利用这些检测器，所提出的方法能够维持 SAM 的性能水平，同时显着提高运行速度。这证明了 CNN 检测器的多功能性和强大功能，即使面对 Transformer 模型等新技术也是如此。

实验结果与对比分析

所提出方法的有效性不仅仅是理论上的。已经通过充分的实验结果以及与SAM的对比分析证明了这一点。这些实验表明，可以实现与 SAM 相同的任务，但运行速度提高了 50 倍，这是一项重大改进，为实例分割技术的实际部署开辟了新的可能性。

论文作者进行了多次实验来评估 FastSAM 的性能。以下是关键细节：

性能评估：

FastSAM 在 LVIS 和 COCO 数据集上进行评估。性能是根据 FastSAM 过程第一阶段生成的边界框来测量的。第一阶段的全实例掩模还测试了掩模提案的准确性。

边缘检测：

还使用 BSDS500 数据集对 FastSAM 的边缘检测基本低级任务进行了评估。选择FastSAM全实例分割阶段结果中的掩模概率图，并对所有掩模概率图应用Sobel滤波以生成边缘图。

与SAM的比较：

FastSAM的运行速度不随提示而改变，使其成为Everything模式的更好选择。它在所有提示数上都超过了 SAM。

弱点和未来的改进：

FastSAM 有几个可以改进的弱点，例如评分机制和实例掩码生成范例。这些问题留待以后研究。

就实际应用而言，FastSAM 具有巨大的潜力。实时分段任何模型对于工业应用都很有价值。它可以应用于许多即时分割结果至关重要的场景。所提出的方法不仅为大量视觉任务提供了一种新的实用解决方案，而且速度非常快，比当前方法快数十或数百倍。这使得它对于需要实时处理的应用程序特别有用，例如自动驾驶、实时视频分析以及其他依赖于即时图像分割的人工智能驱动技术。