> 自媒体 > AI人工智能 > Meta新模型“分割一切”:抠图完成究极进化,计算机视觉迎来GPT-3时刻
Meta新模型“分割一切”:抠图完成究极进化,计算机视觉迎来GPT-3时刻
来源:品玩
2023-05-06
149
管理

看到这里是不是已经觉得很厉害了?别着急,Meta这次还有大招。

除了能把物品从图像中精准地分离出来,SAM还能支持对这个物品的编辑。也就是说,你可以把这个衣服从这个模特身上换下来,或许再换个颜色改个大小,放在另一模特身上。

有自然科学研究者将SAM和卫星图像结合在了一起,表示SAM能够很好的识别和找到他标记的风貌类型。

有神经外科影像学的专家将SAM用到了一个脊髓血管病的病例文件之中,认为SAM在帮助判断和分析病情上有很大帮助。

还有有骑行爱好者将地图和SAM结合起来,认为能够帮助自己未来更快更高效地给地图做标记。

基于1100万张照片训练,模型和数据全部开源

总体来看,跟过去的一些计算机视觉模型相比,SAM 在几个方面有着显著的提升和不同。

首先,SAM 开创性地跟Prompt结合了起来。它可以接受各种输入提示,例如点击、框选或指定想要分割的对象,这种输入并不是一次性指令,你可以不停地对图像下达不同的指令达到最终的编辑效果,这也意味着此前在自然语言处理的Prompt模式也开始被应用在了计算机视觉领域。

此外,SAM基于1100 万张图像和 11 亿个掩码的海量数据集上进行训练,这是迄今为止最大的分割数据集。该数据集涵盖了广泛的对象和类别,例如动物、植物、车辆、家具、食物等,这些图像的分辨率达到了1500×2250 pixels,平均每张图像约有100个掩码。此次SAM采用了轻量级掩码解码器,可以在每次提示仅几毫秒内在网络浏览器中运行。

SAM 在各种分割任务上具有很强的零样本性能。零样本意味着 SAM 可以在不对特定任务或领域进行任何额外训练或微调的情况下分割对象。例如,SAM 可以在没有任何先验知识或监督的情况下分割人脸、手、头发、衣服和配饰。SAM 还可以以不同的方式分割对象,例如红外图像或深度图等。

Meta表示,目前公司内部已经开始使用SAM相关技术,用于在Facbook、Instagram等社交平台上照片的标记、内容审核和内容推荐等。而之后,生成人工智能作为 "创意辅助工具 "也将被作为今年的重点优先事项被纳入到Meta更多的应用程序中。

此次,可能最让很多业内人士惊喜的地方在于,无论是SAM模型还是巨大的训练数据集都是开源的!也就是说,目前任何人都可以在非商用许可下载和使用SAM及数据。

Meta表示,此举是希望进一步加速整个行业对图像分割以及更通用图像与视频理解的研究。‘Meta也预计,随着SAM的演进和发展,该技术可能会成为未来AR/VR、内容创作、设计更多领域的强大的辅助工具。

作为一个新兴的研究模型,SAM现在的使用门槛其实并不高,即使你是一个完全不懂AI的普通用户,在segment-anything平台上也可以去亲身体验一下它神奇的抠图功能。感兴趣的小伙伴快去试试吧!

*参考资料:

https://research.facebook.com/publications/segment-anything/

注:封面图和文中插图均来自于Meta官方网站或截自推特,版权属于原作者。如果不同意使用,请尽快联系我们,我们会立即删除。

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
阳光下的微笑(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索