还记得去年， Meta 发布的 Segment Anything （ SAM ）吗？
它呢，是个用来分割图像的模型。在之前，对于不同类型的物体，分割模型之间是有壁的，就比如能分割猪狗的模型，大概率是不能分割苹果梨的。。。
而 SAM 一面世，就打出了 “ 分割一切 ” 的名号，不少人都直呼计算机视觉领域要被颠覆了。
它确实也跟名字一样，一样物体，无论熟不熟，它都能从图片里分割出来，还能对图片里的任意物体进行剪切。
在它刚出来的那段时间里，整出来的动静，在业内也算是蛮罕见的了。没几天， B 站上就出了不少视频，教网友们怎么部署 SAM 。
而且网友们用 SAM 整得活也是一个接一个，换发色都算是入门级。
还能给小扎整一头金发，或者来个脏辫。
时尚领域也能稳稳拿捏，不光外套能换，连内搭也能随意切换。
甚至连英伟达的人工智能科学家 Jim Fan ，都用 “ GPT-3 时刻 ” 来形容它。
而就在最近几天， Meta 又宣布， SAM 二代出来了。
这次不光能编辑图片，连视频也能编辑了，而且能力比上一代还要更强、更灵活。
更重要的是，这把小扎依旧是好人做到底， SAM2 也是开源、免费用。而且还公布了 Demo ，上官网就能玩。世超顺手也试了下，发现效果还真挺不错。
就拿抠视频的精细程度来说， SAM2 已经可以称得上是点哪儿抠哪儿了。
我们先是上传了一段 “ 一群鱼在水里游 ” 的视频，选中想要抠的目标，就能直接操作。
而且如果觉得抠除的目标太多，还能点 “ Remove ” 键移除掉多余的部分，比如世超能精准选中其中一条鱼的斑纹。
点击下一步就能看到效果，它不仅准确识别到了指定鱼身上的斑纹，而且就算它跑出画框，选中的斑纹也没跑到其它的鱼身上。
换个玩滑板的视频，要是想把里面的人单独抠出来， SAM2 也是手拿把掐。
不光如此，就算视频里有很多个差不多的物体， SAM2 在抠的时候，也不怎么会弄混淆。像这个换杯子的游戏，无论怎么调换，都在 SAM2 的射程范围里。
还有在这一堆长得都差不多的小球里面，它也能紧跟着咱选的那个球。
既然这样，那就再给 SAM2 上点难度，最近不是有巴黎奥运会嘛，咱 “ 国球 ” 乒乓球比赛，大伙应该都有关注。
那就上传一段小胖和张本智和对战的视频，看 SAM2 能不能把里面 “ 高速运转 ” 的乒乓球给抠出来。
没想到它还确实有两把刷子，就算中途切了画面，等乒乓球再次回来时， SAM2 也能精准捕捉到它。
另外，在 Meta 公布的这个 Demo 里，咱也能对视频做一些简单的编辑，除了能改动选中的物体，也能调调背景。
比如还是上面那场比赛，世超就把背景给抹除掉了，还顺便给他们对战的过程加上了聚光灯。从上传视频到导出视频，总共花了没五分钟。
要是觉得乒乓球不够显眼，我们还能把它换成表情包，或者给它单独加个重点。
背景的话，咱也能给它加文字、滤镜啥的。
不过 SAM2 还是有翻车的时候，比如这段视频，世超选中的，是滑板前面的一个轮子。
但当滑板出了视野再回来时， SAM2 不知咋滴，就抠成了后面的轮子。
还有速度过快时， SAM2 抠的视频在细节上也会有点粗糙。
但这都是啥大问题， SAM2 自个儿也有考虑到这些，所以它还给咱提供了纠正的机会，可以找到失误的地方手动调整。
世超也去问了下做差评君视频后期的小伙伴，他们抠视频，一般会用 AE 自带的 roto 笔刷抠图，虽然也能自动识别，但第一帧也是得手动抠出来。
再加上涉及到渲染过程，抠一分钟的视频，它通常得花掉十几、二十来分钟。要是中途要抠的对象出画面了，重新回来时，也得再重新抠一下那一帧。
相较之下，至少在抠视频的效率这块，SAM2 是狠狠拿捏了。
反正就这么几天时间， B 站上已经有 UP 开始出用 SAM2 和其他 AI 结合的教程，视频换装、换背景，啥都有。
之前 Meta 在自家的社交媒体 INS 上，也用了 SAM 一代的功能，给图片抠背景啥的，说不定后面也会把 SAM2 的功能给塞进 INS 里。
但可别以为 SAM 只能在修图、剪视频领域扑腾，在其他领域，它也有蛮多用处。
比如， SAM 一代光靠识别图片的能力，就已经打入了海洋、环境和医学等领域。
没编瞎话，这些都是 Meta 自个儿说的，在过去的一年里， SAM 不仅能通过图像分析珊瑚礁，还能看卫星图用于救灾，甚至在医学领域这块，也可以通过分割细胞图像，帮忙检测皮肤癌。
而如今升级后的 SAM2 ，不光能把这些活都能干，还能整出一些新的用法来。
像是它可以帮一些视频 AI ，自动驾驶的训练数据做标注。
进阶一点，从无人机拍摄的视频里，追踪濒危动物，在诊疗时，帮着定位腹腔镜摄像头的区域等等等等，也都是 SAM2 能干的活。
还有脑洞大的网友在 X 上称， SAM2 指不定还能让 XR 设备的精准度更高一些。。。
总之，在生成式模型发展火热的当下， Meta 还能把大伙的注意力拉到 SAM 上来，也算是侧面证明了它的实力。世超也挺期待，有一天能在社交平台上用上这个功能。
哦对了，前两天在发布 SAM2 的时候，小扎还出面解释了下 “ 开源 ” 的事儿。
这么做可不是单纯发善心，而是开源之后，有大伙助力，也能帮着构建自家的生态系统。
但无论如何，这格局，其他厂商们也都应该学学。
撰文：松鼠
编辑：江江
美编：萱萱
图片、资料来源：
Meta，巴黎奥运会
本内容观点仅代表发布作者本人观点立场，欣文网平台只做信息内容展示和存储。发布作者：全网转载，转转请注明出处：https://www.xinenw.com/35878.html
微信扫一扫 
支付宝扫一扫 
