首页 >>  正文

免费抠图神器

来源:baiyundou.net   日期:2024-08-04

智东西

作者 | ZeR0

编辑 | 漠影

智东西4月8日报道,继ChatGPT掀起语言大模型狂潮后,本周,计算机视觉迎来了GPT时刻。先是周四Meta发布“分割一切”模型SAM,紧接着智源研究院视觉团队也推出通用分割模型SegGPT(Segment Everything In Context)

SegGPT可用于分割上下文中所有事物,是首个利用视觉提示(prompt)完成任意分割任务的通用视觉模型。SegGPT与SAM的差异在于 :

(1)SegGPT 一通百通”:给出一个或几个示例图像和意图掩码,模型就能明白用户意图,“有样学样”地完成类似分割任务。用户在画面上标注识别一类物体,即可批量化识别分割同类物体,无论是在当前画面还是其他画面或视频环境中。

(2)SAM一触即通”:通过一个点或边界框,在待预测图片上给出交互提示,识别分割画面上的指定物体。

无论是“一触即通”还是“一通百通”,都意味着视觉模型已经“理解”了图像结构。

SAM精细标注能力与SegGPT的通用分割标注能力相结合,能把任意图像从像素阵列解析为视觉结构单元,像生物视觉那样理解任意场景。

论文地址:https://arxiv.org/abs/2304.03284

代码地址:https://github.com/baaivision/Painter

Demo:https://huggingface.co/spaces/BAAI/SegGPT

一、目标是分割一切物体,三大优势加持

SegGPT是智源通用视觉模型Painter的衍生模型,针对分割一切物体的目标做出优化。

训练完成后,无需微调,只需提供示例,SegGPT就能自动推理并完成对应分割任务。

具体来看,SegGPT模型具有以下优势能力:

1、通用能力:SegGPT具有上下文推理能力,模型能够根据提供的分割示例(prompt),对预测进行自适应的调整,实现对“everything”的分割,包括实例、类别、零部件、轮廓、文本、人脸、医学图像等。

2、灵活推理能力:支持任意数量的prompt;支持针对特定场景的tuned prompt;可以用不同颜色的mask表示不同目标,实现并行分割推理。

3、自动视频分割和追踪能力:以第一帧图像和对应的物体掩码作为上下文示例,SegGPT能够自动对后续视频帧进行分割,并且可以用掩码的颜色作为物体的ID,实现自动追踪。

二、应用示例:批量“抠”出彩虹、行星环带

1、标注出一个画面中的彩虹,SegGPT就能批量化分割其他画面中的彩虹。

2、研究人员在广泛的任务上对SegGPT进行了评估,包括少样本语义分割、视频对象分割、语义分割和全景分割。

下图中具体展示了SegGPT在实例、类别、零部件、轮廓、文本和任意形状物体上的分割结果。

3、用画笔大致圈出行星环带。

SegGPT在预测图中准确输出目标图像中的行星环带。

4、根据用户提供的宇航员头盔掩码这一上下文。

SegGPT能够在新的图片中预测出对应的宇航员头盔区域。

三、训练思路:定义为上下文着色问题,多项技术解锁分割能力

SegGPT将各种分割任务统一到一个通用的上下文学习框架中,通过将各类分割数据转换为相同格式的图像来统一各式各样的数据形式。

其训练被定义为一个上下文着色问题,每个数据样本都有随机的颜色映射,以根据上下文完成不同的任务,而非依赖于特定的颜色。

经训练,SegGPT可以通过上下文推理在图像或视频中执行任意分割任务,如物体实例、类别、零部件、轮廓、文本和任意形状物体等。

如何通过test-time techniques解锁各种能力是通用模型的一大亮点。

SegGPT论文中提出了多个技术来解锁和增强各类分割能力,比如下图所示的不同的context ensemble方法。论文所提出的Feature Ensemble方法可以支持任意数量的prompt示例。

此外,SegGPT还支持对特定场景优化专用prompt提示。对于针对性的使用场景,SegGPT可以通过prompt tuning得到对应prompt,无需更新模型参数来适用于特定场景。

比如,针对某一数据集自动构建一个对应的prompt,或者针对一个房间来构建专用prompt。如下图所示:

结语:强大零样本场景迁移能力,经典CV数据集上取得最优性能

模型只需少数prompt示例,在COCO和PASCAL数据集上取得最优性能。

SegGPT显示出强大的零样本场景迁移能力,比如在少样本语义分割测试集FSS-1000上,在无需训练的情况下取得state-of-the-art性能。

无需视频训练数据,SegGPT可直接进行视频物体分割,并取得和针对视频物体分割专门优化的模型相当的性能。

以下是基于tuned prompt在语义分割和实例分割任务上的效果展示:

SegGPT在广泛的任务中进行了评估,包括少数照片的语义分割、视频物体分割、语义分割、全景分割。结果显示,在对域内和域外目标进行分割时,无论是质量还是数量都有很强的能力。

随着SAM和SegGPT两款图像分割基础模型的发布,通用视觉GPT曙光乍现。

","gnid":"914f0fbc098dd9a36","img_data":[{"flag":2,"img":[{"desc":"","height":"340","title":"","url":"https://p0.ssl.img.360kuai.com/t01569bc7012d72107c.jpg","width":"800"},{"desc":"","height":"482","title":"","url":"https://p0.ssl.img.360kuai.com/t0167d911aed06a0426.jpg","width":"800"},{"desc":"","height":"480","s_url":"https://p0.ssl.img.360kuai.com/t017da3617653c66b1e_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t017da3617653c66b1e.gif","width":"853"},{"desc":"","height":"324","title":"","url":"https://p0.ssl.img.360kuai.com/t01d5fd8dd0db11cf1c.jpg","width":"800"},{"desc":"","height":"453","title":"","url":"https://p0.ssl.img.360kuai.com/t0177c218635bc96136.jpg","width":"800"},{"desc":"","height":"554","title":"","url":"https://p0.ssl.img.360kuai.com/t016ce1eff3be4e5b73.jpg","width":"767"},{"desc":"","height":"448","title":"","url":"https://p0.ssl.img.360kuai.com/t0112aa23886db617e7.jpg","width":"448"},{"desc":"","height":"642","title":"","url":"https://p0.ssl.img.360kuai.com/t01abaf95ceb6d26406.jpg","width":"659"},{"desc":"","height":"448","title":"","url":"https://p0.ssl.img.360kuai.com/t01023dc95410c5f4e1.jpg","width":"448"},{"desc":"","height":"326","title":"","url":"https://p0.ssl.img.360kuai.com/t012ffc262bf2b7612d.jpg","width":"800"},{"desc":"","height":"535","title":"","url":"https://p0.ssl.img.360kuai.com/t019d610e88b5ebd998.jpg","width":"800"},{"desc":"","height":"445","title":"","url":"https://p0.ssl.img.360kuai.com/t01cce9979e2f821869.jpg","width":"800"},{"desc":"","height":"357","title":"","url":"https://p0.ssl.img.360kuai.com/t01f3833bb959fadcd1.jpg","width":"800"},{"desc":"","height":"618","title":"","url":"https://p0.ssl.img.360kuai.com/t01af41a8c1feb5180c.jpg","width":"800"},{"desc":"","height":"318","title":"","url":"https://p0.ssl.img.360kuai.com/t013fa6348395b7d45a.jpg","width":"800"},{"desc":"","height":"408","title":"","url":"https://p0.ssl.img.360kuai.com/t019b594d682b1bb13b.jpg","width":"800"},{"desc":"","height":"288","title":"","url":"https://p0.ssl.img.360kuai.com/t01802d5fe7abb01e50.jpg","width":"800"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1681021980000,"pure":"","rawurl":"http://zm.news.so.com/df9aaa82dae41ee1db5443acad4286fc","redirect":0,"rptid":"e5586ee185500bb9","rss_ext":[],"s":"t","src":"智东西","tag":[],"title":"通用视觉GPT之战打响!智源推出SegGPT,批量抠图神器来了

臧谭轰3595谁能介绍一个可以自动扣图的免费软件下载? -
宿贴南19450214018 ______ 我平常用的是这个软件,专门扣背景的,比较简单实用,还是免费,你可以试一下.希望能对你有用 软件介绍: 快速抠图》只要用鼠标在前景、背景上分别划拉几下,大致地标明哪部份属于前景,哪部份属于背景,程序就会用快速抠图算法自动地把前景抠出来. 程序包括三部份功能: 1. 快速抠图.快速抠图算法对所有的图像都适用,不要求前景、背景对比分明,也不要求背景是单色背景. 2. 手工调整.对快速抠图算法抠出来的不够准确的前景边界线进行调整. 3. 换背景.把抠出来的前景放到别的背景图上,或把原来的背景换成单色背景. 下载地址:<a href="http://www.crsky.co

臧谭轰3595什么样的抠图软件最好?免费的哦. -
宿贴南19450214018 ______ Photoshop CS3 世界最专业最著名的图像处理软件,抠图方法多种多样,总有适合您的一种. 免费下载地址: http://www.duote.com/soft/12975.html

臧谭轰3595手机抠图软件哪个好用app 什么手机软件可以抠图 -
宿贴南19450214018 ______ 手机抠图软件用傲软抠图就不错.傲软抠图的特色功能:1.界面友好傲软抠图界面简洁,清晰直观.主要有两个主要功能,分别是“人像识别”和“其他识别”.如果你需要将人像元素扣出来,点击选择“人像识别”,如果想要扣其他元素图片...

臧谭轰3595什么软件可以抠图,就是那种可以把图和背景抠下来要手机软件 -
宿贴南19450214018 ______ 美神抠图合成器,主要功能是抠图去背合成图像字体效果.有智能模式手工模式抠图去背,能更换颜色素材图像背景,添加文字手绘图画,是一款不可多得的安卓抠图合成图像处理软件.美神抠图合成器免费版(安卓最好的抠图合成软件 http://pan.baidu.com/share/link?shareid=3167588972&uk=1312920582) 美神抠图合成器,安卓抠图数第一!

臧谭轰3595抠图最好的是什么软件 -
宿贴南19450214018 ______ 推荐Knockout,免费自动抠图软件,最好的抠图软件! 】智能简单实用! 国际领先的大批量自动抠像技术,数百张照片只需放到固定位置无需任何处理.只需点击全自动处理按键,极短的时间内,所有照片背景与人物自动分离.工作效率可提升100%,其中需要抠像的照片已经自动抠好.精确去除背景色,保留头发的全部细节,根根头发丝毕现,即使极细的婚纱孔的背景色,也能精确度去除,使婚纱 表现出晶莹透明的通透感,与任何背景合成照片逼真自然,真正的天衣无缝.

臧谭轰3595哪个手机软件可以抠图换脸 -
宿贴南19450214018 ______ 可以抠图换脸的手机软件可以使用傲软抠图.傲软抠图APP的优点:1、无须PS,自动抠图专为小白而生,轻松告别PS的繁杂操作,老人小孩都会用.2、操作简单,三秒出图一键上传图片后,三秒之内自动呈现抠图效果,去除背景,生成透明...

臧谭轰3595求免费快速抠图软件或photoshop快速抠图工具? -
宿贴南19450214018 ______ 自己下载个photoshop即可,网络可以找到很多CDK,不用钱的!抠图不能求快速,快速的话效果肯定不会好的了.要掌握好技术,你先学下面是抠图方法 其实也不难的 就看你怎么掌握 你够不够细心,练多了自然就好了. 8种抠图法 一:套索抠图...

臧谭轰3595恳请哪位大哥能够提供一款免费的,已注册的图片抠图软件!谢谢!
宿贴南19450214018 ______ 最好的是photoshop,功能强大,正因为此所以学习起来要下点功夫. 这是我目前使用的9.0版本的,请下载解压后先看完说明再进行安装,如有不太理解的地方,安装过程中对照说明理解.一定能够成功. 下载地址

臧谭轰3595抠图工具哪个好,抠人像、头发,背景与人像颜色相差不是特别大. -
宿贴南19450214018 ______ 目前,抠图工具最好的是:Knockout2滤镜(又名:抠图神器),它是安装在PS中的一个插件.

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024