idea写的程序不能运行

首页 >> 正文

idea写的程序不能运行

来源：baiyundou.net 日期：2024-09-25

编者按：本文来自微信公众号“新智元”（ID:AI_era），作者：新智元，编辑：桃子好困，创业邦经授权发布。

Meta的SAM「分割一切」模型刚发布，国内团队就进行了二创，打造了一个最强的零样本视觉应用Grounded-SAM，不仅能分割一切，还能检测一切，生成一切。

Meta的「分割一切」模型横空出世后，已经让圈内人惊呼CV不存在了。

就在SAM发布后一天，国内团队在此基础上搞出了一个进化版本「Grounded-SAM」。

注：项目的logo是团队用Midjourney花了一个小时做的

Grounded-SAM把SAM和BLIP、Stable Diffusion集成在一起，将图片「分割」、「检测」和「生成」三种能力合一，成为最强Zero-Shot视觉应用。

网友纷纷表示，太卷了！

谷歌大脑的研究科学家、滑铁卢大学计算机科学助理教授Wenhu Chen表示「这也太快了」。

AI大佬沈向洋也向大家推荐了这一最新项目：

Grounded-Segment-Anything：自动检测、分割和生成任何有图像和文本输入的东西。边缘分割可以进一步改进。

截至目前，这个项目在GitHub上已经狂揽2k星。

检测一切，分割一切，生成一切

上周，SAM的发布让CV迎来了GPT-3时刻。甚至，Meta AI声称这是史上首个图像分割基础模型。

该模型可以在统一的框架prompt encoder内，指定一个点、一个边界框、一句话，直接一键分割出任何物体。

SAM具有广泛的通用性，即具有了零样本迁移的能力，足以涵盖各种用例，不需要额外训练，就可以开箱即用地用于新的图像领域，无论是水下照片，还是细胞显微镜。

由此可见，SAM可以说是强到发指。

而现在，国内研究者基于这个模型想到了新的点子，将强大的零样本目标检测器Grounding DINO与之结合，便能通过文本输入，检测和分割一切。

借助Grounding DINO强大的零样本检测能力，Grounded SAM可以通过文本描述就可以找到图片中的任意物体，然后通过SAM强大的分割能力，细粒度的分割出mas。

最后，还可以利用Stable Diffusion对分割出来的区域做可控的文图生成。

再Grounded-SAM具体实践中，研究者将Segment-Anything与3个强大的零样本模型相结合，构建了一个自动标注系统的流程，并展示出非常非常令人印象深刻的结果！

这一项目结合了以下模型：

· BLIP：强大的图像标注模型

· Grounding DINO：最先进的零样本检测器

· Segment-Anything：强大的零样本分割模型

· Stable-Diffusion：出色的生成模型

所有的模型既可以组合使用，也可以独立使用。组建出强大的视觉工作流模型。整个工作流拥有了检测一切，分割一切，生成一切的能力。

该系统的功能包括：

BLIP+Grounded-SAM=自动标注器

使用BLIP模型生成标题，提取标签，并使用Ground-SAM生成框和掩码:

· 半自动标注系统：检测输入的文本，并提供精确的框标注和掩码标注。

· 全自动标注系统：

首先使用BLIP模型为输入图像生成可靠的标注，然后让Grounding DINO检测标注中的实体，接着使用SAM在其框提示上进行实例分割。

Stable Diffusion+Grounded-SAM=数据工厂

· 用作数据工厂生成新数据：可以使用扩散修复模型根据掩码生成新数据。

Segment Anything+HumanEditing

在这个分支中，作者使用Segment Anything来编辑人的头发/面部。

· SAM+头发编辑

· SAM+时尚编辑

作者对于Grounded-SAM模型提出了一些未来可能的研究方向：

自动生成图像以构建新的数据集；分割预训练的更强大的基础模型；与(Chat-)GPT模型的合作；一个完整的管道，用于自动标注图像（包括边界框和掩码），并生成新图像。

作者介绍

Grounded-SAM项目其中的一位研究者是清华大学计算机系的三年级博士生刘世隆。

他近日在GitHub上介绍了自己和团队一起做出的最新项目，并称目前还在完善中。

现在，刘世隆是粤港澳大湾区数字经济研究院（IDEA研究院），计算机视觉与机器人研究中心的实习生，由张磊教授指导，主要研究方向为目标检测，多模态学习。

在此之前，他于2020年获得了清华大学工业工程系的学士学位，并于2019年在旷视实习过一段时间。

个人主页： http://www.lsl.zone/

顺便提一句，刘世隆也是今年3月份发布的目标检测模型Grounding DINO的一作。

此外，他的4篇论文中了CVPR 2023，2篇论文被ICLR 2023接收，1篇论文被AAAI 2023接收。

论文地址：https://arxiv.org/pdf/2303.05499.pdf

而刘世隆提到的那位大佬——任天和，目前在IDEA研究院担任计算机视觉算法工程师，也由张磊教授指导，主要研究方向为目标检测和多模态。

此外，项目的合作者还有，中国科学院大学博士三年级学生黎昆昌，主要研究方向为视频理解和多模态学习；IDEA研究院计算机视觉与机器人研究中心实习生曹赫，主要研究方向为生成模型；以及阿里云高级算法工程师陈佳禹。

任天和、刘世隆

安装运行

项目需要安装python 3.8及以上版本，pytorch 1.7及以上版本和torchvision 0.8及以上版本。此外，作者强烈建议安装支持CUDA的PyTorch和TorchVision。

安装Segment Anything：

python -m pip install -e segment_anything

安装GroundingDINO：

python -m pip install -e GroundingDINO

安装diffusers：

pip install --upgrade diffusers[torch]

安装掩码后处理、以COCO格式保存掩码、example notebook和以ONNX格式导出模型所需的可选依赖。同时，项目还需要jupyter来运行example notebook。

pip install opencv-python pycocotools matplotlib onnxruntime onnx ipykernel

Grounding DINO演示

下载groundingdino检查点：

1 cd Grounded-Segment-Anything

2 wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

运行demo：

模型预测可视化将保存在output_dir中，如下所示：

Grounded-Segment-Anything+BLIP演示

自动生成伪标签很简单：

1. 使用BLIP（或其他标注模型）来生成一个标注。

2. 从标注中提取标签，并使用ChatGPT来处理潜在的复杂句子。

3. 使用Grounded-Segment-Anything来生成框和掩码。

伪标签和模型预测可视化将保存在output_dir中，如下所示：

Grounded-Segment-Anything+Inpainting演示

Grounded-Segment-Anything+Inpainting Gradio APP

python gradio_app.py

作者在此提供了可视化网页，可以更方便的尝试各种例子。

网友评论

对于这个项目logo，还有个深层的含义：

一只坐在地上的马赛克风格的熊。坐在地面上是因为ground有地面的含义，然后分割后的图片可以认为是一种马赛克风格，而且马塞克谐音mask，之所以用熊作为logo主体，是因为作者主要示例的图片是熊。

看到Grounded-SAM后，网友表示，知道要来，但没想到来的这么快。

项目作者任天和称，「我们用的Zero-Shot检测器是目前来说最好的。」

未来，还会有web demo上线。

最后，作者表示，这个项目未来还可以基于生成模型做更多的拓展应用，例如多领域精细化编辑、高质量可信的数据工厂的构建等等。欢迎各个领域的人多多参与。

参考资料：

https://github.com/IDEA-Research/Grounded-Segment-Anything

https://www.reddit.com/r/MachineLearning/comments/12gnnfs/r_groundedsegmentanything_automatically_detect/

https://zhuanlan.zhihu.com/p/620271321

本文（含图片）为合作媒体授权创业邦转载，不代表创业邦立场，转载请联系原作者。如有任何疑问，请联系

","gnid":"94e99e7d3ae9e0b5d","img_data":[{"flag":2,"img":[{"desc":"","height":"266","title":"","url":"https://p0.ssl.img.360kuai.com/t018d9cc572cb191a74.jpg","width":"1080"},{"desc":"","height":"122","title":"","url":"https://p0.ssl.img.360kuai.com/t01848fefb1a1db5b2b.jpg","width":"732"},{"desc":"","height":"132","title":"","url":"https://p0.ssl.img.360kuai.com/t01f8ac903de8a9e22f.jpg","width":"470"},{"desc":"","height":"247","title":"","url":"https://p0.ssl.img.360kuai.com/t01c0a5f1648bf94c65.jpg","width":"1080"},{"desc":"","height":"337","title":"","url":"https://p0.ssl.img.360kuai.com/t014cbbc9db28c60767.jpg","width":"1080"},{"desc":"","height":"271","s_url":"https://p0.ssl.img.360kuai.com/t0136eabfd2b2cd51e3_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0136eabfd2b2cd51e3.gif","width":"1078"},{"desc":"","height":"616","title":"","url":"https://p0.ssl.img.360kuai.com/t01ae69b3bf446f3113.jpg","width":"1080"},{"desc":"","height":"628","title":"","url":"https://p0.ssl.img.360kuai.com/t01d7172dba3832448d.jpg","width":"1080"},{"desc":"","height":"627","title":"","url":"https://p0.ssl.img.360kuai.com/t016ad4dadf675db07c.jpg","width":"1059"},{"desc":"","height":"369","title":"","url":"https://p0.ssl.img.360kuai.com/t01c925ceb421a6b65e.jpg","width":"1053"},{"desc":"","height":"555","title":"","url":"https://p0.ssl.img.360kuai.com/t01178900f2d55d3ff9.jpg","width":"1057"},{"desc":"","height":"289","title":"","url":"https://p0.ssl.img.360kuai.com/t01481501830d36cb87.jpg","width":"1080"},{"desc":"","height":"581","title":"","url":"https://p0.ssl.img.360kuai.com/t01c3470df25d713191.jpg","width":"1080"},{"desc":"","height":"1087","s_url":"https://p0.ssl.img.360kuai.com/t0103e07ded8b148073_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0103e07ded8b148073.gif","width":"1079"},{"desc":"","height":"580","title":"","url":"https://p0.ssl.img.360kuai.com/t0104abacf7d8451524.jpg","width":"1080"},{"desc":"","height":"1080","title":"","url":"https://p0.ssl.img.360kuai.com/t019dbcd7c6e56783ad.jpg","width":"1080"},{"desc":"","height":"453","title":"","url":"https://p0.ssl.img.360kuai.com/t015e3542a6252efe91.jpg","width":"1080"},{"desc":"","height":"307","title":"","url":"https://p0.ssl.img.360kuai.com/t014651a928c86ac969.jpg","width":"1080"},{"desc":"","height":"1440","title":"","url":"https://p0.ssl.img.360kuai.com/t01828be08f7398db45.jpg","width":"1080"},{"desc":"","height":"553","title":"","url":"https://p0.ssl.img.360kuai.com/t01943950e14725fabc.jpg","width":"1280"},{"desc":"","height":"757","title":"","url":"https://p0.ssl.img.360kuai.com/t01c197cf22763ee15f.jpg","width":"1080"},{"desc":"","height":"678","title":"","url":"https://p0.ssl.img.360kuai.com/t0152f4f932ed6a10d6.jpg","width":"1280"},{"desc":"","height":"636","title":"","url":"https://p0.ssl.img.360kuai.com/t01ffd72cdbd9ef9d72.jpg","width":"1080"},{"desc":"","height":"667","title":"","url":"https://p0.ssl.img.360kuai.com/t0112e28b2440d18e03.jpg","width":"1280"},{"desc":"","height":"562","title":"","url":"https://p0.ssl.img.360kuai.com/t011360b4ec3abecd3f.jpg","width":"1080"},{"desc":"","height":"292","title":"","url":"https://p0.ssl.img.360kuai.com/t014497ec8badd7e852.jpg","width":"274"},{"desc":"","height":"288","title":"","url":"https://p0.ssl.img.360kuai.com/t01f44e23fa0b3a7524.jpg","width":"934"},{"desc":"","height":"134","title":"","url":"https://p0.ssl.img.360kuai.com/t01068ea7f7020f9116.jpg","width":"764"},{"desc":"","height":"310","title":"","url":"https://p0.ssl.img.360kuai.com/t01a0f592ad65b6dc59.jpg","width":"708"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"hbase","pub_time":1681195242000,"pure":"","rawurl":"http://zm.news.so.com/688b41f714f699e1a286fd296e3ded68","redirect":0,"rptid":"26426ff87dfc50e4","rss_ext":[],"s":"t","src":"创业邦","tag":[],"title":"Meta「分割一切」超进化版来了，IDEA领衔国内顶尖团队打造：检测、分割、生成一切，狂揽2k星

麻锦狡2909Idea总是用着用着突然退出,怎么设置运行内存都不行啊,退出写的东西都没存,搞得我现在不停Ctrl+S -
仇邰谭18932267838 ______ 可能是系统问题,修复一下,用这个:Ty2y错误修复

麻锦狡2909联想笔记本程序无法启动因为应用程序的并行配制不正确.如何解决? -
仇邰谭18932267838 ______ 现:应用程序启,应用程序并行配置确解决: 运行某些软件突提示错信息应用程序启,应用程序并行配置确关详细信息请参阅应用程序事件志或使用命令行sxstrace.exe工具查看windows应用程序事件志:计算机——>右击——>管理——>事件...

麻锦狡2909idea debug调试怎么使用 -
仇邰谭18932267838 ______ 先编译好要调试的程序. 1.设置断点选定要设置断点的代码行,在行号的区域后面单击鼠标左键即可. 2.开启调试会话点击红色箭头指向的小虫子,开始进入调试. IDE下方出现Debug视图,红色的箭头指向的是现在调试程序停留的代码行,方法f2()中,程序的第11行.红色箭头悬停的区域是程序的方法调用栈区.在这个区域中显示了程序执行到断

麻锦狡2909电脑弹出损坏的映像0xc000012f
仇邰谭18932267838 ______ 1、按下Win+R组合件打开运行,在框中键入control(控制面板命令)点击确定打开控制面板.2、在控制面板中点击【程序和功能】,大图标的查看方式下.3、然后将无法正常运行的程序找到后单击右键,选择卸载将其卸载.4、卸载后重新下载安装即可解决问题.

麻锦狡2909您好,我正常使用联想ideapad Y450时,电脑不小心掉到地上,然后就不能运行了... -
仇邰谭18932267838 ______ 你是开着机掉地上的还是关着机掉地上的?开机掉地上:硬盘损伤非常大,屏幕与显卡的数据线容易折断(就是我们常说的排线),关机掉地上的,有可能是某些部位松脱,总的来说我建议您现在不要再开机了,否则硬盘里的数据很可能会严重丢失的,明天一早拿去联想服务中心急救去吧!

麻锦狡2909idea生成java程序在什么地方 -
仇邰谭18932267838 ______ File—>New Project 2 Next 3 输入Name,在Project files location中选择文件要存放的位置,Next 4 Next 5 选择要创建的项目或者直接点finish,创建简单的java项目 6 创建一个新类 7 如下: 8 输入代码: 9 Ctrl+Shift+F10,运行该类: 10 运行成功,打印HelloWorld! 至此,我们已经成功创建并运行了IntelliJ下的第一个Java程序.

麻锦狡2909如果使用的是spark - shell启动写程序,4040可以出 -
仇邰谭18932267838 ______ 4040页面只有在有spark 任务运行时才能访问,你在任务访问日志里也能找到类似的语句,提交job后Spark-UI才会启动.当任务运行完了,立马端口就释放了.所以建议你配置一下spark-history 页面,运行完了可以查看已经finished的job,下面...

麻锦狡2909提示“操作系统当前的配置不能运行此程序”,是怎么回事? -
仇邰谭18932267838 ______ 遇到这个问题的原因可能是软件冲突,比如Cortana.这里遇到的就是Cortana所造成的冲突. 解决方法: Cortana的键盘快捷方式冲突,Win + Q打开Cortana,左边设置中将键盘快捷方式(Win + C)关闭即可解决问题.然后通过重新安装注册...

麻锦狡2909打印的时候出现这个提示框是什么意思?用DP - 1820P打印横向文
仇邰谭18932267838 ______ 内存指令不能read,这是在电脑使用中经常出现的问题,内存是主板上的存储部件,是CPU直接与之沟通,并用其存放当前正在使用的(即执行中)的数据和命令的重要部...

麻锦狡2909请问数据存储加密技术的目的是什么?
仇邰谭18932267838 ______ 数据加密,是一门历史悠久的技术,指通过加密算法和加密密钥将明文转变为密文,... 即使是加密者若未被授权也无法执行相应的解密. 公开密钥加密思想最初是由Diffie...

（编辑：自媒体）