这两天，一段AI修图视频在国内外社交媒体上传疯了。

不仅直接蹿升B站关键词联想搜索第一，视频播放上百万，微博推特也是火得一塌糊涂，转发者纷纷直呼“PS已死”。

怎么回事？

原来，现在P图真的只需要“轻轻点两下”，AI就能彻底理解你的想法！

小到竖起狗子的耳朵：

大到让整只狗子蹲下来，甚至让马岔开腿“跑跑步”，都只需要设置一个起始点和结束点，外加拽一拽就能搞定：

不止是动物的调整，连像汽车这样的“非生物”，也能一键拉升底座，甚至升级成“加长豪华车”：

这还只是AI修图的“基操”。

要是想对图像实现更精准的控制，只需画个圈给指定区域“涂白”，就能让狗子转个头看向你：

或是让照片中的小姐姐“眨眨眼”：

甚至是让狮子张大嘴，连牙齿都不需要作为素材放入，AI自动就能给它“安上”：

如此“有手就能做”的修图神器，来自一个MIT、谷歌、马普所等机构联手打造的DragGAN新模型，论文已入选SIGGRAPH 2023。

没错，在扩散模型独领风骚的时代，竟然还能有人把GAN玩出新花样！

目前这个项目在GitHub上已经有5k+ Star，热度还在不断上涨中（尽管一行代码还没发）。

所以，DragGAN模型究竟长啥样？它又如何实现上述“神一般的操作”？

拽一拽关键点，就能修改图像细节

这个名叫DragGAN的模型，本质上是为各种GAN开发的一种交互式图像操作方法。

论文以StyleGAN2架构为基础，实现了点点鼠标、拽一拽关键点就能P图的效果。

具体而言，给定StyleGAN2生成的一张图像，用户只需要设置几个控制点（红点）和目标点（蓝点），以及圈出将要移动的区域（比如狗转头，就圈狗头）。

然后模型就将迭代执行运动监督和点跟踪这两个步骤，其中运动监督会驱动红色的控制点向蓝色的目标点移动，点跟踪则用于更新控制点来跟踪图像中的被修改对象。

这个过程一直持续到控制点到达它们对应的目标点。

不错，运动监督和点跟踪就是我们今天要讲的重点，它是DragGAN模型中最主要的两个组件。

先说运动监督。在此之前，业界还没有太多关于如何监督GAN生成图像的点运动的研究。

在这项研究中，作者提出了一种不依赖于任何额外神经网络的运动监督损失（loss）。

其关键思想是，生成器的中间特征具有很强的鉴别能力，因此一个简单的损失就足以监督运动。

所以，DragGAN的运动监督是通过生成器特征图上的偏移补丁损失（shifted patch loss）来实现的。

如下图所示，要移动控制点p到目标点t，就要监督p点周围的一小块patch（红圈）向前移动的一小步（蓝圈）。

再看点跟踪。

先前的运动监督会产生一个新的latent code、一个新特征图和新图像。

由于运动监督步骤不容易提供控制点的精确新位置，因此我们的目标是更新每个手柄点p使其跟踪上对象上的对应点。

此前，点跟踪通常通过光流估计模型或粒子视频方法实现。

但同样，这些额外的模型可能会严重影响效率，并且在GAN模型中存在伪影的情况下可能使模型遭受累积误差。

因此，作者提供了一种新方法，该方法通过最近邻检索在相同的特征空间上进行点跟踪。

而这主要是因为GAN模型的判别特征可以很好地捕捉到密集对应关系。

基于这以上两大组件，DragGAN就能通过精确控制像素的位置，来操纵不同类别的对象完成姿势、形状、布局等方面的变形。

作者表示，由于这些变形都是在GAN学习的图像流形上进行的，它遵从底层的目标结构，因此面对一些复杂的任务（比如有遮挡），DragGAN也能产生逼真的输出。

单张3090几秒钟出图

所以，要实现几秒钟“精准控图”的效果，是否需要巨大的算力？

nonono。大部分情况下，每一步拖拽修图，单张RTX 3090 GPU在数秒钟内就能搞定。

具体到生成图像的效果上，实际评估（均方误差MSE、感知损失LPIPS）也超越了一系列类似的“AI修图”模型，包括RAFT和PIPs等等：

如果说文字的还不太直观，具体到视觉效果上就能感受到差异了：

值得一提的是，DragGAN的“潜力”还不止于此。

一方面，如果增加关键点的数量，还能实现更加精细的AI修图效果，用在人脸这类对修图要求比较严格的照片上，也是完全没问题：

另一方面，不止开头展示的人物和动物，放在汽车、细胞、风景和天气等不同类型的图像上，DragGAN也都能精修搞定。

除了不同的照片类型，从站到坐、从直立到跑步、从跨站到并腿站立这种姿势变动较大的图像，也能通过DragGAN实现：

也难怪网友会调侃“远古的PS段子成真”，把大象转个身这种甲方需求也能实现了。

不过，也有网友指出了DragGAN目前面临的一些问题。

例如，由于它是基于StyleGAN2生成的图像进行P图的，而后者训练成本很高，因此距离真正商业落地可能还有一段距离。

除此之外，在论文中提到的“单卡几秒钟修图”的效果，主要还是基于256×256分辨率图像：

至于模型是否能扩展到256×256以外图像，生成的效果又是如何，都还是未知数。

有网友表示“至少高分辨率图像从生成时间来看，肯定还要更长”。

实际上手的效果究竟如何，我们可以等6月论文代码开源后，一测见真章。

团队介绍

DragGAN的作者一共6位，分别来自马克斯・普朗克计算机科学研究，萨尔布吕肯视觉计算、交互与AI研究中心，MIT，宾夕法尼亚大学和谷歌AR/VR部门。

其中包括两位华人：

一作潘新钢，他本科毕业于清华大学（2016年），博士毕业于香港中文大学（2021年），师从汤晓鸥教授。

现在是马普计算机科学研究所的博士后，今年6月，他将进入南洋理工大学担任助理教授（正在招收博士学生）。

另一位是Liu Lingjie，香港大学博士毕业（2019年），后在马普信息学研究所做博士后研究，现在是宾夕法尼亚大学助理教授（也在招学生），领导该校计算机图形实验室，也是通用机器人、自动化、传感与感知 (GRASP)实验室成员。

值得一提的是，为了展示DragGAN的可控性，一作还亲自上阵，演示了生发、瘦脸和露齿笑的三连P图效果：

是时候给自己的主页照片“修修图”了（手动狗头）。

论文地址：

https://vcai.mpi-inf.mpg.de/projects/DragGAN/data/paper.pdf

项目地址（代码6月开源）：

https://github.com/XingangPan/DragGAN

参考链接：

[1]https://weibo.com/1727858283/N1iKl4zVG

[2]https://twitter.com/_akhaliq/status/1659424744490377217

[3]https://twitter.com/mrgreen/status/1659482594516377601

— 完 —

量子位 QbitAI · 头条号签约

","gnid":"9165c9f4c709f6d1f","img_data":[{"flag":2,"img":[{"desc":"","height":"458","title":"","url":"https://p0.ssl.img.360kuai.com/t01a44ab241a24210e4.jpg","width":"1080"},{"desc":"","height":"426","s_url":"https://p0.ssl.img.360kuai.com/t01baffb03964ef2e94_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01baffb03964ef2e94.gif","width":"640"},{"desc":"","height":"426","s_url":"https://p0.ssl.img.360kuai.com/t014adb292480b5ff2c_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t014adb292480b5ff2c.gif","width":"640"},{"desc":"","height":"600","s_url":"https://p0.ssl.img.360kuai.com/t01030ce62c6a6e307d_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01030ce62c6a6e307d.gif","width":"888"},{"desc":"","height":"740","s_url":"https://p0.ssl.img.360kuai.com/t0138aba1a92bd35da8_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0138aba1a92bd35da8.gif","width":"1080"},{"desc":"","height":"352","s_url":"https://p0.ssl.img.360kuai.com/t01e9a980080866e963_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01e9a980080866e963.gif","width":"640"},{"desc":"","height":"634","s_url":"https://p0.ssl.img.360kuai.com/t01b4d83e3311b1415b_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01b4d83e3311b1415b.gif","width":"640"},{"desc":"","height":"191","title":"","url":"https://p0.ssl.img.360kuai.com/t01e2311d87c70bf49b.jpg","width":"947"},{"desc":"","height":"340","title":"","url":"https://p0.ssl.img.360kuai.com/t0188c0c6555fde397f.jpg","width":"1080"},{"desc":"","height":"116","title":"","url":"https://p0.ssl.img.360kuai.com/t01b2368ee2d48925eb.jpg","width":"953"},{"desc":"","height":"539","s_url":"https://p0.ssl.img.360kuai.com/t0119a67a1ed93220dd_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0119a67a1ed93220dd.gif","width":"640"},{"desc":"","height":"202","title":"","url":"https://p0.ssl.img.360kuai.com/t0173c83e9a19c90dcd.jpg","width":"1080"},{"desc":"","height":"498","s_url":"https://p0.ssl.img.360kuai.com/t0114ae19573ae68481_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0114ae19573ae68481.gif","width":"498"},{"desc":"","height":"557","title":"","url":"https://p0.ssl.img.360kuai.com/t0156ba049323f081d7.jpg","width":"814"},{"desc":"","height":"332","title":"","url":"https://p0.ssl.img.360kuai.com/t011464e25dbbeda609.jpg","width":"1080"},{"desc":"","height":"645","title":"","url":"https://p0.ssl.img.360kuai.com/t01cdb670440f0a0f67.jpg","width":"1034"},{"desc":"","height":"183","title":"","url":"https://p0.ssl.img.360kuai.com/t016bf3be4627dcf576.jpg","width":"1049"},{"desc":"","height":"228","title":"","url":"https://p0.ssl.img.360kuai.com/t014edf1dd294269f6e.jpg","width":"1080"},{"desc":"","height":"523","title":"","url":"https://p0.ssl.img.360kuai.com/t01b8368780355cfbf1.jpg","width":"861"},{"desc":"","height":"403","title":"","url":"https://p0.ssl.img.360kuai.com/t01fe8ca5380dbf4a2f.jpg","width":"1080"},{"desc":"","height":"523","title":"","url":"https://p0.ssl.img.360kuai.com/t0188fff3a7147eaa58.jpg","width":"1080"},{"desc":"","height":"523","title":"","url":"https://p0.ssl.img.360kuai.com/t0199f6380b88bf1c39.jpg","width":"1080"},{"desc":"","height":"199","title":"","url":"https://p0.ssl.img.360kuai.com/t0122065ef4bc8e1080.jpg","width":"1080"},{"desc":"","height":"175","title":"","url":"https://p0.ssl.img.360kuai.com/t015e77e4601e9b62e6.jpg","width":"1080"},{"desc":"","height":"147","title":"","url":"https://p0.ssl.img.360kuai.com/t01ea884424d96d6e47.jpg","width":"968"},{"desc":"","height":"359","title":"","url":"https://p0.ssl.img.360kuai.com/t01ed2df8fd2b53e1c4.jpg","width":"1080"},{"desc":"","height":"347","title":"","url":"https://p0.ssl.img.360kuai.com/t01beb11b213f6ad258.jpg","width":"1080"},{"desc":"","height":"1122","title":"","url":"https://p0.ssl.img.360kuai.com/t016c44c0a7dbe2ed30.jpg","width":"1012"},{"desc":"","height":"910","title":"","url":"https://p0.ssl.img.360kuai.com/t017f1e43b919f4425b.jpg","width":"916"},{"desc":"","height":"214","title":"","url":"https://p0.ssl.img.360kuai.com/t0105d1560f029bf00d.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,sexamb,fts0,sts0","powerby":"hbase","pub_time":1684649640000,"pure":"","rawurl":"http://zm.news.so.com/f8ee834b11844ee9e21d937b7ea06408","redirect":0,"rptid":"26da5145a8e67c31","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:小姐姐","k":"小姐姐","u":""},{"clk":"ktechnology_1:狮子","k":"狮子","u":""},{"clk":"ktechnology_1:大象","k":"大象","u":""}],"title":"让GAN再伟大！拽一拽关键点就能让狮子张嘴&大象转身,DragGAN爆火

胥面温3810C++问题,一段代码中有几句看不懂…… -
蓟喻宋17777745933 ______ if 语句会计算后面括号里面的表达式的值,如果是true或非0则执行包含的逻辑,你的程序中string代表的是Str构造函数的参数,是char*类型,所以if(string)的意思是,当string不为0...

胥面温3810风水大象买一只好呢还是一对好 -
蓟喻宋17777745933 ______ 用一对还是一只,及象之形态,需按风水趋吉所需而定. 象五行属金,自古象为神兽,以善吸水驰名,水为财,凡家居大窗见海或水池、河流等水者,均称为“明堂聚水”,若摆放大象在家中,则大财小财均为己所纳.象之禀性驯良,放在宅中...

胥面温3810星辰飞飞bb一个多少钱 -
蓟喻宋17777745933 ______ 越高等级的怪越值钱,当然BB最值钱的是101大象和107鱼 其次是土著 火鸡 火焰车 大约每次平均每只300万

胥面温3810学完杠杆平衡条件后,同学们从书中看到《杭州日报》中的一篇报道:在杭州动物园,一位物理老师用弹簧“称”处一头大象,如图所示,他动用了吊车、... -
蓟喻宋17777745933 ______[答案] (1)从图中可以看出,长的槽钢在使用过程中,动力臂大于阻力,是省力杠杆. (2)称象的过程是利用杠杆平衡的条件原理得出大象的重力的; (3)弹簧秤相当于杆秤中的秤砣; (4)已知支点O,从O做动力F1的垂线就是动力F1的力臂;要使杠杆...

胥面温3810面团搅拌程度对面包成品有什么影响?
蓟喻宋17777745933 ______ 搅拌过度:面团搅拌过度后,表面变湿发粘,极不利于成形和操作,成品体积小,内部组织孔洞多,粗糙、品质很差.

胥面温3810设复数z+i(z∈C)在映射f下的象为复数z的共轭复数与i的积,若复数ω在映射f下的象为 - 1+2i,则相应的ω为 -
蓟喻宋17777745933 ______ 令ω=a+bi,a,b∈R,则z=a+(b-1)i, . z =a-(b-1)i,∴映射f下ω的象为[a-(b-1)i]?i=(b-1)+ai=-1+2i. ∴ b-1=-1 a=2 解得 a=2 b=0 .∴ω=2. 故选A.

胥面温3810物理的两题:大象的质量是5000kg,每只脚底的面积是600平方厘米,大象四脚站立时对地面的压强是多大? 第二个 芭蕾舞演员的一只鞋尖与地面的接触面积为9.5平方厘米,对地面的压力为475N,地
蓟喻宋17777745933 ______ 先统一单位,600平方厘米=0.06平方米,p=F/S=5000*9.8/(0.06*4)=204167帕斯卡( 大象对地的压强),同样得出:475/0.0019=250000p(芭蕾舞演员)

胥面温3810大象的英文单词怎么读 -
蓟喻宋17777745933 ______ 哎立奋特 ~如果你还有任何疑问,请点击【追问】按钮~ ~如果你认可我的回答,请及时点击【采纳为满意回答】按钮~ ~你的采纳是我前进的动力 ^-^

胥面温3810大象有一对大耳朵,象扇子似的耷拉着仿写句子 -
蓟喻宋17777745933 ______ 松鼠有一只尾巴像棉被似的大大的