无限从神奇宝贝开始
作者 | 李梅、施方圆
编辑 | 陈彩娴
作为一个强大、公开且足够简单的模型，最近大火的 Stable Diffusion 在文本生成图像之外，给了大家无限的创作可能性。
最近，来自 Lambda Labs 的机器学习研究员 Justin Pinkney 对该模型进行了微调，构建了一个神奇宝贝生成器！
来看一些有趣的例子~
下图是输入名字后生成的一些神奇宝贝：戴珍珠耳环的少女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。
Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图：
耶稣基督：
除了现有的角色和公共人物，你还可以输入一个描述来生成自己想象的神奇宝贝：骷髅祭司
你也可以输入自己的姓名或网名，生成属于自己的神奇宝贝形象。这可太酷了，推特上的网友纷纷用自己的名字展开创作，看看自己如果变成神奇宝贝会是什么样子。
图注：网友 Elizabeth Holmes 的神奇宝贝形象
图注：网友 Upbeatblue 的神奇宝贝形象
图注：网友 Onion-sama 的神奇宝贝形象
输入一些漫画角色的名字也可以获得相匹配的神奇宝贝：
而那些陪伴人们童年的神奇宝贝在这个生成器中也有了新的样貌：皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦幻。
Pinkney 在推特上展示了这个神奇宝贝生成器的训练过程。
他表示，Stable Diffusion 是一个很好的通用模型，但要获得特定风格的输出不是件容易的事，这通常需要做大量枯燥的工作，制作复杂的文本提示库，或者你也可以偷懒只对图像生成模型进行微调。
Pinkney 在神奇宝贝图像的数据集上对初始的 Stable Diffusion 进行了微调。
首先是构建一个数据集。数据集包含神奇宝贝图像和对应的文本描述，比如妙蛙种子被描述成“一个红眼睛的绿色神奇宝贝图像”，绿毛虫则被描述为“一个长着红鼻子的绿黄两色玩具”。
图注：神奇宝贝数据集
当然，这些描述不是人工完成的，而是使用了神经网络来代劳，即图像描述模型 BLIP。虽然这些描述还不是十分完美，但也足够用了。
然后，他在 A6000 上只花费了几个小时对 AI 模型进行训练，让模型学习以神奇宝贝的风格来生成图像，但将先前的知识保留一段时间，最终对数据集产生过拟合。
开始时，样本是正常图像的样子，然后逐渐获得神奇宝贝的风格，随着训练的继续，最终呈现一个与原始提示不同的神奇宝贝图像：
这是一种很简单的微调，但它运行得非常好。有了这样一个微调后的模型，无论你给它什么提示，它都会生成神奇宝贝。所以不必再煞费苦心地想提示语了。
在创建神奇宝贝时，你可以选择输出多个：
图注：带翅膀的机械猫
Pinkney 表示，欢迎大家用更复杂的方式把这个模型专门地用在新领域。像这样的小工具就是 Stable Diffusion 这类 AI 模型开源好处的体现。
这个模型在网上引起创作热潮后，Pinkney 又发布了一篇博客补充了一些额外的工作细节。
他发现，令人惊讶的是，这个模型竟然设法记住了初始 Stable Diffusion 的一些通用知识，而它只是在一个有限的数据集上训练了几千步。但是，对神奇宝贝进行微调时，模型实际上很快就会开始过度拟合，如果只是以一种简单的方式从中采样，模型就会为新的提示生成胡言乱语式的神奇宝贝，也就是说，它已经灾难性地遗忘了它所训练的原始数据）。但是 Stable Diffusion 在训练期间保持模型的指数移动平均 (EMA) 版本，通常用于推理。
因此，如果使用 EMA 权重，我们实际上是在使用原始模型和微调模型的平均值。事实证明，这对于生成神奇宝贝而言是必不可少的。此外，你还可以通过直接将新模型与初始模型的权重进行平均来微调效果，以控制生成神奇宝贝的数量。微调和对模型进行平均的操作可以将原始内容与微调后的风格有效混合。
图注：左边是完全微调的模型，右边是只微调注意力层的模型。
另外，你也可以冻结模型的不同部分来进行微调，比如上图是两种微调方式的生成效果，可以看到，只微调了注意力层的模型可以生成更正常的 Yoda，但并不太擅长制作神奇宝贝。
参考链接：https://www.justinpinkney.com/pokemon-generator/
雷峰网
","force_purephv":"0","gnid":"9df2ae4adc89821d0","img_data":[{"flag":2,"img":[{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t0196589a324f8643b8.jpg","width":"768"},{"desc":"","height":"427","title":"","url":"https://p0.ssl.img.360kuai.com/t01f245974f228dc1f0.jpg","width":"640"},{"desc":"","height":"1080","title":"","url":"https://p0.ssl.img.360kuai.com/t01b816ede668acfad3.jpg","width":"1080"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t01465dc7306c201e32.jpg","width":"512"},{"desc":"","height":"470","title":"","url":"https://p0.ssl.img.360kuai.com/t01663935e7bd7cb02f.jpg","width":"680"},{"desc":"","height":"257","title":"","url":"https://p0.ssl.img.360kuai.com/t0191557a8be11f2f05.jpg","width":"270"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t013db3ef3ea7472138.jpg","width":"512"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t01742c053b7498540b.jpg","width":"512"},{"desc":"","height":"654","title":"","url":"https://p0.ssl.img.360kuai.com/t0133dd9ef38ee4e64e.jpg","width":"1080"},{"desc":"","height":"459","title":"","url":"https://p0.ssl.img.360kuai.com/t01bf7a0ff428912f25.jpg","width":"680"},{"desc":"","height":"296","title":"","url":"https://p0.ssl.img.360kuai.com/t01ef7d4d5f808777cc.jpg","width":"583"},{"desc":"","height":"399","title":"","url":"https://p0.ssl.img.360kuai.com/t015d96e5af826dd880.jpg","width":"765"},{"desc":"","height":"192","s_url":"https://p0.ssl.img.360kuai.com/t014f79a0b0bdf6fa44_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t014f79a0b0bdf6fa44.gif","width":"768"},{"desc":"","height":"256","title":"","url":"https://p0.ssl.img.360kuai.com/t0106ef8c161f4eebfa.jpg","width":"1024"},{"desc":"","height":"192","title":"","url":"https://p0.ssl.img.360kuai.com/t0152ee1ccf5183e41e.jpg","width":"800"},{"desc":"","height":"300","title":"","url":"https://p0.ssl.img.360kuai.com/t016f71713800e5a611.jpg","width":"700"},{"desc":"","height":"300","title":"","url":"https://p0.ssl.img.360kuai.com/t01720106cf95731d77.jpg","width":"700"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"hbase","pub_time":1664532628000,"pure":"","rawurl":"http://zm.news.so.com/c86bdb234e822e520a18c2b5442be07e","redirect":0,"rptid":"eddbaa32a6f0845d","s":"t","src":"雷峰网","tag":[{"clk":"kanime_1:神奇宝贝","k":"神奇宝贝","u":""}],"title":"生成式 AI 无敌了: 大神微调 Stable Diffusion，打造神奇宝贝新世界
尤侨璐633口袋妖怪漆黑的魅影无限可能梦之实验室第三张床有什么用 -
汲修帝15886185320 ______ (获得神秘u盘)那个是口袋妖怪漆黑魅影5的最后一个世界,以前进入的是亚空间,那个才是本身,需要进入森之洋管,那里有一个电脑,阅读文件,回去第三张床,就可进入真实的空间,注意:那里是很危险的地方,有耀光团,注意存档~不要谢人家,点赞就好~有问题回复
尤侨璐633精灵宝可梦第一季动画片目录 -
汲修帝15886185320 ______ 石英联盟01. 神奇宝贝,就决定是你了!(小智、小茂登场,小智得到皮卡丘) 02. 神奇宝贝中心大对决(小霞加入,火箭队登场) 03. 收服神奇宝贝!(小智收服绿毛虫并进化成铁甲蛹, 收服比比鸟) 04. 武士少年的挑战(小智的铁甲蛹进化...
尤侨璐633精灵宝可梦第二季动画片目录 -
汲修帝15886185320 ______ 《精灵宝可梦:超世代》目录如下:AG01.新的大地!新的冒险! (小遥加入,并得到新人用火稚鸡)AG02.古代神奇宝贝与神秘军团!AG03.橙华道馆对抗过动猿! (小胜加入)AG04.傲骨燕多多!危险多多!在橙华森林收服它! (小智收服...
尤侨璐633宠物小精灵(神奇宝贝)穿越文 -
汲修帝15886185320 ______ 推荐晋江的:《等待奇迹<神奇宝贝同人> 》by≈梦¤蝶≈ 起点女生频道的《宠物小精灵之旅 》也很赞!其实在起点,男主变成火箭队的几本也不错!
尤侨璐633口袋妖怪赤特别篇橘子群岛攻略 -
汲修帝15886185320 ______ 口袋妖怪赤特别篇橘子群岛的游戏攻略: 1、购买游戏杂志,如今的游戏杂志有很多种,基本包括单机游戏、网页游戏、网络游戏,要看好目录,并不是每期都会有的,游戏杂志每个报亭都有出售. 2、通过专业游戏网站找游戏攻略,如今针对...
尤侨璐633口袋妖怪火红版在哪里可以获得鱼竿 -
汲修帝15886185320 ______ 《口袋妖怪火红版》有以下三种鱼竿,获取地点如下: 1、破钓竿:从枯叶市的钓客首领获得. 2、好钓竿:从浅红市的钓客首领(垂钓大师的哥哥)获得. 3、厉害钓竿:从绿岭市最北边房子里的垂钓者获得. 4、超强钓竿:在11号道路附近...
尤侨璐633求神奇宝贝剧集. -
汲修帝15886185320 ______ 哦,我知道了!你看的是《神奇宝贝第一部EP》第三篇和《神奇宝贝第二部AG》第一篇! 你看的是《神奇宝贝第一部EP》的第三篇:城都地区白银联盟篇! 城都地区白银联盟篇的片头曲是《OK!》,发送的神奇宝贝有小锯鳄,火球鼠,菊叶...
尤侨璐633求各种游戏异界、综漫、无限、犬夜叉、神奇宝贝等同人小说,还有兑换流的小说! -
汲修帝15886185320 ______ 宠物小精灵之小篮宠物小精灵之水系大师宠物小精灵之常盘阿月宠物小精灵之华丽大师宠物小精灵之奇迹之种宠物小精灵之波导洛儿宠物小精灵...
尤侨璐633从零开始的神奇宝贝和厨道仙途哪部小说好看 -
汲修帝15886185320 ______ 感觉小光女主的小说……尤其是好看的小说真的蛮少的(可能是我比较挑剔吧)lz如果能接受智光设定的话强烈推荐下《阿尔宙斯与传奇精灵训练师》,我觉得是我看过的小光的小说里最好的之一了,宠物小精灵中角色的把握也非常到位,文笔也很棒,智光情节主要是含蓄美,所以我这样的非智光党也觉得很有爱,就是有点短蛮可惜的还有神奇宝贝吧里的精品贴《dp/pt新奥冒险开始》当年我也追过很长时间,这个是以游戏的设定为基础的长篇,但最后弃坑了……不过也够看的了,稍微推荐下如果lz是智光党的话推荐下贴吧里的《心的羁绊》,文章很长,其中对于战斗和情感的描写很细腻,尤其是后期的高潮部分,看得出作者还是很费一番功夫的
尤侨璐633硅谷禁书讲的是什么?为什么会被禁止啊? -
汲修帝15886185320 ______[答案] 世界上最伟大的24堂励志课,美国历史上最具影响力的潜能开发著作,一本让比尔·盖茨弃学从商的书,一本无数美国成... 《硅谷禁书》是最神秘的潜能开发指南,将激发你内在的无限潜能! 《硅谷禁书》是最有效的财富训练法则,将让你从此告...