菜鸟工具在线编程链接
衡宇 发自 凹非寺
量子位 | 公众号 QbitAIAI画师，技术又精进了——
直接一句话/一张图，生成3D模型、环绕视频、NeRF实例那种。
还是带颜色的。
输入“一幅美丽的花树画，作者Chiho Aoshima，长镜头，超现实主义”，就能瞬间得到一个长这样的花树视频，时长13秒。
这个文本/图片-3D生成AI，叫Dreamfields-3D，来自一个自称编程菜鸟的建筑学在读博士。
Demo刚被小哥放在微博、推特等平台，许多网友已经急着蹲内测了：
现在，小哥已经将它开源，colab上也能运行。
一起来上手玩玩看～
AI作画3D版在线玩
Dreamfields-3D玩法十分低门槛，大致只需要三步。这里介绍一下colab上在线玩的步骤。
首先，检查一下GPU，再安装个谷歌驱动器。
第二步，调出工具开始运行，并安装依赖项。
然后定义一些必要的功能，就可以在colab上训练和测试了～
玩的时候需要输入一些参数，保存格式有视频和网格两种，输出模型格式为带顶点色的obj和ply。
万事俱备，让我们现在开始。
试试输入“一个赛博朋克风格的飞行霓虹灯汽车，格雷格鲁特科夫斯基和西蒙斯大林风格，长镜头，CG社会，虚幻的引擎，史诗游戏”？
会得到一个果然很赛博的汽车的视频。
如果你是《千与千寻》重度爱好者，想搞张吉卜力风格的视频玩玩。
没问题，prompt输入“一张美丽的天空城市的插图，吉卜力工作室，艺术站，8k HD，CG社会”，这不就来了——
有网友迫不及待上手，做出了个小计算机。
当然在鹅妹子嘤的惊叹中，也有网友表达了希望Dreamfields-3D更好的期许。
当然，除了文本输入，Dreamfield3D是支持图片作为prompt的。
不过现在版本还有待完善，如果输入图片，会造成过拟合，简单说就是如果喂它一张车的正面图，生成的3D视频中，那辆车可能4个面都是正面……
想要玩儿图片输入的友友们，怕是要再等等了。
基于现状，小哥在GitHub表达了未来的改进目标：
- 同时使用不同的CLIP模型。
- 仅在指定方向应用图像提示。未来可能要加一个图片角度的约束，例如只有在输入图片相同角度时，输出才参考该图片。
- 作为NeRF实例读取现有网格，然后通过文本/图像prompt进行修改。
- 在训练中减少GPU RAM的使用。
（但小哥说了，自己是个编程菜鸟，后续可不保证哦）doge
基于谷歌Dreamfields-Torch
小哥是建筑学出身，据他讲，Dreamfield3D是他从创作者角度出发，对Dreamfield-Torch做了些优化，主要的代码工作还是来自上游的Dreamfields-Torch和Dreamfields。
介绍下，Dreamfields来自谷歌，它的特点是无需照片样本，简简单单一句话，就能生成3D图像，还可以生成多种物品组合成的复合结构。
在生成3D场景时，通常会选用神经辐射场（NeRF）参数方案。
NeRF的特点是可分别渲染场景，但需要很多张3D照片，才能实现360°视觉重建。
相比之下，Dreamfields生成3D模型不需要照片，因为它基于NeRF 3D场景技术、OpenAI文本生成模型DALL·E以及CLIP的3D生成系统开发，通过神经网络来储存3D模型。
DALL·E和CLIP同样师出谷歌，前者通过文本生成图像，后者通过文本分类图片。用CLIP来分类DALL·E生成的图像，可以提升图像生成的准确性。
Dreamfields-Torch则是一个经过修改的Dreamfields的Pytorch实现，主要是把原Dreamfields的后端，从原始NeRR换成了instant-ngp。
以此为基础，小哥做出的Dreamfields-3D基本上靠CLIP + NERF运作。
作者简介
作者蒙胜宇（Simon Meng），奥地利因斯布鲁克大学（UIBK）建筑学在读博士。
硕士毕业于伦敦大学学院（UCL）建筑学，现为UIBK及UCL技术课程助教及特邀评图嘉宾，从事建筑设计、艺术、AI及生物学跨领域研究。
小哥从去年6、7月份开始关注AI图像生成。
他发现，很多破圈技术，如clip guide diffusion，disco diffusion，都是一些懂代码的跨界者做的。
去年年末谷歌发布Dreamfields，他就动了用它做3D输出的心思。
于是，在拿到动画后，他用AI做了超采样放大和插帧，然后导出帧到普通的多目重建软件（类似colmap），成功重建mesh（一个用3D模型数据还原的模型图）。
小哥把mesh发在推特上，结果Dreamfields论文的原作者Ajay Jain联系到他，表示了欢迎，还鼓励他保持优化更新——虽然那时候他用的是普通航拍实景重建软件，不是编程方法。
上个月，小哥在Dreamfield-Torch的基础上做了colab版，本月在GitHub开源，让大家能够愉快地玩耍。
以及，现在这个已经是基于Marching cubes的船新版本啦～
GitHub地址：https://github.com/shengyu-meng/dreamfields-3D
colab地址：https://colab.research.google.com/drive/1u5-zA330gbNGKVfXMW5e3cmllbfafNNB?usp=sharing#scrollTo=_VDLFG_gUEKa参考链接：[1]https://weibo.com/1948301550/M4o6m3vGn?type=comment#_rnd1663119855180
[2]https://twitter.com/meng_shengyu[3]https://github.com/ashawkey/dreamfields-torch— 完 —
量子位 QbitAI · 头条号签约
","force_purephv":"0","gnid":"90c68e947b3b77ccc","img_data":[{"flag":2,"img":[{"desc":"","height":"412","s_url":"https://p0.ssl.img.360kuai.com/t015a5c3dae781d14a8_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t015a5c3dae781d14a8.gif","width":"502"},{"desc":"","height":"582","title":"","url":"https://p0.ssl.img.360kuai.com/t01f2d6a6c8c0b9c8f2.jpg","width":"1080"},{"desc":"","height":"299","title":"","url":"https://p0.ssl.img.360kuai.com/t010f1f9646db4ca2b8.jpg","width":"1080"},{"desc":"","height":"194","title":"","url":"https://p0.ssl.img.360kuai.com/t01cc6588bd355b36ad.jpg","width":"724"},{"desc":"","height":"452","title":"","url":"https://p0.ssl.img.360kuai.com/t01e7fe7dedd614323f.jpg","width":"1080"},{"desc":"","height":"452","title":"","url":"https://p0.ssl.img.360kuai.com/t016cd83ef19db189be.jpg","width":"1080"},{"desc":"","height":"372","s_url":"https://p0.ssl.img.360kuai.com/t01d59a8e806ef95e19_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01d59a8e806ef95e19.gif","width":"400"},{"desc":"","height":"372","s_url":"https://p0.ssl.img.360kuai.com/t017b2b791b7e94339d_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t017b2b791b7e94339d.gif","width":"400"},{"desc":"","height":"1030","title":"","url":"https://p0.ssl.img.360kuai.com/t01681db1e828f52d23.jpg","width":"1080"},{"desc":"","height":"94","title":"","url":"https://p0.ssl.img.360kuai.com/t01ef1f40fc98c19e9b.jpg","width":"1080"},{"desc":"","height":"366","s_url":"https://p0.ssl.img.360kuai.com/t01969db36e038fb0f9_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01969db36e038fb0f9.gif","width":"638"},{"desc":"","height":"342","title":"","url":"https://p0.ssl.img.360kuai.com/t015f78af03803e3dc1.jpg","width":"724"},{"desc":"","height":"261","title":"","url":"https://p0.ssl.img.360kuai.com/t010e105d36675e56e8.jpg","width":"1080"},{"desc":"","height":"567","title":"","url":"https://p0.ssl.img.360kuai.com/t0199d80a0a49b1f94b.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1664088060000,"pure":"","rawurl":"http://zm.news.so.com/3aed4dbd68d1c1271eee4b80b71098b2","redirect":0,"rptid":"f4675369fe7d3ce7","s":"t","src":"量子位","tag":[],"title":"Text-to-3D！建筑学小哥自称编程菜鸟，却攒了个AI作画三维彩色版
成荣苗2063vc++6.0能编程c51吗,菜鸟问题...如何操作 -
迟夜缸17625368893 ______ 不能的啊,C51的编程可以用keil C编程的. ps:普及一下知识,编程的工具的选择主要是因为各应用的cpu不一样,指令集不一样,所以要有不一样的编译器.其实在代码的编辑阶段,用vc++6.0或者就是记事本都可以的.但是在编译、链接过程就要使用使用该芯片(在这里就是C51)的指令集的专用工具链了.
成荣苗2063我想学电脑编程.请问用什么工具. -
迟夜缸17625368893 ______ 朋友,好我就告诉你:C语言是在B语言的基础上发展而来的,其根源可以追溯到ALGOL60,在此基础又推出了CPL,继而简化为BCPL BasicCombinedProgammingLanguage(B语言,取其第一个字母),后来又做了进一步改进,区别起见取其...
成荣苗2063求一个菜鸟初学者比较容易上手的编程软件 -
迟夜缸17625368893 ______ 劝你选择vb,vb很简单,易语言,还是别学,易语言是vb的汉化版,不是我不支持国产,但他确实有很大的不足,如果您就想学编程,不干什么别的,推荐DELPHI+vb一起学. 学完之后学c++,这样应该效果比较好,我是一名初一的学生,我时间不多,只学习vb
成荣苗2063所见即所得 型 网页制作工具有哪些》? -
迟夜缸17625368893 ______ 一、菜鸟级网页制作软件 如果你是一个网页制作初学者,那么让下面几种软件带你走进那绚丽多彩的网页制作世界吧! ①Microsoft FrontPage 如果你曾对Word很熟悉,那么相信你用FrontPage进行网页设计一定会非常顺手.使用FrontPage制...
成荣苗2063雅虎搜索引擎的发展史和搜索特色 -
迟夜缸17625368893 ______ 搜索引擎的发展史 1990年以前,没有任何人能搜索互联网. 所有搜索引擎的祖先,是1990年由Montreal(加拿大的蒙特利尔)的McGill University学生 Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie( Archie FAQ ).虽然当时World ...
成荣苗2063推荐几款C语言编程软件,我的电脑是我WINDOW7系统,上课时在机房用的是Turbo C 2.0,WINDOW7下不成它, -
迟夜缸17625368893 ______ 我的是WIN7 64位系统,我用的是VC6.0++ ,安装会出些小问题,你百度一下就可以解决,当然还可以去微软官网下载 visual c++ 2010 Express版本,这是学习版本,有普通的功能,对于初学用的控制台应用程序可以,但是其它的大型功能就不行了,建议用VC6.0++企业版,当然也可以去下载Visual Studio 2010这里基本上和微软有点关系的关系都可以在这写和编译,如:VB, C, C++,JAVASCRIPT,
成荣苗2063菜鸟程序找错4 -
迟夜缸17625368893 ______ #include void main() { int a[5]={1,2,3,4,5},b[5]={11,4,2,7,9},c[5]; int...
成荣苗2063菜鸟socket编程 关于c++和c#的问题 -
迟夜缸17625368893 ______ 明确的告诉你,这个是可行的,socket是基于tcp/ip协议,无论是哪种语言写的服务器,只要开放socket端口,另外一种语言写的客户端是可以连接上的,它们之间使用标准的tcp/ip协议通讯.附:我曾经用c# 写服务器 然后flex(也就是flash的编程版)写客户端实现聊天系统,这个是可行的.
成荣苗2063新手编程入门学哪种语言? -
迟夜缸17625368893 ______ 先认认真真的学习一门语言,学习微软的就先从VB开始,VB是比较好的入门语言,可视化的,比较简单,是非常好的入门语言.书籍最少应该准备两本,不可能一本书籍会包含VB的所有内容,在看书的时候,可以交叉的看,一本书籍中没有讲...
成荣苗2063手游开发软件都有哪些?菜鸟在线求助各位高人. -
迟夜缸17625368893 ______ 般开发工具用的Visual C++,语言用C/C++/ASM,图形程序库用OpenGL/Direct3D,工具视游戏而定,大型游戏都会自己开发工具. 小游戏建模可以用Maya/3DSMAX等,Deep Exploration也是一个很有用的工具,可以查看转换模型文件格式.