3d生成器
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
之前要两天才能训练好的数字人，现在只用半小时就能完成了！
到了推理阶段，更是只要16毫秒，就能得到动作流畅、细节到位的场景视频。
而且无需复杂的采样和建模，只要随便拍一段50-100帧的视频就足够了，换算成时间不过几秒钟。
这正是由苹果联合德国马普所推出的，基于高斯函数的3D数字人合成工具HUGS。
它可以从一段简单的视频当中提取出人物骨骼，从而合成数字分身并驱动它做出任意动作。
这个数字人可以丝滑地融合到其他场景，甚至帧率还能超越原始素材，达到60FPS。
Hugging Face的“首席羊驼官”Omar Sanseviero看到后，也给HUGS送上了hug。
那么，HUGS可以实现怎样的效果呢？
100倍速生成60FPS视频
从下面这张动图可以看出，新生成的数字人可以在不同于训练素材的场景中做出不同的动作。
而新合成的画面也比原始素材更加流畅——尽管原素材只有24FPS，但HUGS合成的视频帧率达到了60FPS。
同时，HUGS也支持把多个人物融合进同一个场景。
细节刻画上，HUGS也比Neuman和Vid2Avatar这两个前SOTA更清晰细腻，也更加真实。
如果放到规范空间中，Neuman和HUGS的细节对比将变得更加明显。
测试数据上看，HUGS在NeuMan数据集的五个场景中的PSNR和SSIM评分都达到了SOTA水平，LPIPS误差则处于最低位。
在ZJU Mocap数据集上，针对5个不同受试者，HUGS也都超越了NerualBody、HumanNeRF等Baseline方法。
速度方面，HUGS的训练只需半小时就能完成，而此前最快的VidAvtar也要48小时，速度提升了近百倍。
渲染速度也是如此，用Baseline方法进行渲染需要2-4分钟，但HUGS只用16.6毫秒就能完成，比人眨眼的速度还快。（下图为对数坐标系）
那么，HUGS是如何实现既迅速又细腻地生成3D数字人的呢？
像搭积木一样渲染
HUGS首先将人物和场景分别转化为3D高斯斑点。
其中，人物部分的高斯斑点由三个多层感知机（MLP）来预测，并通过SMPL（一种人体形状模型）进行初始化。
SMPL可以用极少的参数建立实体人物到三维网格的映射，只需要10个主要参数就可以表示99%的人体形状变化。
同时，为了刻画头发和衣服等细节，HUGS也允许高斯函数在一定程度上偏离SMPL。
场景的高斯斑点通过特征三平面提供的位置编码，由多个MLP预测得到。
得到人体和场景模型的高斯斑点后，研究者对它们进行了联合优化。
得到的高斯斑点还会被进行克隆和拆分，从而增大斑点密度，不断接近真实的目标几何表面，这一过程称为Densify。
此外，研究人员还引入了线性混合动画（LBS）技术，在运动过程中对高斯斑点进行驱动。
转换为高斯斑点形式后，研究人员训练了神经网络对高斯函数的属性进行预测，形成真实的人体形状。
同时，神经网络还定义了高斯函数与人体骨骼的绑定关系，从而实现人物的运动。
这样，HUGS的渲染过程就像搭积木一样，不需要重新调用神经网络，从而实现了高速渲染。
消融实验结果表明，LBS、Densify和三平面MLP都是HUGS中的重要环节，缺少任何一个都会对合成效果造成影响。
而人物与场景的联合优化，同样是实现刚好融合效果的关键因素。
One More Thing
苹果产生研究数字人的想法已经有一段时间了。
在苹果MR头显Apple Vision Pro中，就出现过高细节版本的数字分身概念——
在FaceTime通话时，头显可以创建一个“数字人”，并用它来代表用户。
那么，对苹果的这个“数字人生成器”，你怎么看呢？
论文地址：https://arxiv.org/abs/2311.17910参考链接：[1]https://appleinsider.com/articles/23/12/19/apple-isnt-standing-still-on-generative-ai-and-making-human-models-dance-is-proof[2]https://twitter.com/anuragranj/status/1737173861756485875/
— 完 —
量子位 QbitAI · 头条号签
","gnid":"9880ffa0350612294","img_data":[{"flag":2,"img":[{"desc":"","height":178,"s_url":"https://p0.ssl.img.360kuai.com/t01be77b0089ae0e1fe_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0137848658f20ff98d.gif","width":320},{"desc":"","height":"545","title":"","url":"https://p0.ssl.img.360kuai.com/t01c17b8b5a9491747a.jpg","width":"1080"},{"desc":"","height":"503","title":"","url":"https://p0.ssl.img.360kuai.com/t0173fa06f2cb3e6527.jpg","width":"1080"},{"desc":"","height":266,"s_url":"https://p0.ssl.img.360kuai.com/t0145bc805496b4fc23_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01a933c26635ae4f79.gif","width":480},{"desc":"","height":178,"s_url":"https://p0.ssl.img.360kuai.com/t01be77b0089ae0e1fe_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0137848658f20ff98d.gif","width":320},{"desc":"","height":788,"title":"","url":"https://p0.ssl.img.360kuai.com/t010be1227772ad9f57.jpg","width":1080},{"desc":"","height":"578","title":"","url":"https://p0.ssl.img.360kuai.com/t01ed7aaa437e0acd60.jpg","width":"856"},{"desc":"","height":629,"title":"","url":"https://p0.ssl.img.360kuai.com/t0112d6e3bb13554ff0.jpg","width":1080},{"desc":"","height":"476","title":"","url":"https://p0.ssl.img.360kuai.com/t01cddf04a2e76df4d3.jpg","width":"864"},{"desc":"","height":657,"title":"","url":"https://p0.ssl.img.360kuai.com/t01193c037043ec8cc6.jpg","width":1080},{"desc":"","height":"690","title":"","url":"https://p0.ssl.img.360kuai.com/t0102b2b2f1b6bc4946.jpg","width":"1080"},{"desc":"","height":"1092","title":"","url":"https://p0.ssl.img.360kuai.com/t014b178d8a1cdafd04.jpg","width":"1080"},{"desc":"","height":"432","title":"","url":"https://p0.ssl.img.360kuai.com/t01a2258dd09312cf58.jpg","width":"768"}]}],"original":0,"pat":"zzc,art_src_3,fts0,sts0","powerby":"pika","pub_time":1703316180000,"pure":"","rawurl":"http://zm.news.so.com/78b878e9aa58048b2ff23035113a559d","redirect":0,"rptid":"0acd3127656f86b8","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:apple","k":"apple","u":""}],"title":"史上最快3D数字人生成器：半小时完成训练，渲染仅需16毫秒
胡委狮4054用那些软件可以制作3D图?
钱京毅17885829955 ______ Box Shot 3D 是一个简单易用的虚拟包装图的制作工具.它可以实时提供包装的旋转、缩放和光照效果展示;可以指定背景颜色.我就知道这个.
胡委狮4054有什么好的3D制作软件?
钱京毅17885829955 ______ 3DSMAX,maya,这2个是专业的3维制作软件,功能都很强大.
胡委狮40543D制作什么软件好用?
钱京毅17885829955 ______ 专业点的就是三巨头:SOFTIMAGE\MAYA\MAX,如果属于初学的话用MAX好
胡委狮4054求个3D模型制作软件 -
钱京毅17885829955 ______ 当然3Dmax 用8.0的
胡委狮4054跪求三维立体效果图制作软件!
钱京毅17885829955 ______ AutoQ3D Community Edition 这是一款用于三维立体计算机辅助制图的全 3D 建模应用软件.AutoQ3D 可以被任何想要采用三维立体方式进行想像,创建和发布的简单方法的用户所使用. 下载地址: http://www.525down.com/soft_info/12364.html 关键是看你制作什么类型的三维立体图,3D是最好的制作软件,不过操作难度要大点,如果是家装设计,推荐你用“我家我设计”等软件,简单易学.
胡委狮40543D的制作软件有哪些? -
钱京毅17885829955 ______ 晕死,一楼回答的和楼主要问的是两个概念,3Dmax是用来做3D动画的软件,实现的是平面立体的效果.楼主所说的3D是指的目前流行的视觉立体的特殊效果制作. 专业的3D效果制作一般要靠专门的3D摄像机通过不同角度的拍摄实现真实的...
胡委狮4054当前流行的3D制作软件是哪些?
钱京毅17885829955 ______ 3Dmax,这个软件界面针对于没有什么基础的人来学容易上手,市面上的教材也很多,有利于自己的学习 http://www.boogool.com/course/yingshidonghua.asp
胡委狮40543d效果图制作工具用什么好?
钱京毅17885829955 ______ 现在3d软件很多了,看你是用在哪方面了,3d msx是比较普及的3d制作软件,并且教程较多,适合环境艺术设计,动画设计等,动画较专业的是maya,产品设计较专业的有犀牛、alias、proe等,现在有和3dmsx功能类似的,操作比较简单,教程也不少的软件是c 4d,还有比较新的一个软件叫modo,操作简单,但是教程较少,主要通过网友之间网上交流.前面提到的几个大型的3d软件部分已经有官方中文版了.
胡委狮40543D制作用什么软件 -
钱京毅17885829955 ______ 一网页制作方面,比较多,现在普遍用的是网页三剑客, Dreamweaver Fireworks Flash 这三种工具网上的教程 代码什么的比较多 ,对你学习来说是件好事 Dreamweaver制作网页(目前最新做发是DIV+CSS) Fireworks 处理图片的 Flash 制作...
胡委狮4054舟 - - 关于3D人物制作软件 -
钱京毅17885829955 ______ 3ds max , Maya ,Xsi 等3D软件都可以.但使用者得自己制作模型. 要是想直接套用模型,poser里面有,可以调节参数如肤色,人种,性别,年龄等等参数来制作人.然后再把它导出到3D软件中使用.或是用3D软件的插件来完成制作模型任务,如face gen ,Facial stdio等插件都可以完成.这些较初学者使用.因为这些模型的体姿和形态人们见惯了,所以高手们都一般用这些转成模型再修改加入自己的特色转化为自己的东西.