蜘蛛侠不为人知的能力
允中 发自 凹非寺
量子位 | 公众号 QbitAI随着计算机图形学的发展，3D生成技术正逐渐成为研究热点。然而，从文本或图像生成3D模型仍然存在许多挑战。
近期，Google、NVIDIA和微软等公司推出了基于神经辐射场（NeRF）的3D生成方法，但这些方法与传统的3D渲染软件（如Unity、Unreal Engine和Maya等）存在兼容性问题，限制了其在实际应用中的广泛应用。
为此，影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式3D生成框架，旨在解决这些问题。
根据文字描述生成3D资产
该研究团队提出的文本指导的渐进式3D生成框架（简称DreamFace），结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术，生成符合计算机图形制作标准的3D资产。
这一框架的创新之处在于其几何体生成、基于物理的材质扩散生成和动画能力生成三个模块。
这项工作已被顶级期刊Transactions on Graphics接收，并将在国际计算机图形学顶级会议SIGGRAPH 2023上展示。
项目网站：https://sites.google.com/view/dreamface
预印版论文：https://arxiv.org/abs/2304.03117Web Demo: https://hyperhuman.topHuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar如何实现DreamFace三大功能
DreamFace主要包括三个模块，几何体生成，基于物理的材质扩散和动画能力生成。相比先前的3D生成工作，这项工作的主要贡献包括：
- 提出了DreamFace这一新颖的生成方案，将最近的视觉-语言模型与可动画和物理材质的面部资产相结合，通过渐进式学习来分离几何、外观和动画能力。
- 引入了双通道外观生成的设计，将一种新颖的材质扩散模型与预训练模型相结合，同时在潜在空间和图像空间进行两阶段优化。
- 使用BlendShapes或生成的Personalized BlendShapes的面部资产具备动画能力，并进一步展示了DreamFace在自然人物设计方面的应用。
几何体生成：该模块通过CLIP（Contrastive Language-Image Pre-Training）选择框架根据文本提示生成几何模型。
首先从人脸几何参数空间随机采样候选项，然后根据文本提示选择匹配得分最高的粗略几何模型。
接下来，使用隐式扩散模型（LDM）和得分蒸馏采样（SDS）处理，从而在粗略几何模型中添加面部细节和详细的法线贴图，生成高精度几何体。
基于物理的材质扩散生成：该模块针对预测几何体和文本提示生成面部纹理。首先，对LDM进行微调，得到两个扩散模型。
然后，通过联合训练方案协调这两个模型，一个用于直接去噪U纹理贴图，另一个用于监督渲染图像。此外，还采用了提示学习策略和非面部区域遮罩以确保生成的漫反射贴图的质量。
最后，应用超分辨率模块生成4K基于物理的纹理，以进行高质量渲染。
动画能力生成：DreamFace生成的模型具备动画能力。与传统基于BlendShapes的方法不同，该框架通过预测独特的变形为静息（Neutral）模型赋予动画效果，从而生成个性化的动画。
首先训练几何生成器学习表情潜在空间，然后训练表情编码器从RGB图像中提取表情特征。最终，通过使用单目RGB图像生成个性化的动画。
5分钟生成指定3D资产
DreamFace框架在名人生成、描述生成角色等任务上取得了良好的效果，并在用户评估中获得了超过先前工作的成绩。
同时，与现有方法相比，运行时间上具有明显优势。
此外，DreamFace支持使用提示和草图进行纹理编辑，实现全局编辑效果（如老化、化妆）和局部编辑效果（如纹身、胡须、胎记）。
可用于影视、游戏等行业
作为一种文本指导的渐进式3D生成框架，DreamFace结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术，实现了高精度、高效率和良好兼容性的3D生成。
该框架为解决复杂的3D生成任务提供了有效解决方案，有望推动更多类似的研究和技术发展。
此外，基于物理的材质扩散生成和动画能力生成将推动 3D生成技术在影视制作、游戏开发和其他相关行业的应用。
— 完 —
量子位 QbitAI · 头条号签约
","gnid":"9ccc6af4790951f69","img_data":[{"flag":2,"img":[{"desc":"","height":"753","title":"","url":"https://p0.ssl.img.360kuai.com/t01a42d906794a88384.jpg","width":"975"},{"desc":"","height":"354","title":"","url":"https://p0.ssl.img.360kuai.com/t01683b03bd6cd165de.jpg","width":"975"},{"desc":"","height":"296","title":"","url":"https://p0.ssl.img.360kuai.com/t01719042f59b31ab6d.jpg","width":"975"},{"desc":"","height":"387","title":"","url":"https://p0.ssl.img.360kuai.com/t01cc17a8278d8a2ef3.jpg","width":"975"},{"desc":"","height":"348","title":"","url":"https://p0.ssl.img.360kuai.com/t014f126508efb8df6e.jpg","width":"975"},{"desc":"","height":"337","title":"","url":"https://p0.ssl.img.360kuai.com/t019ad277211f175bab.jpg","width":"975"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t0179f128f34ee572bd.jpg","width":"975"},{"desc":"","height":"448","title":"","url":"https://p0.ssl.img.360kuai.com/t01adf7171e880f43b1.jpg","width":"975"},{"desc":"","height":"560","title":"","url":"https://p0.ssl.img.360kuai.com/t01615ba2947f217438.jpg","width":"975"},{"desc":"","height":"498","title":"","url":"https://p0.ssl.img.360kuai.com/t0166daec5a33a0d9ab.jpg","width":"975"}]}],"original":0,"pat":"art_src_3,sexamb,disu_label,fts0,sts0","powerby":"hbase","pub_time":1683091140000,"pure":"","rawurl":"http://zm.news.so.com/b2d34a7d21735c04eb7ef5e2567dd68e","redirect":0,"rptid":"c3aa7f1483e967cc","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:漫威","k":"漫威","u":""},{"clk":"ktechnology_1:美队","k":"美队","u":""},{"clk":"ktechnology_1:蜘蛛侠","k":"蜘蛛侠","u":""}],"title":"5分钟生成漫威3D数字人！美队蜘蛛侠都能搞定，高清还原面部细节
汪仪畏3171蜘蛛侠2中为什么帕克的超能力突然消失之后又回来了? -
易龚罚19288996326 ______ 失去的原因 1.他不想做蜘蛛侠了,想成为凡人. 2.他情绪低落,对自己失去信心,他面临选择:是作普通人还是作蜘蛛侠?(这点和宫崎骏的《魔女宅急便》差不多,主人公失去朋友和信心时也失去了飞的魔法.但当她要就朋友时,魔法又回来了.)蜘蛛侠也一样,当女友面临危险,他的超能力又一次出现. 在蜘蛛侠2中有一个片段,Peter和Ben在梦里聊天,Peter说:“我再也不是蜘蛛侠了.”这暗示了他放弃了自己的超能力和秘密身份.并且在之前Peter就因为有不想做了的想法而暂时失去了能力……这应该和人的脑电波有关……?因为手上的毛刺貌似就是意念控制的来着. 消失他心情可查被玛丽简甩了,最后他想通了又回来了.
汪仪畏3171毒液的蜘蛛能力是不是来源于蜘蛛侠 -
易龚罚19288996326 ______ 毒液(英语:Venom),又名毒魔、毒蜘蛛,是一个虚构的外星生命体形式出现在漫威漫画 ,通常出现在《蜘蛛侠》的漫画. 它是一个共生体(寄生体) ,一个有思想的外星有机生命体,几乎是液体状的形式出现,它需要与一个宿主结合才能...
汪仪畏3171.求一个语文素材,关于一些有名的人物的不为人知的故事如题最好是最近的名人! -
易龚罚19288996326 ______[答案] 鲁迅因为脾气太倔不肯把桌子搬到没有太阳的地方去写作结果被晒得浑身是汗还一点都不在意算不算
汪仪畏3171超凡蜘蛛侠不被是蜘蛛咬出来的吗 -
易龚罚19288996326 ______ 不管哪个世界主线都是OZ(队长上那种超级战士血清的反推计划)计划中的试验蜘蛛咬到才变成蜘蛛侠的,不同的只是蜘蛛侠的能力,比如有的有蜘蛛感应有的没有,有的会吐丝有的只能自己做蜘蛛发生器,有的聪明无比在钢铁侠手下做研究有的却是无业游民
汪仪畏3171《蜘蛛侠4》中的反角“神秘客”到底是个怎样的角色? -
易龚罚19288996326 ______ 大概2011年《蜘蛛侠4》已经在悄然筹备了. 一家美国影迷网站FDM公布了独家消息,“屠杀”和“蜥蜴教授”将成为《蜘蛛侠4》的大反派. 两年前,FDM网站曾率先披露了《蜘蛛侠3》里大反派是“毒液”,消息来源是“剧组里的一位工作...
汪仪畏3171谁知道“不为人知”和“洞穿”的意思? -
易龚罚19288996326 ______[答案] “不为人知”,这件事或这个事物不被另外的人了解,知道.就是很少人知道的意思. ＂洞穿＂,字面意思是穿过洞或轻易突破洞等障碍,多形容人的判断能力和眼光很犀利,对事物或者事件有清晰透彻的了解
汪仪畏3171超凡蜘蛛侠1里的主人公为什么拥有超能力 -
易龚罚19288996326 ______ 他被变异的蜘蛛咬了,拥有了超能力,但也是因为他的基因特别,所以被咬了才有超能力,而别人被咬了没有超能力,2里面有说,接着看吧.
汪仪畏3171豆瓣评分高达7.6,《死侍》有哪些精彩之处,为何在2016漫威最好的电影? -
易龚罚19288996326 ______ 首先,《死侍》是一部特殊的超级英雄电影,和过往的超级英雄电影不同的是,你明显能感觉到这部电影有各种不良因素——血腥、暴力、色情和黑色幽默.这也是为什么《死侍》的电影分级是R级. 也正亦如此,与其说它特别,不如说它不可...
汪仪畏3171蜘蛛侠一共有几部?哪部比较精彩? -
易龚罚19288996326 ______ 《蜘蛛侠1》彼得·帕克(托比·迈奎尔饰)原本是一个平凡的高中生,但当他被一只具有放射线的蜘蛛咬到后,他就拥有了各种超能力:可以在墙壁和天花板上行走、能从手腕放射出蜘蛛网等.起初,彼得只是用这些超能力来赚点小钱,但是...
汪仪畏3171八十年代早期在因特网还不为人所知的情况下八十年代早期,在因特网还
易龚罚19288996326 ______ 美国作家威廉·吉布森在1984年出版的《Neuromancer》(《神经漫游者》)在当时引起很大轰动,成为许多描写网络的科幻小说的源头,他的《神经漫游者》(...