首页 >>  正文

maya怎么分离

来源:baiyundou.net   日期:2024-09-25

允中 发自 凹非寺

量子位 | 公众号 QbitAI

随着计算机图形学的发展,3D生成技术正逐渐成为研究热点。然而,从文本或图像生成3D模型仍然存在许多挑战。

近期,Google、NVIDIA和微软等公司推出了基于神经辐射场(NeRF)的3D生成方法,但这些方法与传统的3D渲染软件(如Unity、Unreal Engine和Maya等)存在兼容性问题,限制了其在实际应用中的广泛应用。

为此,影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式3D生成框架,旨在解决这些问题。

根据文字描述生成3D资产

该研究团队提出的文本指导的渐进式3D生成框架(简称DreamFace),结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术,生成符合计算机图形制作标准的3D资产。

这一框架的创新之处在于其几何体生成、基于物理的材质扩散生成和动画能力生成三个模块。

这项工作已被顶级期刊Transactions on Graphics接收,并将在国际计算机图形学顶级会议SIGGRAPH 2023上展示。

项目网站:https://sites.google.com/view/dreamface

预印版论文:https://arxiv.org/abs/2304.03117

Web Demo: https://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

如何实现DreamFace三大功能

DreamFace主要包括三个模块,几何体生成,基于物理的材质扩散和动画能力生成。相比先前的3D生成工作,这项工作的主要贡献包括:

  1. 提出了DreamFace这一新颖的生成方案,将最近的视觉-语言模型与可动画和物理材质的面部资产相结合,通过渐进式学习来分离几何、外观和动画能力。
  2. 引入了双通道外观生成的设计,将一种新颖的材质扩散模型与预训练模型相结合,同时在潜在空间和图像空间进行两阶段优化。
  3. 使用BlendShapes或生成的Personalized BlendShapes的面部资产具备动画能力,并进一步展示了DreamFace在自然人物设计方面的应用。

几何体生成:该模块通过CLIP(Contrastive Language-Image Pre-Training)选择框架根据文本提示生成几何模型。

首先从人脸几何参数空间随机采样候选项,然后根据文本提示选择匹配得分最高的粗略几何模型。

接下来,使用隐式扩散模型(LDM)和得分蒸馏采样(SDS)处理,从而在粗略几何模型中添加面部细节和详细的法线贴图,生成高精度几何体。

基于物理的材质扩散生成:该模块针对预测几何体和文本提示生成面部纹理。首先,对LDM进行微调,得到两个扩散模型。

然后,通过联合训练方案协调这两个模型,一个用于直接去噪U纹理贴图,另一个用于监督渲染图像。此外,还采用了提示学习策略和非面部区域遮罩以确保生成的漫反射贴图的质量。

最后,应用超分辨率模块生成4K基于物理的纹理,以进行高质量渲染。

动画能力生成:DreamFace生成的模型具备动画能力。与传统基于BlendShapes的方法不同,该框架通过预测独特的变形为静息(Neutral)模型赋予动画效果,从而生成个性化的动画。

首先训练几何生成器学习表情潜在空间,然后训练表情编码器从RGB图像中提取表情特征。最终,通过使用单目RGB图像生成个性化的动画。

5分钟生成指定3D资产

DreamFace框架在名人生成、描述生成角色等任务上取得了良好的效果,并在用户评估中获得了超过先前工作的成绩。

同时,与现有方法相比,运行时间上具有明显优势。

此外,DreamFace支持使用提示和草图进行纹理编辑,实现全局编辑效果(如老化、化妆)和局部编辑效果(如纹身、胡须、胎记)。

可用于影视、游戏等行业

作为一种文本指导的渐进式3D生成框架,DreamFace结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术,实现了高精度、高效率和良好兼容性的3D生成。

该框架为解决复杂的3D生成任务提供了有效解决方案,有望推动更多类似的研究和技术发展。

此外,基于物理的材质扩散生成和动画能力生成将推动 3D生成技术在影视制作、游戏开发和其他相关行业的应用。

— 完 —

量子位 QbitAI · 头条号签约

","gnid":"9ccc6af4790951f69","img_data":[{"flag":2,"img":[{"desc":"","height":"753","title":"","url":"https://p0.ssl.img.360kuai.com/t01a42d906794a88384.jpg","width":"975"},{"desc":"","height":"354","title":"","url":"https://p0.ssl.img.360kuai.com/t01683b03bd6cd165de.jpg","width":"975"},{"desc":"","height":"296","title":"","url":"https://p0.ssl.img.360kuai.com/t01719042f59b31ab6d.jpg","width":"975"},{"desc":"","height":"387","title":"","url":"https://p0.ssl.img.360kuai.com/t01cc17a8278d8a2ef3.jpg","width":"975"},{"desc":"","height":"348","title":"","url":"https://p0.ssl.img.360kuai.com/t014f126508efb8df6e.jpg","width":"975"},{"desc":"","height":"337","title":"","url":"https://p0.ssl.img.360kuai.com/t019ad277211f175bab.jpg","width":"975"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t0179f128f34ee572bd.jpg","width":"975"},{"desc":"","height":"448","title":"","url":"https://p0.ssl.img.360kuai.com/t01adf7171e880f43b1.jpg","width":"975"},{"desc":"","height":"560","title":"","url":"https://p0.ssl.img.360kuai.com/t01615ba2947f217438.jpg","width":"975"},{"desc":"","height":"498","title":"","url":"https://p0.ssl.img.360kuai.com/t0166daec5a33a0d9ab.jpg","width":"975"}]}],"original":0,"pat":"art_src_3,sexamb,disu_label,fts0,sts0","powerby":"hbase","pub_time":1683091140000,"pure":"","rawurl":"http://zm.news.so.com/b2d34a7d21735c04eb7ef5e2567dd68e","redirect":0,"rptid":"c3aa7f1483e967cc","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:漫威","k":"漫威","u":""},{"clk":"ktechnology_1:美队","k":"美队","u":""},{"clk":"ktechnology_1:蜘蛛侠","k":"蜘蛛侠","u":""}],"title":"5分钟生成漫威3D数字人!美队蜘蛛侠都能搞定,高清还原面部细节

金家谦5245maya怎么把物体分割
房盛哲15543211260 ______ 一般情况建议还是不要使用布尔运算 这样会产生很多三脚面以及错误信息 容易导致maya运算错误死机,分割模型的话,选中你要分割模型的面,如果你用7.0 在 edit polygons菜单下 extract 命令 7.0以上版本在mesh 菜单下

金家谦5245MAYA打组怎么分离 -
房盛哲15543211260 ______ Edit-->ungroup

金家谦5245MAYA做一个静帧场景一起渲染太大,想单个渲染,比如人物,房子,动物等分开渲染,具体该怎么做? -
房盛哲15543211260 ______ 一、操作崩溃情况下 你可以分开存,人物一个文件,房子一个文件等等 再新建一个文件,用Create Reference功能来导入, 这个文件本身不会太大,你可以试试 二、渲染崩溃的情况下 分层渲染(火星论坛去搜教程吧) 三,分层都渲不了情况 没得说了,要不是你的文件有问题(蛮目精细),要不就分文件,一个个渲,到后期合层.

金家谦5245maya的提取和分离命令有什么区别呢? -
房盛哲15543211260 ______ 首先,分离(detach)位于“组件”层级内,所以它可以作用于点、线和面;而提取(extract)只能作用于面.其次,分离不会将所选组件分离出这个物体,大纲视图(outliner)中还是只有一个物体;而提取会产生两个物体(但在大纲视图中两个物体还在一个组内).最后,分离实质上是对边和点的操作,无法分离面,在历史中会产生两个节点,一个poly tweak和一个poly split vert(或edge);提取则只产生poly separate一个节点.

金家谦5245maya如何将合并的两点分开 -
房盛哲15543211260 ______ 选中合并的两点----执行“Detach Component”命令即可.

金家谦5245maya如何打散一个整体的模型 -
房盛哲15543211260 ______ polygon模块下,网格(mesh)---Separate(分离)就可以了,

金家谦5245我是个maya初学者 想问一下2008中分里面工具在哪 怎么分里面啊?
房盛哲15543211260 ______ 详细做法:如果做的是polygons,先选取面模式,然后选择 需要分离的的 面,在edit polygons→Extract 新版本polygon叫mesh哈, 另外还有个工具叫Duplicate face 也在 eidt polygon里 ,我也初学只能 尽绵薄之力

金家谦5245MAYA里衣服和人被合在了一起,请问怎么分开啊??
房盛哲15543211260 ______ 1.如果你是用combine合并在一起的,然后再执行separate就分开了2.按住鼠标右键加shift键都可以找到以上命令3.如果直接焊死可以选择衣服上的所有面再执行shift加右键下的duplicate fase就可以了

金家谦5245maya 点如何断开.
房盛哲15543211260 ______ Curves 要断开,选择一条曲线鼠标右键选择curve point或Edit point选择要断开的地方,在surfaces模块下的Edit Curves >> Detach Curves Polygon多边形点就是点没有断开,如果要保留一部分,将另一部分删除,进入面级别选择要删除的面按Del键 NURBS下断开曲面选择一条等参线选Edit NURBS >> Detach Surfaces

金家谦5245maya怎么把一条边分裂成两条边这样子? -
房盛哲15543211260 ______ 选择边edit mesh - detach component 选择物体分离

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024