有了这个发明，以后演员拍戏再也不用抠图了？

答：可以直接一键合成。（手动狗头）

让我们赶紧来看看，这个由苹果最新研发的NeuMan框架：

只需输入一段10s左右的人物视频，就能合成该人物在新场景下做着各种新动作的影像。

前空翻？so easy！

跳舞那也是不在话下。

这妖娆的舞姿，看来NeuMan心里也有一个舞魂～

有网友看完就表示：喔～简直是电影界未来的发展方向。

目前，有关NeuMan的研究论文已被ECCV’22收录，并且已在GitHub上开源。

全新场景渲染

在介绍NeuMan的原理之前，让我们再来欣赏几个酷炫的例子～

如下图所示，左上角是输入的训练视频，左下角是新的背景，右边则是合成后小哥在新背景下跳跃的效果。

不仅是跳跃这种常规操作，广播体操也完全没问题。

更厉害的是，NeuMan还可以将上面例子中的两个人合成到一起。

再加上一个人，立马变成魔性的广场舞视频。

这微笑的小表情，真的很难解释不是本人亲自跳的（手动狗头）。

那么话说回来，这个神奇的NeuMan背后的原理是什么呢？

基于NeRF的新突破

事实上，自从伯克利和谷歌联合打造的NeRF（Neural Radiance Fields神经辐射场）横空出世，各种重建三维场景的研究层出不穷。

NeuMan原理也是基于此，简单来说，就是用单个视频训练一个人物NeRF模型和一个场景NeRF模型，然后再合成在一起生成新的场景。

首先，在训练场景NeRF模型时，我们先从输入的视频中提取相机姿态、稀疏场景模型和多视角-立体深度图。

对于原视频中被人体遮挡的部分，则使用Mask R-CNN进行图像实体分割，将人体掩模膨胀4倍，以确保人体被完全遮蔽。此时，就能做到仅在背景上训练场景NeRF模型。

至于人体NeRF模型训练，研究人员引入了一种端到端的SMPL优化（end-to-end SMPL optimization）和纠错神经网络（error-correction network）。

SMPL（Skinned Multi-Person Linear Model）是一种基于顶点的人体三维模型，能够精确地表示人体的不同形状和姿态。

如下图所示，使用端到端的SMPL优化的人体模型，能够更好地表现人体的典型体积。

纠错神经网络则是用来弥补SMPL模型无法表达的细节。值得一提的是，它只在训练过程中使用，在进行全新场景渲染时会被放弃，以免造成过度拟合。

接下来，在两个模型对齐的阶段，研究人员先使用COLMAP解决任意尺度下的对齐问题。然后通过假设人类始终与地面有至少一个接触点，来进一步估计该场景的比例。

最后，再应用SMPL网格和场景的点云叠加，就形成了新图像的渲染效果。

最终成品显示，该场景NeRF模型方面模型能够有效地去除场景中的人类，并在有限的场景覆盖下生成高质量的新背景渲染图像。

人物NeRF模型方面也能很好的捕捉人体的细节，包括袖子、衣领甚至衣服拉链，甚至在渲染新动作时，能执行难度极大的侧翻动作。

值得一提的是，不同于现行的其他NeRF模型对训练视频要求很高，比如需要多个机位拍摄、曝光要保持不变、背景要干净等等，NeuMan的最大亮点是仅通过用户随意上传的单个视频就能达到同款效果。

并且，在分别输入六组不同的视频后，数据显示，与此前方法相比，NeuMan的方法生成的视频渲染质量最佳。

不过，研究团队也承认，NeuMan的设计目前还存在一些缺陷。

例如，由于人在活动时手势的变化细微又多变，因此生成视频中对手部细节的把握还不是很准确。

另外，在NeRF模型渲染时，由于系统假设人类始终与地面有至少一个接触点，因此NeuMan不能适用于人与地面接触为零的视频，比如人做后空翻的视频。

要想解决这个问题，需要更智能的几何推理知识，这也是未来研究的一个发展方向。

研究团队

这项研究由苹果机器学习研究中心和英属哥伦比亚大学合作完成。

第一作者Wei Jiang，是英属哥伦比亚大学计算机科学专业的一名四年级博士生，目前在苹果机器学习研究中心实习。

主要研究方向是新视角合成、视觉定位和三维视觉。

他还是英属哥伦比亚大学计算机视觉实验室的一员，导师是Kwang Moo Yi 教授。

硕士毕业于波士顿大学计算机科学专业，本科毕业于浙江工业大学软件工程专业。

参考链接：

[1]https://twitter.com/anuragranj/status/1559606408789708800

[2]https://arxiv.org/abs/2203.12575

[3]https://machinelearning.apple.com/research/neural-human-radiance-field

[4]https://github.com/apple/ml-neuman

[5]https://jiangwei221.github.io/

— 完 —

量子位 QbitAI · 头条号签约

","force_purephv":"0","gnid":"93cd05d7563efd970","img_data":[{"flag":2,"img":[{"desc":"","height":"216","s_url":"https://p0.ssl.img.360kuai.com/t01ec0cb7a02b5c67a7_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01ec0cb7a02b5c67a7.gif","width":"618"},{"desc":"","height":"504","s_url":"https://p0.ssl.img.360kuai.com/t01b6a49f1e2f56b024_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01b6a49f1e2f56b024.gif","width":"940"},{"desc":"","height":"170","title":"","url":"https://p0.ssl.img.360kuai.com/t0148cd074532894251.jpg","width":"876"},{"desc":"","height":"271","title":"","url":"https://p0.ssl.img.360kuai.com/t013189079809200bc1.jpg","width":"1080"},{"desc":"","height":"216","s_url":"https://p0.ssl.img.360kuai.com/t01c2110ca089dc4382_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01c2110ca089dc4382.gif","width":"610"},{"desc":"","height":"582","s_url":"https://p0.ssl.img.360kuai.com/t01c76cfedc5e4e9bdd_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01c76cfedc5e4e9bdd.gif","width":"1079"},{"desc":"","height":"584","s_url":"https://p0.ssl.img.360kuai.com/t01899038b64e23d423_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01899038b64e23d423.gif","width":"1024"},{"desc":"","height":"341","s_url":"https://p0.ssl.img.360kuai.com/t01104797632fd26b67_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01104797632fd26b67.gif","width":"632"},{"desc":"","height":"345","title":"","url":"https://p0.ssl.img.360kuai.com/t01bfb31790ad5963f7.jpg","width":"1080"},{"desc":"","height":"452","title":"","url":"https://p0.ssl.img.360kuai.com/t01f89232e9be3f7420.jpg","width":"944"},{"desc":"","height":"446","title":"","url":"https://p0.ssl.img.360kuai.com/t0143311670ab979f38.jpg","width":"946"},{"desc":"","height":"329","title":"","url":"https://p0.ssl.img.360kuai.com/t0181fb3f72fe8866f3.jpg","width":"1080"},{"desc":"","height":"470","title":"","url":"https://p0.ssl.img.360kuai.com/t0165ab026b34da1ebf.jpg","width":"1080"},{"desc":"","height":"650","title":"","url":"https://p0.ssl.img.360kuai.com/t0112dcfcaa0517e575.jpg","width":"1080"},{"desc":"","height":"325","title":"","url":"https://p0.ssl.img.360kuai.com/t01cb79a70d24615bb1.jpg","width":"1080"},{"desc":"","height":"446","title":"","url":"https://p0.ssl.img.360kuai.com/t019b9920a00ffe695f.jpg","width":"964"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t01c3a82dc6ce3b98dc.jpg","width":"482"}]}],"original":0,"pat":"iphonec,art_src_3,sexamb,fts0,sts0","powerby":"hbase","pub_time":1661061240000,"pure":"","rawurl":"http://zm.news.so.com/de17602878ad376f6401c546c0abdd84","redirect":0,"rptid":"b7c777c2ec48166e","s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:apple","k":"apple","u":""},{"clk":"ktechnology_1:哥伦比亚大学","k":"哥伦比亚大学","u":""},{"clk":"ktechnology_1:研究中心","k":"研究中心","u":""},{"clk":"ktechnology_1:苹果","k":"苹果","u":""}],"title":"苹果把NeRF玩出新高度：用单个10s视频，就能重构人物动作和场景

曹晴聂1951求一种软件,苹果系统可以用的,能让视频减速慢放的软件. -
乌姣界13782341582 ______ 有以下播放器可供选择:1.苹果自带dvd播放器,支持良好,字幕显示正常2.mplayer,主要看下载下来的一些片3.vlc,和mplayer差不多4.quicktime是自带的了5.real player要下,放rmvb的就靠这个了6.SAFlashPlayer,这个专门用来播放swf的flash

曹晴聂1951苹果iPhone慢动作视频录制诀窍 -
乌姣界13782341582 ______ 1、首先,打开iPhone首页的相机应用. 2、然后会看到照相机的照相的页面. 3、拖动屏幕到前端,看到慢动作. 4、点击下方的红点开始录制. 5、然后同样点击红点可以录制结束. 6、录制完毕后,会发现相册中多了一个慢动作的相册,打开即是录制的视频.

曹晴聂1951苹果手机拍下的慢动作视频可以改成正常速度的视频吗? -
乌姣界13782341582 ______ 自然是可以的,拍摄花儿盛开等变化比较慢的视频都是慢拍快放来处理的,跟用苹果拍或者安卓拍及专业摄像机拍没关系.

曹晴聂1951苹果手机看视频反应很慢? -
乌姣界13782341582 ______ 可能手机缓存空间不足,垃圾太多导致,苹果手机可以关机来重启即可清理缓存垃圾,在重新打开看看.

曹晴聂1951iPhone 6录的视频怎么调播放快慢? -
乌姣界13782341582 ______ 下载一个视频播放软件,内置的不能调节的.如果录的慢动作现在变正常速度了,用imove调回来

曹晴聂1951iPhone手机如何拍摄抖音里超火的慢动作视频 -
乌姣界13782341582 ______ 方法/步骤 打开苹果手机相机,选择慢动作.点击红色按钮开始拍摄一段人物走路的视频. 在手机相册里面找到拍摄的视频,点击右上角编辑该视频 点击两个红圈的小竖条左右滑动可以调整慢动作开始和结束的时间 拖动左边小竖条调节慢动作开始时间 拖动右边小竖条调节慢动作结束时间 调节完毕以后点击右下角完成 然后点击存储为新剪辑,再在相册里面打开就可以看到慢动作效果啦

曹晴聂1951iphone录像慢半拍 -
乌姣界13782341582 ______ 设置相机 在里面可以调高帧数.

曹晴聂1951苹果手机发的慢动作视频安卓手机看是慢动作吗 -
乌姣界13782341582 ______ 是的,关键是看视频本身,和手机无关.

曹晴聂1951手机看视频会变慢,滑一下屏幕恢复正常速度,怎么解?急! -
乌姣界13782341582 ______ 根据描述建议您按以下步骤操作:1、重启后尝试;2、查看手机是否有系统推送通知,若有,将手机更新到最新系统版本.3、备份数据(联系人、短信、照片等),恢复出厂设定尝试.若问题依然存在,建议您携带手机、购机发票、包修卡至当地的三星售后服务中心进行检测.

曹晴聂1951手机上的视频如何能让它慢放, -
乌姣界13782341582 ______ 不能