三维重建的四种方法
Bowen 投稿自 凹非寺
量子位 | 公众号 QbitAI
普通手机“随手”拍的雕像，一下就变成了精细的三维重建图。
水杯来回动的动态场景下，细节清晰可见：
静态场景效果也同样nice，狗狗突出的肋骨都被还原了出来：
对比来看其他方法，效果是酱婶的……
这就是英伟达最新提出的方法BundleSDF。
这是一种可对未知物体的6D姿态追踪和三维重建的方法。
用于从单目RGBD视频序列中跟踪未知物体的6自由度运动，同时进行物体的隐式神经三维重建，方法接近于实时（10Hz）。
这种方法适用于任意刚性物体，即使视觉纹理大部分确实，仅需在第一帧中分割出物体，不需要任何额外的信息，并且不对智能体与物体的交互模式做任何假设。
目前，该方法已被CVPR 2023接收。
可处理大幅度姿态变化、有遮挡视频
该方法的关键是一个神经物体场，它与姿态图优化过程同时进行，以便将信息稳健地累积到一致的3D表示中，捕捉几何和外观。
方法自动维护了一组动态的姿态内存帧，以便这些线程之间进行通信。
它能处理具有大幅度姿态变化、部分和完全遮挡、无纹理表面和高光反射等具有挑战性的视频。
作者展示了HO3D、YCBInEOAT和BEHAVE数据集上的结果，证明了我们的方法显著优于现有方法。
野外测试
用于iPhone 12 Pro Max的效果：
用于Intel RealSense的效果：
该方法不仅适用于更具挑战性的动态场景，还适用于此前经常被考虑的静态场景（移动相机）。
因此实现了比专门设计用于静态场景的那些方法更好或相当的结果（即文章开头展示动图）。
与SOTA对比
HO3D数据集上三种最具竞争力方法的定性比较。
左图：6自由度姿态跟踪可视化，其中轮廓（青色）以估计的姿态渲染。
值得注意的是，如第二列所示，我们的预测姿态有时甚至会纠正GT的错误。
右图：每种方法输出的最终3D重建的正面和背面视图。
由于手部遮挡，视频中的某些部分永远不可见。虽然从相同的视角渲染网格，但是DROID-SLAM和BundleTrack的显著漂移导致网格错误旋转。
定量结果对比如下：
问题设置
给定一段单目RGBD输入视频以及仅在第一帧中目标物体的分割掩码，该方法能持续追踪物体的6-DoF姿态并重建物体的3D模型。
所有处理都是在线自回归的（没有假设未来帧可用）。
处理的物体是刚性的，但不依赖其特定丰富的纹理 - 方法适用于无纹理的物体。
此外，不需要物体的实例级CAD模型，也不需要物体类别的先验知识（例如事先对同一物体类别进行预训练）。
具体框架
首先，在连续的分割图像之间匹配特征，以获得粗略的姿态估计（第3.1节）。
其中一些带姿态的帧被存储在内存池中，以便稍后使用和精化（第3.2节）。
从内存池的子集动态创建位姿图（第3.3节）；在线优化与当前姿态一起联合细化图中的所有姿态。
然后，这些更新的姿态被存储回内存池中。
最后，内存池中的所有带姿态的帧用于学习神经物体场（在单独的线程中），该场建模了物体的几何和视觉纹理（第3.4节），同时调整其先前估计的姿态，使姿态跟踪更加鲁棒。
项目地址：
https://bundlesdf.github.io/— 完 —
量子位 QbitAI · 头条号签约
","gnid":"97f24bca35f95257c","img_data":[{"flag":2,"img":[{"desc":"","height":"277","s_url":"https://p0.ssl.img.360kuai.com/t01f986124fb67847d4_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01f986124fb67847d4.gif","width":"640"},{"desc":"","height":"509","s_url":"https://p0.ssl.img.360kuai.com/t01655e56021892c09c_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01655e56021892c09c.gif","width":"640"},{"desc":"","height":"425","title":"","url":"https://p0.ssl.img.360kuai.com/t013705b8b2608207d2.jpg","width":"1080"},{"desc":"","height":"270","s_url":"https://p0.ssl.img.360kuai.com/t0155085000b38c6731_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0155085000b38c6731.gif","width":"480"},{"desc":"","height":"270","s_url":"https://p0.ssl.img.360kuai.com/t0160616a664d13f696_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0160616a664d13f696.gif","width":"480"},{"desc":"","height":"518","title":"","url":"https://p0.ssl.img.360kuai.com/t010342e459281a118c.jpg","width":"1080"},{"desc":"","height":"615","title":"","url":"https://p0.ssl.img.360kuai.com/t01c7733ba1c697d512.jpg","width":"1080"},{"desc":"","height":"318","title":"","url":"https://p0.ssl.img.360kuai.com/t019de50f75b8b974f3.jpg","width":"794"},{"desc":"","height":"708","title":"","url":"https://p0.ssl.img.360kuai.com/t01246cd8e4f41ee84c.jpg","width":"1364"},{"desc":"","height":"572","title":"","url":"https://p0.ssl.img.360kuai.com/t010271f9bdfe44b147.jpg","width":"1382"},{"desc":"","height":"547","title":"","url":"https://p0.ssl.img.360kuai.com/t015e088603c189c7e8.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1680414240000,"pure":"","rawurl":"http://zm.news.so.com/2a9b5f24c22d1c213b64fc0bc8f698d7","redirect":0,"rptid":"80d6e74f43db1eb9","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"kscience_1:英伟达","k":"英伟达","u":""}],"title":"英伟达新方法入选CVPR 2023：对未知物体的6D姿态追踪和三维重建
游清莲2307三维重建用到了哪些技术 计算机图形学 -
符鸣闹13262298161 ______ 三维重建一般用的是matlab或者c++库opencv实现, 另外三维重建重要的是算法流程,跟数学、光学等关系比较,只是实现部分跟计算机程序有关,跟it关系并不大,当然,刚开始学的时候是要会写代码实现前人已有的算法的,熟了之后再慢慢...
游清莲2307血管腔内超声的三维重建技术是怎样实现的?
符鸣闹13262298161 ______ 近年来,三维重建已运用于IVUS检查.利用计算机技术 获取外周或冠状动脉的数字化连续横切图像,再沿动脉长轴做 三维重建,这样可得到血管腔和粥样硬化病灶的立体...
游清莲2307怎么根据一张图进行3d重建 opencv csdn -
符鸣闹13262298161 ______ 根据一张图,从原理上来说是不可能的. 因为从三维世界映射到二维平面,直接就丢失了一维(深度). 当前用一张图进行三维重建的前提条件,都是先在图上找出一个坐标原点. 然后人为构建一个三维坐标系,再在坐标系中进行三维对应映射. 但是这种方法重建出结果很不可靠! 比如给你一幅图像,里面只有中间一个半径为r的白色原点. 你是重建出来一个二维的半径为r的白色原点呢? 还是重建出来一个三维的半径为r的白色圆球呢? 还是重建出来一个三维的底面半径为r的白色圆柱体? 还是其他什么结果(圆台、圆锥、椭球等都有可能)? 到底哪个结果正确呢?用一张图进行重建的结果答案是不知道. 所以说,做这方面的研究毫无意义可言!
游清莲2307如何利用Matlab进行CT图像的三维重建 -
符鸣闹13262298161 ______ 先用dicomread读入图像,再用cat创建三维矩阵,reducevolume,smooth3进行预处理,然后用isosurface,isocap,isonormals,patch等函数创建三维模型,最后用view,lighting,colormap等设置颜色光照等.
游清莲2307正在学习利用连续的二维图片建立三维模型~这个三维重建需要用到哪些技术呢? -
符鸣闹13262298161 ______ 三维重建是个很大的工程,国外有非常多的研究,也有一些成熟的算法. 关键词,中文的可以检索“序列图像 三维重建”,英文的有“3D reconstruction”,“image based modeling”等等,建议你先试一试http://homes.cs.washington.edu/~ccwu...
游清莲2307如何对dicom数据重建成三维数据 -
符鸣闹13262298161 ______ 利用Amira,Avizo,Mimics等软件进行重建,这些工具还支持进一步的数据分割,定性定量分析等.
游清莲2307三维重建 3D reconstruction 有哪些实用算法 -
符鸣闹13262298161 ______ 三维重构算法得看你用什么传感器了,如果是双目相机,那一般都是极线几何加视觉特征配准的算法了,优化就用bundle adjustment.如果是单目,较早的有PTAM,DTAM,近几年struct from motion比较火.如果是用Kinect之类的RGBD相机,比较好的有微软的KinectFusion,PCL的开源KinFu,以及MIT的加强版 Kintinuous.如果用激光,那一般都是当SLAM做了,前端嘛就各种ICP配准算法了,后端的话,三维中主要还是用图优化来做.