苹果发布AI新研究neuman实现拍摄10秒人物视频就可自动对场景与人物三维建模
就是拍摄一段10s的人物视频，ai人工智能就能自动对人物与场景自动三维建模。
那么话说回来，这个神奇的NeuMan背后的原理是什么呢？
事实上neuman是基于NeRF的新突破，自从伯克利和谷歌联合打造的NeRF（Neural Radiance Fields神经辐射场）横空出世，各种重建三维场景的研究层出不穷。
NeuMan原理也是基于此，简单来说，就是用单个视频训练一个人物NeRF模型和一个场景NeRF模型，然后再合成在一起生成新的场景。
首先，在训练场景NeRF模型时，我们先从输入的视频中提取相机姿态、稀疏场景模型和多视角-立体深度图。
对于原视频中被人体遮挡的部分，则使用Mask R-CNN进行图像实体分割，将人体掩模膨胀4倍，以确保人体被完全遮蔽。此时，就能做到仅在背景上训练场景NeRF模型。
至于人体NeRF模型训练，研...
点击查看剩余70%
{{collectdata}}
网友评论