10
谷歌升级 NeRF，仅需一张 2D 图像即可生成 3D 模型
source link: http://vr.sina.com.cn/news/hot/2022-09-22/doc-imqmmtha8295657.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
新浪VR >
正文页
谷歌升级 NeRF，仅需一张 2D 图像即可生成 3D 模型
2022-09-22 13:25:35 来源：新浪VR
近日，谷歌宣布了其使用 LOLNeRF 从单个 2D 图像生成 3D 模型的研究结果。其特点是可以仅从一个视点看到的一张 2D 图像来构建 3D 模型。
谷歌解释说：“LOLNeRF 采用了一个自解码器框架，用于从一组图像中学习 3D 结构和外观建模。LOLNeRF 可以通过从汽车、人类等对象集合中提取特征来学习 3D 结构。每个感兴趣的对象只需要一张图像，没有必要对同一个对象进行两次训练。”
2020年，神经辐射场（NeRF）模型发布，仅根据二维图像即可生成三维模型，不过缺陷也很明显，即模型需要同一个场景的多个视图作为监督学习的输入。如果多视角数据不足，模型就无法估计体积表征，生成的场景很容易崩溃成平面，这也是 NeRF 的主要瓶颈。
据了解，LOLNeRF 是对 NeRF 的升级，其使用机器学习通过 2D 图像中的多个点估计 3D 空间中每个点的颜色和密度，从而产生更准确和多方面的 3D 视觉效果。具体来说，LOLNeRF 使用预测的二维 landmarks 将数据集中的所有图像大致对齐到一个典型的姿态，以此来确定应该从哪个视图渲染辐射场以再现原始图像。
就公布的图像而言，与原始二维图像的视点有很大偏差的模型背面是不会生成的。但是，如果建立这种方法，可以大大减轻对真实物体进行 3D 建模的负担。换言之，它具有加速构建像元宇宙这样需要大量 3D 模型的虚拟空间的潜力。
新浪声明：新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK