0
Learning NeRF
source link: https://jyzhu.top/Learning-NeRF/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Learning NeRF
This is part of my journey of learning NeRF.
Reading List
Classical
Mildenhall et al. introduced NeRF at ECCV 2020 in the now seminal Neural Radiance Field paper.
This is done by storing the density and radiance in a neural volumetric scene representation using MLPs and then rendering the volume to create new images.
GIRAFFE: Compositional Generative Neural Feature Fields
Survey
2021CVPR
2021年CVPR还有许多相关的精彩工作发表。例如，提升网络的泛化性：
- pixelNeRF：将每个像素的特征向量而非像素本身作为输入，允许网络在不同场景的多视图图像上进行训练，学习场景先验，然后测试时直接接收一个或几个视图为输入合成新视图。
- IBRNet：学习一个适用于多种场景的通用视图插值函数，从而不用为每个新的场景都新学习一个模型才能渲染；且网络结构上用了另一个时髦的东西 Transformer。
- MVSNeRF：训练一个具有泛化性能的先验网络，在推理的时候只用3张输入图片就重建一个新的场景。
针对动态场景的NeRF:
- Nerfies：多使用了一个多层感知机来拟合形变的SE(3) field，从而建模帧间场景形变。Nerfies: Deformable Neural Radiance Fields
- D-NeRF：多使用了一个多层感知机来拟合场景形变的displacement。
- Neural Scene Flow Fields：多提出了一个scene flow fields来描述时序的场景形变。
其他创新点：
- PhySG：用球状高斯函数模拟BRDF（高级着色的上古神器）和环境光照，针对更复杂的光照环境，能处理非朗伯表面的反射。
- NeX：用MPI（Multi-Plane Image ）代替NeRF的RGBσ作为网络的输出。
2022 CVPR
Zero-Shot Text-Guided Object Generation with Dream Fields
Useful References:
NeRF at NeurIPS 2022 - Mark Boss
Bigger to learn:
- [ ] Above NeRF: neural rendering
- [ ] Related theories in graphics and computer vision
- [ ] NeRF的一作Ben Mildenhall在SIGGRAPH 2021 Course Advances in Neural Rendering中从概率的角度推导了NeRF的体渲染公式。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK