2020到2023年NeRF开源代码库与框架盘点，哪款更适合你？（nft开源代码）

作者：Vallee | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取代码链接。

添加微信：dddvisiona，备注：NeRF，拉你入群。文末附行业细分群。

自从在ECCV'20被提出以来，NeRF（神经辐射场）在3D视觉领域激发了很多有趣的创新工作，同时也出现了很多优秀的开源工作，本文对近期（2020-2023）的NeRF相关典型的开源代码库和框架做一个盘点，涵盖静态场景、动态场景、相机位姿优化、可变形场景、无界场景、表面重建、显式建模、集成开发框架、加速库等，希望能对大家有一点点帮助。

• 简介：NeRF是一个简单的全连接网络(权重约为5MB)，使用渲染损失来重现单个场景的输入视图。网络将空间位置和观察方向(5D输入)映射到颜色和不透明度(4D输出)，充当“体”，因此可以用体渲染来可微地渲染新视图。

• 发表年份：ECCV'20

• 代码：

• TensorFlow原版：https://github.com/bmild/nerf

• JAX版：https://github.com/google-research/google-research/tree/master/jaxnerf, JAX版相比于TensorFlow版更高效

• 简介：pixelNeRF通过引入一个或多个带pose的稀疏图像作为条件输入，将图像全卷积特征和位置、方向一起输入NeRF，提升了稀疏视图下的新视角渲染能力，并且有一定的未见过的类别的泛化能力。

• 发表年份：CVPR'21

• 代码：https://github.com/sxyu/pixel-nerf (PyTorch)

• 简介：Nerfies通过额外优化一个连续的体变形场，将每个观测点转到标准空间下，并且引入粗到细优化和弹性正则增强鲁棒性，可以将随意的自拍照片/视频转为可变形NeRF，做任意新视角渲染。

• 发表年份：ICCV'21

• 代码：https://github.com/google/nerfies (JAX)

• 简介：为了解决NeRF的射线的歧义问题，mip-NeRF通过投射锥，编码圆锥截锥的位置和大小，并训练一个单一的神经网络，在多个尺度上对场景进行建模。

• 发表年份：ICCV'21

• 代码：https://github.com/google/mipnerf (JAX)

• 简介：BARF可以从不精确的相机位姿（甚至未知相机位姿）的图片中训练NeRF，并同时优化相机位姿。优化过程中，提出用一种粗到细的方案，逐渐激活位置编码的更高频部分，使得BARF能先从平滑的信号学习配准，然后逐渐学习高保真的场景表示。

• 发表年份：ICCV'21

• 代码：https://github.com/chenhsuanlin/bundle-adjusting-NeRF (PyTorch)

• 简介：给定带pose的物体多视角图片，NeuS通过引入神经体渲染从神经隐式SDF渲染图片，从而学习神经隐式SDF的表面重建。

• 发表年份：NeurIPS'21

• 代码：https://github.com/Totoro97/NeuS (PyTorch)

1.7 mip-NeRF 360

• 简介：mip-NeRF 360通过类似EKF的场景参数化解决无解场景问题，在线粗到细蒸馏提高训练效率，以及失真正则化技术解决采样和混叠问题，使其能够高保真合成无界场景。

• 发表年份：CVPR'22

• 代码：https://github.com/google-research/multinerf (JAX)

• 简介：TensoRF将辐射场的张量用向量矩阵分解，进而计算容积密度和依赖视角的颜色，提升了渲染质量，降低内存使用和模型大小。

• 发表年份：ECCV'22

• 代码：https://github.com/apchenstu/TensoRF (PyTorch)

• 简介：针对人体等可变形物体的神经渲染，基于mip-NeRF, 无需身体模板，输入多视角图片和跟踪的3D骨架，TAVA可以得到对应的标准空间下的容积表示，进而可以用于渲染新的姿态，新的视角，做动画，得到稠密对应关系等。

• 发表年份：ECCV'22

• 代码：https://github.com/facebookresearch/tava (PyTorch)

• 简介：在dycheck中，研究人员发现单目视频动态视图合成(DVS)中已有的一些方法实际训练时有多视角信息泄露，因此dycheck定义了一个有效多视角因子(EMF)来进行量化，并且引入了两个指标：共可见掩码图像指标和对应精度克服已有指标的问题，还发布了一个iPhone数据集。开源代码里实现了T-NeRF, Nerfies, HyperNeRF的JAX实现，并引入了一些训练的改进。

• 发表年份：NeurIPS'22

• 代码：https://github.com/KAIR-BAIR/dycheck (JAX)

1.11 K-Planes

• 简介：K-Planes是一种任意维度辐射场的白盒模型，将d维空间显式地分解为d(d-1)/2个（d选2）平面,可以处理静态、动态、外观，并且重建质量高，内存占用低，速度快。

• 发表年份：CVPR'23

• 代码：https://github.com/sarafridov/K-Planes (PyTorch)

• 简介：NeuS2/NeuS2 结合了Instant-NGP,大幅提升NeuS的速度，同时通过增量训练和全局变换预测扩展了动态场景的支持。

• 发表年份：ICCV'23

• 代码：https://github.com/19reborn/NeuS2 (CUDA/TCNN)

• 简介：来自上海人工智能实验室、浙大和商汤的OpenXRLab的开源代码框架，支持场景类神经渲染方法：NeRF, Mip-NeRF, KiloNeRF, Instant-NGP, BungeeNeRF; 人体类神经渲染方法：NeuralBody, AniNeRF, GNR。OpenXRLab其他关于XR的开源代码框架还包括XRSLAM, XRSfM, XRLocalization, XRMoCap, XRMoGen。

• 开源年份：2022

• 代码：https://github.com/openxrlab/xrnerf (PyTorch)

2.2 NeRF-Factory

• 简介：源于POSTECH, KAIST, 和Kakao Brain Corp的开源框架。实现了NeRF, NeRF , DVGO, Plenoxels, Mip-NeRF, Mip-NeRF360, Ref-NeRF等方法，包含NeRF Blender, NeRF LLFF, Tanks and Temples, LF, NeRF-360, NeRF-360-v2, Shiny Blender等数据集。还提供了NeRF可视化工具。

• 开源年份: 2022

• 代码：https://github.com/kakaobrain/NeRF-Factory (PyTorch)

• 简介：NVIDIA出品，Kaolin-Wisp包含多种NeRF, NGLOD, Instant-NGP,VQAD的实现。提供了很多实用功能，例如数据集，图像I/O, mesh处理，射线实用函数，还提供了用于构建神经场的模块例如可微分渲染器，可微分数据结构（octrees, hash grids, triplanar features)，也提供了用于调试的可视化工具，交互式渲染以及训练、日志、训练器类等。

• 发表年份：EG STAR'22

• 代码：https://github.com/NVIDIAGameWorks/kaolin-wisp (PyTorch)

• 简介：源自伯克利KAIR-BAIR实验室，Nerfstudio支持多种数据输入pipeline，有多种NeRF的模块化实现，提供了网页实时可视化工具，支持多种导出模态。

• 发表年份：SIGGRAPH'23

• 代码：https://github.com/nerfstudio-project/nerfstudio (PyTorch)

• 简介：源自图宾根大学和图宾根MPI-IS的Autonomous Vision组，基于NerfStudio开发, SDFStudio提供了一个通用的模块化的神经隐式表面重建框架，主要实现了UniSurf，VolSDF, NeuS三种隐式表面重建方法，支持MLPs, Tri-plane, and Multi-res. feature grids几种场景表示。

• 开源年份：2022

• 代码：https://github.com/autonomousvision/sdfstudio (PyTorch)

• 简介：同样源于伯克利大学KAIR-BAIR实验室，基于PyTorch的NeRF加速工具箱，可用于训练和推理。主要关注于辐射场体渲染流程中的高效采样, 通用且能在大多数NeRF中即插即用。NerfAcc只需要在已有的代码库中做很小的修改，就能获得很大的速度提升。所有的实现都是基于纯Python的，具有灵活的API。

• 发表年份：arXiv'23

• 代码：https://github.com/KAIR-BAIR/nerfacc/ (PyTorch)

NeRF最初是谷歌的研究人员提出的，上述开源代码中，谷歌的大部分工作基于JAX开发，其他开源库大部分基于PyTorch开发。基于Instant-NGP的工作是基于CUDA开发的，虽然速度快，但对于开发不太友好。根据最新的NerfAcc来看，可以看到基于PyTorch的NeRF开源库的速度也有保证了。那么你认为哪个开源代码库或框架更适合你呢？