Semantic and consistent neural radiance field reconstruction method based on intrinsic decomposition via classification

Le résumé fourni par la source

目的基于神经辐射场（neural radiance field，NeRF）的3D场景重建与新视角生成工作正受到研究者的广泛重视，然而现有的神经辐射场方法通常对给定的场景进行高度专门化的表征，且将场景的几何与外观表征为“混合场”，这对场景的几何与外观编辑、场景泛化和3D资源的使用造成了不便。方法提出了一个学习对象本征属性的神经辐射场分类网络，通过图像增强的方式去除高光和阴影，并使用分类的方式实现颜色分解，即从现实场景中提取室内场景语义级目标的本征属性，在此基础上进行神经辐射场的重建。提出了前点优胜模块与颜色分类模块。前点优胜模块在体渲染阶段优化射线代表的本征属性，从而提升神经辐射场的语义一致性；颜色分类模块在辐射场重建阶段，通过全连接网络进行本征属性的分类优化，提高辐射场的语义及视角间一致性。两个主要模块共同作用，使重建的辐射场具备良好的针对外观的泛化能力，可支持场景重上色、重光照以及针对阴影与高光的编辑等任务。结果相比于现有的基于神经辐射场的学习进行本征分解的Intrinsic NeRF方法，在Replica数据集中的充分实验表明，在有限的GPU显存和运行时间下，重建的本征属性神经辐射场具备语义及视角间一致性。针对提升语义一致性的前点优胜模块，本文方法在基线模型Semantic NeRF的基础上提高了4.1%，在未加入该模块的基础上提高了 3.9%。针对提升本征分解语义及视角间一致性的颜色分类模块，本文方法在Intrinsic NeRF的本征分解工作基础上提升了10.2%，在未加入颜色分类层的基础上提升了1.7%。结论本文方法构建的本征属性神经辐射场具备语义及视角间一致性，可描述复杂场景几何关系且具备良好外观泛化性。在场景重上色、重光照、阴影与高光的编辑等任务中取得了视角间一致的逼真效果。

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.