14、三维表面重建-DeepSDF-程序员宅基地

技术标签： python # 3D重建

简介

传统的‎表面重建‎技术中，SDF是基于离散化体素对物体或者场景表面的一种表达，而现实中表面是连续的，DeepSDF是一种学习过的连续符号距离函数(SDF)表示一类形状，可以从部分和有噪声的3D输入数据中进行高质量的形状表示、插值和补全

贡献点

提出了基于连续隐式曲面的生成式形状条件三维建模的公式
基于概率自动解码器的三维形状学习方法
在形状建模和完成中的演示和应用

Related work

3D物体形状的表示可以分成3类：基于点，mesh和voxel的方法

Point-based
点云是一种轻量级的3D表示，它与许多传感器(如激光雷达、深度相机)提供的原始数据紧密匹配，因此很适合应用3D学习，适合于做分类分割检测的工作，不能描述拓扑结构，不适合生产水密表面
Mesh-based
各种方法用预定义的模板网格来表示形状相似的物体，如可变形的人体部分，模板网格使用方便，自然提供了三维对应关系，但只能对网格拓扑结构固定的形状进行建模
Voxel-based
体素，用数值的3D网格非参数地描述体积，目前的方法只能处理低分辨率(1283或以下)，不能保存精细的形状细节，高保真形状明显不同，因为在渲染时它们的法线并不光滑，可拓展性不强，当然有很多学者提出使用八叉树或者voxel hash的方法，但是只是在数据结构层面的改进，自身固有的缺陷（分辨率）没有解决。

实现思路

在这里插入图片描述

SDF是一个连续函数，对于给定的空间点，输出该点到最近表面的距离，其符号编码是在watertight surface的内部(负)还是外部(正):

在这里插入图片描述

s > 0是外部，s < 0是内部，s = 0是表面。

核心思想是利用深度神经网络从点样本直接回归连续的SDF，训练后的网络可预测给定查询位置的SDF值，这样的话就可以学习任意精度的全连续形状函数。

实际逼近的精度受到指导决策边界的点样本数量有限和计算能力有限网络容量有限的限制

可以联想到NeRF也是通过在光线上采样做积分的方式完成渲染

single shape deepSDF

在这里插入图片描述

给定一个目标形状，得到一组由3D点样本及其SDF值组成的数据

在这里插入图片描述

在训练集S上训练多层全连接神经网络 $f_θ$ 的参数 θ，使 $f_θ$ 在目标域 Ω 中成为给定SDF的良好逼近器

在这里插入图片描述

X 中各点的预测 和 真实SDF值在以下L1损失函数下的损失总和最小来完成的

在这里插入图片描述

clamp(x, δ) := min(δ, max(−δ, x))，同时引入了一个参数 δ 来控制距离，较大的 δ 值允许快速射线追踪，因为每个样本给出了安全步长信息。较小的 δ 值可用于将网络容量集中在近地表细节。

实验中使用 δ = 0. 1和一个由8个全连接层组成的前馈网络，每个层都应用了dropouts。所有内层均为512维，具有ReLU非线性，输出非线性回归SDF值为tanh，使用Adam优化器。

coded shape deepSDF

上面方法只能对单一形状进行重建，因为模型没有包含任何shape的信息。

下面将shape用latent vector的方式作为网络的输入，以此适应多种形状，每一种形状都有一个对应的code
在这里插入图片描述

自动解码器直接接受潜在向量作为输入。在训练开始时，给每个数据点分配一个随机初始化的潜在向量，并通过标准反向传播对潜在向量和解码器权重进行优化。

在推理过程中，译码器的权值是固定的，并估计出一个最优潜在向量。

在概念上，将这个潜在向量映射到一个连续的SDF表示的3D形状

形式上，对于某个由 i 索引的形状， $f_θ$ 现在是一个潜在代码 $z_i$ 和一个查询3D位置 x 的函数，并输出形状的近似SDF
在这里插入图片描述

概率公式化

由于Auto-encoders和encoder-decoder网络的瓶颈特征容易形成自然潜变量表示，因此被广泛用于表示学习

实验表明auto-decoder更好生成高质量3D生成模型，为此开发了一个概率公式来训练和测试自动解码器，它自然地引入了潜在空间正则化来改进泛化。

给定一个用符号距离函数(SDF)表示的N个形状的数据集，有一组 K 点样本及其符号距离值

在这里插入图片描述

对于自动解码器，由于没有编码器，每个潜在代码 $z_i$ 都与训练形状 $X_i$ 配对。给定形状SDF样本 $X_i$ 的后验概率为

在这里插入图片描述

其中θ参数化SDF似然， $p(z_i)$ 假设服从zero-mean multivariate-Gaussian分布

通过一个深度前馈网络 $f_θ(z_i, x_j)$ 表示SDF似然，假设似然形式为

在这里插入图片描述

最终得到训练阶段的优化目标

在这里插入图片描述

在测试的时候，参数 θ 不动，可以通过最大值后验估计来估计形状 $X_i$ 的形状代码 $z_i$

在这里插入图片描述

至关重要的是，这个公式对于任意大小和分布的SDF样本X是有效的，因为对于每个SDF样本，损失相对于z的梯度可以单独计算。这意味着DeepSDF可以处理任何形式的局部观测，如深度图。这是与自编码器框架相比的一个主要优势，自编码器要求类似于训练数据的测试输入

为了纳入潜在形状码，将码向量和样本位置进行叠加，并将其输入到之前所述的输入层和第4层相同的全连接NN中。再次使用Adam优化器。潜在向量z从N(0, 0.012)随机初始化。

在这里插入图片描述

本文链接：https://blog.csdn.net/weixin_50973728/article/details/126398320

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

python编码问题之encode、decode、codecs模块_python中encode在什么模块-程序员宅基地

文章浏览阅读2.1k次。原文链接先说说编解码问题编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 Eg：str1.decode('gb2312') #将gb2312编码的字符串转换成unicode编码str2.encode('gb2312') #将unicode编码..._python中encode在什么模块

Java数据流-程序员宅基地

文章浏览阅读949次，点赞21次，收藏15次。本文介绍了Java中的数据输入流（DataInputStream）和数据输出流（DataOutputStream）的使用方法。

ie浏览器无法兼容的问题汇总_ie 浏览器 newdate-程序员宅基地

文章浏览阅读111次。ie无法兼容_ie 浏览器 newdate

想用K8s，还得先会Docker吗？其实完全没必要-程序员宅基地

文章浏览阅读239次。这篇文章把 Docker 和 K8s 的关系给大家做了一个解答，希望还在迟疑自己现有的知识储备能不能直接学 K8s 的，赶紧行动起来，K8s 是典型的入门有点难，后面越用越香。

ADI中文手册获取方法_adi 如何查看数据手册-程序员宅基地

文章浏览阅读561次。ADI中文手册获取方法_adi 如何查看数据手册

React 分页-程序员宅基地

文章浏览阅读1k次，点赞4次，收藏3次。React 获取接口数据实现分页效果以拼多多接口为例实现思路加载前加载动画加载后判断有内容的时候无内容的时候用到的知识点1、动画效果（用在加载前，加载之后就隐藏或关闭，用开关效果即可）2、axios请求3、map渲染页面4、分页插件（antd）代码实现import React, { Component } from 'react';//引入axiosimport axios from 'axios';//引入antd插件import { Pagination }_react 分页

随便推点

关于使用CryPtopp库进行RSA签名与验签的一些说明_cryptopp 签名-程序员宅基地

文章浏览阅读449次，点赞9次，收藏7次。这个变量与验签过程中的SignatureVerificationFilter::PUT_MESSAGE这个宏是对应的，SignatureVerificationFilter::PUT_MESSAGE，如果在签名过程中putMessage设置为true，则在验签过程中需要添加SignatureVerificationFilter::PUT_MESSAGE。项目中使用到了CryPtopp库进行RSA签名与验签，但是在使用过程中反复提示无效的数字签名。否则就会出现文章开头出现的数字签名无效。_cryptopp 签名