[发明专利]一种面向目标对象的主动式三维重建方法

权利要求书

1.一种面向目标对象的主动式三维重建方法，其特征在于，主动式三维重建方法具有两个模块：

(1)视角动态预测模块：

(1.1)模块输入：

使用RGBD相机来采集室内目标信息，在目标周围的任一随机视角v₀，用RGBD相机拍摄得到彩色照片，使用其中RGB三个通道并将分辨率压缩至64×64，得到64×64×3的张量I₀、随机视角v₀和图片张量I₀共同构成模块的输入；

(1.2)模块架构：

视角动态预测模块是一个两分支的神经网络，在不同的时间步下有不同的状态、输入和输出；在某一时间步t中，第一分支网络是一个全连接层f_view，以随机视角v_t作为输入，计算出对应的视角特征f_view(v₀)；第二分支网络是一个多层卷积循环神经网络f_enc，成为编码网络，负责将输入图片张量I_t编码为低维的特征其中是循环层在上一时间步的存储状态，在t＝1时取值为单位矩阵；

随后将两个分支网络提取的特征进行元素级的相乘，并在另一个循环层f_gru和全连接层f_fc的处理下，得到最终的特征向量如式(1)：

其中，是循环层在上一时间步的存储状态，在t＝1时取值为单位矩阵；

最后，将特征向量F经过S函数处理，得到最终预测的视角，作为下一时间步的输入视角v_t+1，同时使用RGBD相机获取该视角下的图片，得到下一时间步的输入张量I_t+1；

(1.3)训练方法：

视角动态预测模块中神经网络的训练采用增强学习方法，在每一个时间步中，按照式(2)计算奖励：

其中，为t时刻下的三维重建模型，V为数据库中的真实模型，IoU为两个模型重叠元素个数占全部元素的比重；

在累加每个时间步的奖励后，使用基于策略估计的优化方法，训练网络；具体使用梯度下降的方法计算的梯度，如式(3)，然后在梯度降低的方向迭代更新网络参数，得到预测最优视角的神经网络：

其中，R为所有时间步的累计奖励，为预测得到该视角的概率；

(2)目标自主重建模块：

(2.1)模块输入：

使用RGBD相机在视角动态预测模块中预测的视角下拍摄图片，按照时间步顺序将每帧图片用于视角动态预测模块中相同的处理方法，获得有序的图片张量序列{I₀，I₁，...，I_n}，作为模块的输入；

(2.2)模块架构：

目标自主重建模块是一个循环神经网络，包含编码网络和解码网络两个部分；编码网络f_enc采用视角动态预测模块的编码网络，即一个多层卷积循环神经网络，负责编码t时间步下输入的图片张量I_t的低维特征F_t；解码网络f_dec由多层的三维反卷积循环层组成，将低维的图片特征F_t升维得到三维的体素其中是循环层在上一时间步的存储状态，在t＝1时取值为单位矩阵；

对于一个由t个时间步组成的图片序列，按照时间步顺序输入到视角动态预测模块中，在最后一个时间步下预测得到的三维体素即是目标的三维重建结果；

(2.3)训练方法：

目标自主重建模块采用方向传播与随机梯度下降的方法训练，对于一个批样本，按照式(4)来计算网络的预测结果与数据库真值结果之间的误差，并计算误差的梯度，按照神经网络的反向传播，逐渐沿着梯度下降的方向更新网络参数，迭代直至收敛；

L_vox＝||V_pre-V||² (4)

其中，V_pre和V分别表示目标自主重建模块网络预测的体素模型和数据库中对应的体素模型。