[发明专利]基于宽基线光场成像技术的垃圾堆场三维重建方法及系统

权利要求书

1.一种基于宽基线光场成像技术的垃圾堆场三维重建方法，其特征在于，包括步骤：

步骤S1，利用多相机阵列采集垃圾堆场图像；

步骤S2，利用深度压缩感知技术对采集后的稀疏相机阵列图像恢复全光场图像；

步骤S3，在重建后的全光场图像中选择多个视角流的图像作为输入数据；

步骤S4，通过宽基线光场公开数据集LLF和垃圾堆场采集到的光场图像序列作为模型训练样本；

步骤S5，利用模型训练样本训练深度神经网络得到相应的权重与偏置，得到权重与偏置带入验证数据集，计算出验证数据集的预测误差，并保存使训练集预测误差最小的权重和偏置；

步骤S6，将步骤S5中使训练集预测误差最小的权重和偏置带入预测集合中，推理计算得到预测深度值。

2.根据权利要求1所述的基于宽基线光场成像技术的垃圾堆场三维重建方法，其特征在于，所述步骤S2包括：

步骤S2.1，构建全光场恢复网络模型；

步骤S2.2，进行特征提取运算；

步骤S2.3，进行非线性映射运算；

步骤S2.4，进行特征聚合运算；

步骤S2.5，添加长连接。

3.根据权利要求2所述的基于宽基线光场成像技术的垃圾堆场三维重建方法，其特征在于，在步骤S2.1中，全光场恢复网络模型包含初始恢复模型和深度恢复模型，可整体抽象描述为：

R(y)＝D(I(y)) (1)

其中y为步骤S1中相机阵列所得采样结果，I为初始恢复过程，D为深度恢复过程，R为整体恢复过程，具体如下：

初始恢复过程I(y)描述为：其中lB²×n_B矩阵为采样矩阵φ_B的逆矩阵，为恢复的数据；

在初始恢复模型中使用无偏差项卷积层来模拟这一过程，表述为W_int为lB²个大小为1×1×n_B的滤波器，步长为1×1。中每列都是大小为1×1×lB²的的重建向量，对这些向量进行变形与链接处理得到初始重建光场数据

在步骤S2.2中，特征提取运算被用作从区域性感受野中产生高维度特征，其过程由一个卷积层连接激活层组成，设定卷积层由d个大小为f×f×l的滤波器组成；这一过程表述为其中W_e为一系列滤波器，B_e为大小为d×1的偏差项，Act(·)为激活运算，采用ReLU激活函数；

在步骤S2.3中，非线性映射运算被用作增加网络非线性及相关感受野，保证重建质量；该运算过程由残差块、卷积层及激活层组成，可表述为：

公式中i∈{1，2，3…，n}为残差块，及都包含了d个大小为f×f×d的滤波器，及为大小为d×1的偏移项，

在步骤S2.4中，特征聚合运算被用作从高维度特征恢复光场数据，该运算过程可表述为其中W_a为l个大小为f×f×d的滤波器，B_a为大小为l×1的偏差项；

在步骤S2.5中，在初始重建光场数据与深度重建模型输出之间添加长连接，以加速网络聚合，最终的深度重建过程可表述为

4.根据权利要求3所述的基于宽基线光场成像技术的垃圾堆场三维重建方法，其特征在于，所述步骤S5的过程为：

步骤S5.1，确定神经网络反向传播的误差阈值ε并设置超参数；

步骤S5.2，各个分支对输入的图像进行特征提取；

步骤S5.3，对提取到的特征要素进行代价卷生成运算；

步骤S5.4，对上述步骤产生的多尺度融合成本量进行自适应跨尺度聚合。

步骤S5.5，代价回归；

步骤S5.6，视差回归。

步骤S5.7，计算损失函数用于模型训练的参数优化；

步骤S5.8，返回。