[发明专利]基于宽基线光场成像技术的垃圾堆场三维重建方法及系统

说明书

本发明公开了一种基于宽基线光场成像技术的垃圾堆场三维重建方法及系统，此方法包括步骤：S1，利用多相机阵列采集垃圾堆场图像；S2，对采集后的稀疏相机阵列图像恢复全光场图像；S3，在全光场图像中选择多个视角流的图像作为输入数据；S4，通过宽基线光场公开数据集LLF和垃圾堆场采集到的光场图像序列作为模型训练样本；S5，利用模型训练样本训练深度神经网络得到相应的权重与偏置，得到权重与偏置带入验证数据集，计算出验证数据集的预测误差，并保存使训练集预测误差最小的权重和偏置；S6，将S5中使训练集预测误差最小的权重和偏置带入预测集合中，推理计算得到预测深度值。本发明具有成本低、精度高、实时性好等优点。

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种基于宽基线光场成像技术的垃圾堆场三维重建方法及系统。

背景技术

随着我国经济的快速发展和城镇化进程的加快，工业和生活垃圾呈现爆炸式增长，科学有效处理垃圾是现代城市环境治理与可持续发展中的重要问题。垃圾焚烧发电是城镇垃圾处理的主要方式，在无害化、资源化垃圾处理中扮演着重要角色，是实现国家“碳中和、碳达峰”重大战略的过关键一环。垃圾在焚烧前必须在堆场经过5—7天的发酵和脱水，因此，实现垃圾堆场的数字孪生智能化管理对城市各区域的垃圾热值预测研究和垃圾溯源追踪及监控技术研究，实现高效稳定发电具有重要指导意义，是目前城市垃圾管理运行的重点与难点。其中的关键环节是垃圾堆场的三维场景重建。

三维重建技术是机器视觉领域的热点研究话题，但是面向于垃圾堆场的三维重建研究却比较匮乏。目前常见的三维重建方法研究主要包括：被动式三维重建技术和主动式三维重建技术。被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息，主要包括纹理恢复形状法、阴影恢复形状法和立体视觉法；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息。主要包括莫尔条纹法、飞行时间法、结构光法和三角测距法等四种方法。

垃圾堆场的场景本身具有占地面积大、表面不平整、遮挡区域多、变化速度较快等特点，大多数现有的被动式三维重建方法极易受到表面纹理及光照条件的影响，无法有效解决垃圾堆场的现有问题；同时，采用主动式三维建模技术也面临着设备造价高昂且容易腐蚀等问题，在经济成本上不适用于该场景。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的问题，本发明提供一种成本低、精度高且实时性好的基于宽基线光场成像技术的垃圾堆场三维重建方法及系统。

为解决上述技术问题，本发明所采用的技术方案是，

一种基于宽基线光场成像技术的垃圾堆场三维重建方法，包括步骤：

步骤S1，利用多相机阵列采集垃圾堆场图像；

步骤S2，利用深度压缩感知技术对采集后的稀疏相机阵列图像恢复全光场图像；

步骤S3，在重建后的全光场图像中选择多个视角流的图像作为输入数据；

步骤S4，通过宽基线光场公开数据集LLF和垃圾堆场采集到的光场图像序列作为模型训练样本；

步骤S5，利用模型训练样本训练深度神经网络得到相应的权重与偏置，得到权重与偏置带入验证数据集，计算出验证数据集的预测误差，并保存使训练集预测误差最小的权重和偏置；

步骤S6，将步骤S5中使训练集预测误差最小的权重和偏置带入预测集合中，推理计算得到预测深度值。

优选地，所述步骤S2包括：

步骤S2.1，构建全光场恢复网络模型；

步骤S2.2，进行特征提取运算；

步骤S2.3，进行非线性映射运算；