[发明专利]三维时序图像神经网络模型的训练方法和装置

说明书

本申请涉及一种三维时序图像神经网络模型的训练方法和装置。方法包括：获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维时序图像神经网络模型进行预测，得到第三时刻的预测三维图像；比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到深度信息损失、颜色信息损失和高维信息损失；根据深度信息损失、颜色信息损失和高维信息损失得到综合损失；根据综合损失调整初始三维时序图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维时序图像神经网络模型。本方案能够提高三维图像的预测精度。

技术领域

本申请涉及三维图像处理技术领域，特别是涉及一种三维时序图像神经网络模型的训练方法和装置。

背景技术

随着深度学习技术、硬件技术的发展，三维神经网络技术快速发展，已广泛应用于多个领域，如工业中引导机器人控制、辅助智能汽车自动驾驶以及三维工件的缺陷检测等领域。例如，当工业机器人搭载工业相机抓取目标遇到遮挡时，可以使用三维生成网络生成出目标未被遮挡的状态，以引导机器人完成操作。当无人车自动驾驶时突然有另一台车的部分驶入视野范围，可以通过三维生成网络预测生成驶入车辆可能的行驶路径，以辅助无人车提前减速。

三维图像神经网络在使用之前需要经过训练以提高神经网络生成的准确性。传统的图像神经网络训练所得到的神经网络模型生成的预测图像精度不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高三维时序图像预测精度的三维时序图像神经网络模型的训练方法和装置。

一种三维时序图像神经网络模型的训练方法，包括：

获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；

将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维时序图像神经网络模型进行预测，得到第三时刻的预测三维图像；

比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到深度信息损失、颜色信息损失和高维信息损失；

根据深度信息损失、颜色信息损失和高维信息损失得到综合损失；

根据综合损失调整初始三维时序图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维时序图像神经网络模型。

在其中一个实施例中，获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像，包括：

获取拍摄对象在第一时刻、第二时刻和第三时刻的样本图像，第一时刻、第二时刻和第三时刻是三个连续时刻；

获取拍摄对象在第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息；

根据拍摄对象在第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息，对拍摄对象在第一时刻、第二时刻和第三时刻的样本图像进行三维重建，得到第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像。

在其中一个实施例中，根据深度信息损失、颜色信息损失和高维信息损失得到综合损失，包括：

将深度信息损失、颜色信息损失和高维信息损失进行加权求和，得到综合损失。

在其中一个实施例中，深度信息损失为第三时刻的预测三维图像中的深度信息与第三时刻的样本三维图像中的深度信息之间差值的绝对值；颜色信息损失为高维信息损失为第三时刻的预测三维图像中的颜色信息与第三时刻的样本三维图像中的颜色信息之间差值的绝对值；高维信息损失为第三时刻的预测三维图像和第三时刻的样本三维图像经过三维卷积神经网络处理后的损失值。

一种三维时序图像生成方法，包括：

获取两个连续时刻的三维图像；