[发明专利]三维时序图像神经网络模型的训练方法和装置

权利要求书

1.一种三维时序图像神经网络模型的训练方法，其特征在于，包括：

获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；

将所述第一时刻的样本三维图像和所述第二时刻的样本三维图像输入初始三维时序图像神经网络模型进行预测，得到第三时刻的预测三维图像；

比较所述第三时刻的预测三维图像和所述第三时刻的样本三维图像，得到深度信息损失、颜色信息损失和高维信息损失；

根据所述深度信息损失、颜色信息损失和高维信息损失得到综合损失；

根据所述综合损失调整所述初始三维时序图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维时序图像神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像，包括：

获取拍摄对象在第一时刻、第二时刻和第三时刻的样本图像，所述第一时刻、第二时刻和第三时刻是三个连续时刻；

获取所述拍摄对象在所述第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息；

根据所述拍摄对象在所述第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息，对所述拍摄对象在第一时刻、第二时刻和第三时刻的样本图像进行三维重建，得到所述第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息损失、颜色信息损失和高维信息损失得到综合损失，包括：

将所述深度信息损失、颜色信息损失和高维信息损失进行加权求和，得到综合损失。

4.根据权利要求1所述的方法，其特征在于，所述深度信息损失为所述第三时刻的预测三维图像中的深度信息与所述第三时刻的样本三维图像中的深度信息之间差值的绝对值；所述颜色信息损失为所述高维信息损失为第三时刻的预测三维图像中的颜色信息与所述第三时刻的样本三维图像中的颜色信息之间差值的绝对值；所述高维信息损失为所述第三时刻的预测三维图像和所述第三时刻的样本三维图像经过三维卷积神经网络处理后的损失值。

5.一种三维时序图像生成方法，其特征在于，包括：

获取两个连续时刻的三维图像；

将所述两个连续时刻的三维图像输入到训练后的三维时序图像神经网络模型进行预测，得到所述两个连续时刻之后的下一个时刻的预测三维图像；

其中，所述三维时序图像神经网络模型是根据综合损失进行调整权重得到，所述综合损失是根据样本三维图像与对应预测三维图像之间的深度信息损失、颜色信息损失和高维信息损失确定。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述两个连续时刻之后的下一个时刻的真实三维图像；

根据所述两个连续时刻之后的下一个时刻的真实三维图像和预测三维图像，检测所述两个连续时刻之后的下一个时刻的真实三维图像中是否存在缺失部分，所述缺失部分是指被遮挡、有阴影或超出视野范围的部分；

若所述两个连续时刻之后的下一个时刻的真实三维图像中存在缺失部分，输出所述两个连续时刻之后的下一个时刻的预测三维图像。

7.一种三维时序图像神经网络模型的训练装置，其特征在于，所述装置包括：

样本获取模块，用于获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；

样本预测模块，用于将所述第一时刻的样本三维图像和所述第二时刻的样本三维图像输入初始三维时序图像神经网络模型进行预测，得到第三时刻的预测三维图像；

损失获取模块，用于比较所述第三时刻的预测三维图像和所述第三时刻的样本三维图像，得到深度信息损失、颜色信息损失和高维信息损失；

损失计算模块，用于根据所述深度信息损失、颜色信息损失和高维信息损失得到综合损失；

权重调整模块，用于根据所述综合损失调整所述初始三维时序图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维时序图像神经网络模型。