[发明专利]调整深度图像预测模型的方法、装置和电子设备

权利要求书

1.一种调整深度图像预测模型的方法，其特征在于，该方法包括：

获取顺序拍摄的图像序列；

获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；

以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化；其中，确定所述损失函数的步骤包括：

基于运动预测模型，根据所述样本数据组确定运动矩阵；

基于深度图像预测模型，预测所述第一图像对应的第一初始深度图像和第二图像对应的第二初始深度图像；

根据所述第一初始深度图像、第二初始深度图像和所述运动矩阵确定所述损失函数。

2.如权利要求1所述的方法，其特征在于，该方法还包括：

将至少一张第三图像输入到迭代调整后的所述深度图像预测模型，输出所述第三图像对应的第三初始深度图像。

3.如权利要求1所述的方法，其特征在于，该方法还包括：

将相邻的第三图像和第四图像及在拍摄所述第三图像和第四图像之间的时间段内记录的运动数据输入到迭代调整后的所述运动预测模型，输出所述运动矩阵，其中所述运动矩阵用于确定拍摄所述第三图像和所述第四图像的设备的运动轨迹。

4.如权利要求1所述的方法，其特征在于，所述运动数据包括惯性测量单元IMU数据；所述运动预测模型包括第一运动编码器PoseNet、第二运动编码器BiLSTM、以及门控加权网络；所述深度图像预测模型包括图像编码器DepthNnet。

5.如权利要求4所述的方法，其特征在于，所述根据所述样本数据组确定运动矩阵，具体包括：

根据所述相邻的所述第一图像和所述第二图像确定第一运动特征；

根据所述IMU数据确定第二运动特征；

将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵。

6.如权利要求5所述的方法，其特征在于，所述根据所述相邻的所述第一图像和所述第二图像确定第一运动特征，具体包括：

将所述相邻的所述第一图像和所述第二图像进行堆叠；

根据所述第一运动编码器PoseNet提取所述堆叠的所述相邻的所述第一图像和所述第二图像的第一运动特征。

7.如权利要求5所述的方法，其特征在于，所述根据所述IMU数据确定第二运动特征，具体包括：

通过所述第二运动编码器BiLSTM确定所述IMU数据对应的第二运动特征。

8.如权利要求5所述的方法，其特征在于，所述将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵，具体包括：

根据所述门控加权网络确定所述第一运动特征对应的第一权重系数，并根据所述门控加权网络确定所述第二运动特征对应的第二权重系数；

根据所述第一运动特征、所述第一权重系数、所述第二运动特征、以及所述第二权重系数确定所述运动矩阵。

9.如权利要求8所述的方法，其特征在于，根据门控加权网络确定所述第一运动特征对应的第一权重系数，具体包括：

所述第一运动特征经过全连接网络确定第一中间参数；

根据所述第一中间参数与Sigmoid函数确定所述第一运动特征对应的第一权重系数。

10.如权利要求8所述的方法，其特征在于，根据门控加权网络确定所述第二运动特征对应的第二权重系数，具体包括：

所述第二运动特征经过所述全连接网络确定第二中间参数；

根据所述第二中间参数与所述Sigmoid函数确定所述第二运动特征对应的第二权重系数。

11.如权利要求4所述的方法，其特征在于，所述IMU数据包括三维加速度数据以及三维陀螺仪数据。