[发明专利]一种深度学习网络模型的建立方法及装置

权利要求书

1.一种用于视频处理的深度学习网络模型的建立方法，其特征在于，包括：

对获取的视频流中的每个视频帧，将所述视频帧输入到深度学习网络模型中进行特征提取；

根据提取的所述视频帧的特征和与所述视频帧相邻的前一个视频帧的特征确定两个视频帧之间的差异；

若确定所述差异未稳定在预设范围内，则调整所述深度学习网络模型的参数，返回将所述视频帧输入到深度学习网络模型中进行特征提取的步骤；

在确定所述视频流中任意两个相邻视频帧之间的差异均稳定在预设范围内时，将当前的深度学习网络模型确定为建立的深度学习网络模型；

根据提取的所述视频帧的特征和与所述视频帧相邻的前一个视频帧的特征确定两个视频帧之间的差异，包括：

针对所述视频帧中的每个像素点，计算该像素点与所述前一个视频帧中相同位置上的像素点之间的特征差，根据所述特征差和该像素点的权重确定两个视频帧在该像素点上的差异，其中，所述视频帧中每个像素点的权重是一样的；

根据两个视频帧在各像素点上的差异确定两个视频帧之间的差异。

2.如权利要求1所述的方法，其特征在于，若对所述视频流中的每个视频帧，还获取有所述视频帧对应的惯性测量单元IMU数据，则控制所述深度学习网络模型根据以下步骤提取所述视频帧的特征：

根据与所述视频帧相邻的前一个视频帧对应的IMU数据估计所述视频帧的位姿；

根据所述视频帧的位姿和所述视频帧的深度图确定所述视频帧的三维数据；

根据所述视频帧的三维数据确定所述视频帧的特征。

3.如权利要求2所述的方法，其特征在于，根据所述视频帧的三维数据确定所述视频帧的特征，包括：

对所述视频帧的三维数据进行降维处理，得到所述视频帧的二维数据；

对所述视频帧的二维数据进行双线性插值处理；

确定双线性插值处理后的二维数据为所述视频帧的特征。

4.如权利要求1所述的方法，其特征在于，将当前的深度学习网络模型确定为建立的深度学习网络模型之前，还包括：

将测试视频流中的每个测试视频帧输入到所述深度学习网络模型中进行特征提取，根据提取的所述测试视频帧的特征和与所述测试视频帧相邻的前一个测试视频帧的特征确定两个测试视频帧之间的差异，将所述差异与预先确定的所述两个测试视频帧之间的差异进行比对，根据比对结果确定所述深度学习网络模型在提取当前测试视频帧的特征时的误差；

根据所述深度学习网络模型在提取所述测试视频流中每个测试视频帧时的误差确定所述深度学习网络模型的准确率；

判断所述深度学习网络模型的准确率是否达到预设准确率；

若是，则将所述深度学习网络模型确定为建立的深度学习网络模型；若否，则根据新的视频流对所述深度学习网络模型进行训练，以建立达到预设准确率的深度学习网络模型。

5.如权利要求1所述的方法，其特征在于，将当前的深度学习网络模型确定为建立的深度学习网络模型之后，还包括：

利用所述深度学习网络模型对采集到的视频流中的每个视频帧进行特征提取。

6.一种机器人位姿确定方法，其特征在于，包括：

将当前采集的视频帧输入到深度学习网络模型中进行特征提取，所述深度学习网络模型采用如权利要求1所述的方法建立；

将提取的所述视频帧的特征与采集时间最晚的N个关键帧的特征逐一进行比对，若确定所述视频帧与每个关键帧之间的特征重叠率均低于预设重叠率，则确定所述视频帧为关键帧，初始的N个关键帧为最先采集到的N个视频帧，N为大于零的整数；

根据采集时间最晚的N个关键帧对目标视频流进行稀疏化处理，所述目标视频流由所述视频帧和与所述视频帧相邻的前N个视频帧组成；

根据稀疏化处理后的目标视频流和所述目标视频流中每个视频帧对应的惯性测量单元IMU数据确定机器人的位姿。