[发明专利]一种动态环境下基于卷积神经网络架构的视觉里程计方法

权利要求书

1.一种动态环境下基于卷积神经网络架构的视觉里程计方法，包括以下步骤：

步骤1、生成特征点位置数据集，然后对特征点检测和语义分割多任务网络Multitask-Net进行训练；

步骤2、通过步骤1训练好的Multitask-Net，生成位姿估计网络Pose-Net训练所需的静态特征点数据和相对位姿数据；

步骤3、用步骤2生成的静态特征点数据和相对位姿数据，对Pose-Net进行训练；

步骤4、用步骤1和步骤3训练好的网络构建VO系统，记为DCVO系统，计算时序的图像帧数据对应的AR设备装配的相机的运动轨迹；

所述步骤1包括以下步骤：

步骤101、提取大型开源的语义分割数据集中彩色图像的SIFT特征点；

步骤102、根据步骤101提取的特征点结果，按照特征点处像素强度为1，非特征点处像素强度为0的对应关系，将彩色图像转换为特征点位置二值图，得到特征点位置数据集；

步骤103、以步骤101中的语义分割数据集和步骤102生成的特征点位置数据集对Multitask-Net进行多次迭代训练，并记录每一次迭代的验证集的语义分割平均交并比和网络参数，其中彩色图像作为网络的输入数据，语义分割数据集中的分割标签图与步骤102生成的特征点位置二值图作为网络学习的真实值；

步骤104、以每次迭代的验证集的语义分割平均交并比作为网络拟合指标，选取训练过程中最高的平均交并比对应的网络参数，作为训练好的Multitask-Net；

所述步骤2包括以下步骤：

步骤201、以大型开源的街景数据集中的彩色图像作为步骤1训练好的Multitask-Net的输入数据，进行特征点检测和语义分割；

步骤202、对步骤201提取的分布密集的特征点进行非极大值抑制的稀疏化处理；

步骤203、将语义分割类别归类为运动与静止两类，按步骤201的语义分割结果，对步骤202稀疏化处理后的特征点进行语义分类；

步骤204、将静态类特征点处像素强度设为255，动态特征点和非特征点处像素设为0，构建静态特征点位置的二值图；

步骤205、按照世界坐标系到局部坐标系的转换关系，将步骤201中使用的街景数据集提供的相机绝对位姿数据转换为连续的相邻两两帧之间的相对位姿数据。

2.根据权利要求1所述的视觉里程计方法，其特征在于，所述Multitask-Net用来同时检测图像特征点和像素级语义分割，其语义分割的类别归类为静态与动态两类，根据特征点所属的动静类别，仅保留静态类的特征点。

3.根据权利要求1所述的视觉里程计方法，其特征在于，所述Pose-Net以相邻两幅图像经Multitask-Net提取的静态特征点为输入，输出这两幅图像之间的相机相对位姿，将相对位姿转换为世界坐标系下的绝对位姿，实现时间上连续的相机定位。

4.根据权利要求1所述的视觉里程计方法，其特征在于，所述步骤3包括以下步骤：

步骤301、将步骤204生成的静态特征点位置二值图作为Pose-Net的输入，将步骤205生成的相对位姿数据作为网络学习的真实值，进行多次迭代训练，记录每次迭代后的验证集损失和网络参数；

步骤302、将验证集损失作为网络拟合质量指标，取最小损失的网络参数作为训练好的Pose-Net。

5.根据权利要求1所述的视觉里程计方法，其特征在于，所述步骤4包括以下步骤：

步骤401、以一个时序的彩色图像序列中的图像依次作为步骤1训练好的Multitask-Net的输入，网络检测的特征点经过非极大值抑制的稀疏化处理、语义分割动静分类后，生成静态特征点二值图；

步骤402、将图像序列中每一对相邻两帧图像的静态特征点二值图作为步骤3训练好的Pose-Net的输入，网络输出这两帧图像之间的相机相对位姿；

步骤403、将第一帧图像的坐标系作为世界坐标系，将步骤402生成的每一对相邻两帧之间的相对位姿转化为相对于世界坐标系的绝对位姿，然后绘制相机的运动轨迹。