[发明专利]基于深度学习和注意力机制的单目视觉里程计的计算方法

权利要求书

1.一种基于深度学习和注意力机制的单目视觉里程计的计算方法，其特征在于，包括以下步骤：

S1、采用注意力机制构造注意力机制模块，并在注意力机制模块的基础上构建卷积神经网络；

S2、采集原始单目彩色图像，并将原始单目彩色图像尺寸裁剪为统一大小；

S3、将裁剪过后的第i张图像和第i+1张图片输入PWCnet光流计算模块，获取光流向量场，并将光流向量场按照4个象限等分为4个光流子向量场；

S4、将4个光流子向量场输入卷积神经网络，分别获取4个子特征向量；

S5、将4个子特征向量合并为一个总特征向量，然后将总特征向量输入全连接网络，获取估计位姿向量；

S6、以减少估计位姿误差为目标，对卷积神经网络进行训练；

S7、实时采集图片，并依次送入训练完成的卷积神经网络，得到若干连续的估计位姿向量，通过若干连续的估计位姿向量获取估计里程；

所述估计里程s为：

s＝[s₀,s₁,s₂,...,s_n-1,s_n] (2)

其中，s_i表示第i次运动的估计位姿向量，i＝1,2,...n，x_i表示第i次运动x轴的分量，y_i表示第i次运动y轴的分量，z_i表示第i次运动z轴的分量，φ_i表示旋转向量r_i的在xy平面的欧拉角分量，θ_i表示旋转向量r_i的在yz平面的欧拉角分量，表示旋转向量r_i的在zx平面的欧拉角分量，dx_i、dy_i、dz_i、dφ_i、dθ_i和分别表示x_i、y_i、z_i、φ_i、θ_i和的变化量。

2.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计的计算方法，其特征在于，所述卷积神经网络包括4条通道，所述4条通道的结构相同，均包括依次连接的第一卷积层、第一注意力机制模块、第二卷积层、第二注意力机制模块和第一特征向量合并模块，所述第一注意力机制模块还与第一特征向量合并模块的输入端连接，所述第一特征向量合并模块用于将第一注意力机制模块的输出数据和第二注意力机制模块输出数据组合；

所述第一卷积层为卷积核大小为9×9且卷积核数量为64的卷积层，所述第二卷积层为卷积核大小为3×3且卷积核数量为20的卷积层。

3.根据权利要求2所述的基于深度学习和注意力机制的单目视觉里程计的计算方法，其特征在于，所述第一注意力机制模块和第二注意力机制模块结构相同，均包括通道注意力模块和空间注意力模块；

所述通道注意力模块包括第一最大池化层、第一平均池化层、多层感知机、第一加法器和第一sigmoid激励函数单元，所述第一最大池化层的输入端为注意力机制模块的第一输入端，所述第一平均池化层的输入端为注意力机制模块的第二输入端，所述第一最大池化层的输出端和第一平均池化层的输出端分别与多层感知机的输入端连接，所述多层感知机的输出端与第一加法器的输入端连接，所述第一加法器的输出端与第一sigmoid激励函数单元的输入端连接；

所述空间注意力模块包括第二最大池化层、第二平均池化层、第二加法器、上卷积层和第二sigmoid激励函数单元，所述第二最大池化层的输入端和第二平均池化层的输入端分别与第一sigmoid激励函数单元的输出端连接，所述第二最大池化层的输出端和第二平均池化层的输出端分别与第二加法器的输入端连接，所述第二加法器的输出端与上卷积层的输入端连接，所述上卷积层的输出端与第二sigmoid激励函数单元的输入端连接，所述第二sigmoid激励函数单元的输出端为注意力机制模块的输出端。

4.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计的计算方法，其特征在于，所述步骤S2中将原始单目彩色图像尺寸裁剪为1226×370×3，其中1226为图片宽度，370为图片高度，3为通道数。