[发明专利]基于场景坐标回归网络的视觉重定位方法、系统、装置

权利要求书

1.一种基于场景坐标回归网络的视觉重定位方法，其特征在于，该方法包括：

步骤S100，服务机器人通过相机获取周围环境的原始彩色图像；

步骤S200，基于所述原始彩色图像，构建三个维度为H×W×1的张量，对第一个张量中(n,m,0)位置处的值用m填充，构成第一坐标图；对第二个张量中(n,m,0)位置处的值用n填充，构成第二坐标图；对第三个张量中(n,m,0)位置处的值用该位置与坐标原点的欧式距离进行填充，构成距离图；其中，n＝0,1,…,H-1，m＝0,1,…,W-1，H和W分别为原始彩色图像的高度和宽度；

步骤S300，将原始彩色图像与构建的第一坐标图、第二坐标图以及距离图拼接起来，并送入场景坐标回归网络的特征提取器进行特征提取，得到源特征图；

步骤S400，通过所述场景坐标回归网络的特征变换器对所述源特征图进行特征变换，得到变换后的特征图；

步骤S500，将变换后的特征图与源特征图相加，作为最终的特征图，最终的特征图送入所述场景坐标回归网络的回归器进行回归，得到3D坐标图和不确定性图；所述不确定性图的每一个元素反映了该元素在3D坐标图中对应的3D坐标的不确定度；

步骤S600，对原始彩色图像对应的第一坐标图、第二坐标图进行8倍下采样，分别得到第三坐标图和第四坐标图；对第三坐标图和第四坐标图进行拼接，作为2D像素坐标图；基于所述不确定性图，对3D坐标图和2D像素坐标图分别进行过滤处理，得到3D坐标集合和2D像素坐标集合；

步骤S700，基于所述3D坐标集合和对应的2D像素坐标集合，通过PnP算法获取服务机器人的位姿，从而实现服务机器人的视觉重定位。

2.根据权利要求1所述的基于场景坐标回归网络的视觉重定位方法，其特征在于，所述特征提取器基于八个依次连接的卷积层构建；其中，各卷积层均采用3×3的卷积核和ReLU激活函数，步长分别为(1,1)、(2,2)、(2,2)、(1,1)、(2,2)、(1,1)、(1,1)和(1,1)，输出维度分别为H×W×64、和其中符号为向上取整符号。

3.根据权利要求1所述的基于场景坐标回归网络的视觉重定位方法，其特征在于，所述特征变换器包括三个卷积操作、四个维度变换操作、一个矩阵乘法操作和一个加权求和操作。

4.根据权利要求3所述的基于场景坐标回归网络的视觉重定位方法，其特征在于，“通过所述场景坐标回归网络的特征变换器对所述源特征图进行特征变换”，其方法为：

将源特征图经过特征变换器的第一卷积操作和第二卷积操作分别处理后得到第一关键特征图K和第一查询特征图Q；

K和Q分别通过第一维度变换操作和第二维度变换操作得到第二关键特征图K’和第二查询特征图Q’；

对Q’和K’进行矩阵乘法操作，得到第一动态卷积核Ker’；

Ker’通过第三维度变换操作得到第二动态卷积核Ker；

以Ker为第三卷积操作的动态卷积核，对源特征图进行卷积操作处理，得到注意力参数矩阵A；

A经过softmax归一化后获得归一化后的注意力参数矩阵A_norm；

对于源特征图的每个空间位置(i,j)，取以(i,j)为中心的a×a大小的局部块N_a(i，j)，并从A_norm中获得(i,j)对应的局部注意力参数矩阵A_norm(i，j)进而将A_norm(i，j)经过第四维度变换操作得到维度为a×a的局部注意力块P_(i，j)；其中，a为第二预设常数；

通过将N_a(i，j)与P_(i，j)进行加权求和操作，获得(i,j)位置处的变换后的特征，所有变换后的特征构成变换后的特征图。

5.根据权利要求1所述的基于场景坐标回归网络的视觉重定位方法，其特征在于，所述回归器基于三个依次连接的卷积层构建；其中，三个依次连接的卷积层均采用1×1的卷积核，步长均为(1,1)，输出维度分别为h×w×4096、h×w×4096、h×w×4，且前两个卷积层采用ReLU激活函数，其中h、w分别表示源特征图的高度和宽度，