[发明专利]基于场景坐标回归网络的视觉重定位方法、系统、装置

说明书

本发明属于服务机器人技术领域，具体涉及一种基于场景坐标回归网络的视觉重定位方法、系统、装置，旨在解决基于场景坐标回归网络的视觉重定位方法难以适应大的相机视角变化的问题。本发明方法包括：获取服务机器人周围环境的原始彩色图像；构建第一坐标图、第二坐标图及距离图；通过特征提取得到源特征图；对源特征图进行特征变换；将变换后的特征图与源特征图相加，并通过回归器回归得到3D坐标图和不确定性图；获取2D像素坐标图，并基于不确定性图对3D坐标图和2D像素坐标图进行过滤；通过PnP算法获取服务机器人的位姿，实现服务机器人的视觉重定位。本发明提高了基于场景坐标回归网络的视觉重定位方法对大的相机视角变化的鲁棒性。

技术领域

本发明属于服务机器人技术领域，具体涉及一种基于场景坐标回归网络的视觉重定位方法、系统、装置。

背景技术

近年来，随着人工智能、传感技术、计算处理等技术的迅猛发展，服务机器人也朝着智能化方向发展，其中，机器人定位是完成任务的前提，这就需要机器人通过自身携带的传感器(例如视觉传感器即相机)确定自己的当前位置。对于基于视觉的机器人定位来说，在机器人运动过程中，有时会出现定位失败的情况，此时，可以根据事先构建好的环境地图和相机在当前时刻获取的图像信息对机器人进行重新定位(即视觉重定位)。为了保障机器人任务执行的质量，视觉重定位方法受到普遍关注。视觉重定位一般分为三类：基于特征匹配的方法、基于场景坐标回归的方法和直接位姿回归方法。基于特征匹配的方法通过特征点提取和描述、特征匹配来获得特征点像素坐标和场景中3D点的2D-3D对应关系，再通过PnP算法求解出机器人位姿；但是该方法主要适合特征较为丰富的环境，在特征较少的弱纹理区域或者特征区分性较弱的重复纹理区域效果较差。基于场景坐标回归的方法利用随机森林或者神经网络直接逐像素回归出稠密的3D坐标，从而获得2D-3D匹配对，然后通过PnP算法求解机器人位姿，该类方法避免了特征点提取和描述这一过程，在中小规模环境下可以实现较高的重定位精度。直接位姿回归方法通过神经网络直接回归出当前时刻采集图像所对应的位姿，由于没有显式利用摄影几何知识，该类方法获得的重定位精度较低。

近年来随着卷积神经网络(CNN)的发展，基于场景坐标回归的方法逐渐采用卷积神经网络逐像素回归出稠密的3D坐标，此称之为基于场景坐标回归网络的视觉重定位。卷积神经网络通常采用卷积层和非线性激活函数(例如ELU、ReLU等激活函数)的结构，由于卷积层采用固定的卷积核结构，这使得卷积特征对于大的相机视角变化引起的图像变换不具有内在的不变性，为此，现有的场景坐标回归网络通常使用数据增强加以缓解，但是数据增强方案不能完全模拟现实环境下的图像变换。如何设计一种对大的相机视角变化具有较好鲁棒性的场景坐标回归网络，进而提升视觉重定位的质量仍有待于进一步研究。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有基于场景坐标回归网络的视觉重定位方法难以适应大的相机视角变化的问题，本发明提出一种基于场景坐标回归网络的视觉重定位方法，包括以下步骤：

步骤S100，服务机器人通过相机获取周围环境的原始彩色图像；

步骤S200，基于所述原始彩色图像，构建三个维度为H×W×1的张量，对第一个张量中(n,m,0)位置处的值用m填充，构成第一坐标图；对第二个张量中(n,m,0)位置处的值用n填充，构成第二坐标图；对第三个张量中(n,m,0)位置处的值用该位置与坐标原点的欧式距离进行填充，构成距离图；其中，n＝0,1,…,H-1，m＝0,1,…,W-1，H和W分别为原始彩色图像的高度和宽度；

步骤S300，将原始彩色图像与构建的第一坐标图、第二坐标图以及距离图拼接起来，并送入场景坐标回归网络的特征提取器进行特征提取，得到源特征图；

步骤S400，通过所述场景坐标回归网络的特征变换器对所述源特征图进行特征变换，得到变换后的特征图；