[发明专利]一种结合语义分割的单目移动机器人路径规划的方法在审
申请号: | 202210541546.2 | 申请日: | 2022-05-17 |
公开(公告)号: | CN114935764A | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 黄沛楠;李嘉伦;沈昕云;何建平;张桂潮;张梓栋 | 申请(专利权)人: | 上海交通大学;福龙马集团股份有限公司 |
主分类号: | G01S17/86 | 分类号: | G01S17/86;G01S17/88;G06V20/70;G06V10/82;G06N3/04;G06N3/08;H04N5/225 |
代理公司: | 上海旭诚知识产权代理有限公司 31220 | 代理人: | 郑立 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 结合 语义 分割 移动 机器人 路径 规划 方法 | ||
1.一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述方法包括训练阶段和部署阶段,在训练阶段基于二维激光雷达和单目相机,自动标注语义分割网络的训练数据,在图像中将环境划分为可行驶区域和不可行驶区域;在部署阶段,通过所述语义分割网络获得关键障碍点的位置,将所述关键障碍点变换到世界坐标系下,并利用距离信息建立概率占用栅格地图。
2.如权利要求2所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述方法包括以下步骤:
步骤A:所述语义分割网络训练,移动机器人利用二维激光雷达和单目相机,采集同步的点云与图像数据,根据坐标变换关系自动标注所述可行驶区域和所述不可行驶区域,利用标签数据训练语义分割网络;
步骤B:障碍点信息获取,移动机器人仅使用单目相机,利用所述语义分割网络分割相机图像,基于单孔相机模型和高度约束将所述可行驶区域边界的障碍点映射到机器人坐标系下,得到障碍相对机器人的空间坐标;
步骤C:路径规划,移动机器人根据障碍坐标确定优化变量的约束,基于二次优化的方式规划求解最优路径。
3.如权利要求2所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤A中,移动机器人配备有二维激光雷达传感器和单目摄像头,激光雷达在采集数据前进行水平校准,在环境中,机器人基于一定的策略运动,采集时间对齐后的图像数据和激光点云数据;
对相机进行标定,并通过畸变校正消除图像中的径向畸变和切向畸变,利用激光点云数据获得障碍点相对机器人的坐标,并基于激光雷达位姿计算障碍和地面交接处的坐标,基于针孔相机模型,可利用变换公式得到图像坐标系下的障碍点坐标;
将映射到图像坐标系下的障碍点像素,以及该点同一列上方所有的像素点标注为所述不可行驶区域,由于激光传感器和图像分辨率之间的差异,在图像上标注的点可能不连续,因此逐列扫描,利用模式匹配判断某列是否为障碍间隔列,并利用多项式插值补全至连续。
4.如权利要求3所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤A中,模型采用经典的语义分割网络,采用自动标注好的数据进行训练,训练后的网络能够在纯基于单目相机的条件下,将空间中所述可行驶区域边界的像素点分割出来,作为障碍信息供之后的路径规划使用。
5.如权利要求4所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤B中,移动机器人配备单目相机,去除二维激光雷达传感器,利用语义分割网络分割单目相机的图像,得到所述可行驶区域和所述不可行驶区域交界处的障碍点像素,将障碍点映射到机器人空间坐标系下。
6.如权利要求5所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤B中,定位模块得到机器人自身位姿的估计,根据机器人当前位姿和障碍点相对机器人的空间坐标,将障碍点转换为世界坐标系下的空间坐标。
7.如权利要求6所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤B中,针对语义分割得到的障碍点可能存在的噪声和不准确问题,维护一个离散化的全局概率占用栅格地图,每次得到障碍点位置数据即更新概率值,更新增量大小和距离有关,设置为和距离成反比,当概率占用超过一定阈值后认为语义分割得到的障碍点是有效的。
8.如权利要求7所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤C中,生成全局规划路径,对路径点平滑后作为参考线,后续的路径优化在Frenet坐标系下进行。
9.如权利要求8所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤C中,为建立与求解优化问题,需确定上下约束的边界,提出一种路径搜索的方法首先得到一条粗糙路径,再判断某障碍点是作为约束上界还是约束下界,转化为凸优化问题,路径的代价函数考虑平滑性、危险性和贴近参考线,从每个粗糙路径点开始向上下分别膨胀搜索,得到上下约束。
10.如权利要求9所述的一种结合语义分割的单目移动机器人路径规划的方法,其特征在于,所述步骤C中,在此基础上进行路径规划,设置合适的权重以满足对贴近参考线和路径平滑性的要求,迭代数值求解优化问题,得到规划路径,最后将路径转换至世界坐标系下,规划的路径将提供给控制模块,进行轨迹追踪。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学;福龙马集团股份有限公司,未经上海交通大学;福龙马集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210541546.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种粮食温湿度监测系统及其控制方法
- 下一篇:空调室内机及空调器