[发明专利]一种融合激光雷达与深度相机的机器人无人划线方法

权利要求书

1.一种融合激光雷达与深度相机的机器人无人划线方法，其特征在于：包括道路路况检测方法和划线辨别纠偏方法，其中道路路况检测方法包括以下步骤：

步骤1.1、初始化无人划线机器人的激光雷达和前置深度相机；

步骤1.2、根据激光雷达获取三维点云图像，根据前置深度相机获取二维深度图像；

步骤1.3、判断是否能够分别根据三维点云图像和深度图像识别道路边缘，若能够识别道路边缘，则进行步骤1.4，否则返回步骤1.2；

步骤1.4、根据三维点云图像计算道路Z轴方向距离信息，根据二维深度图像计算道路X轴和Y轴方向位置信息；

步骤1.4.1、图像预处理；

步骤1.4.2、预处理图像迭代Hough变换；

步骤1.4.3、检测道路变换；

步骤1.4.4、获取像素点坐标；

步骤1.4.5、标定实际坐标；

步骤1.4.6、在深度图像的每个单元格中提取相应的角度α和β，通过激光雷达校准数据的垂直光束倾角最大值和最小值来提取二维深度图像的每个单元格中应的角度α和β，并通过基于二维深度图像的高度值创建值的线性空间；

步骤1.4.7、提取顶部激光雷达传感器的外部校准矩阵，经过外部校准矩阵校正方位之后的激光雷达数据将计算点云各点的（X,Y,Z）坐标；

步骤1.4.8、将传感器坐标系变换为划线机器人的车辆坐标系，进而获取了路况方向Z轴信息，同时根据不同路况进行车辆行进路线的规划，利用现有开源控制训练集进行实现；

其中（X,Y）坐标获取工作具体工作如下：

首先通过对通过相机采集到的道路图像采用加权平均法得到符合图像处理规范的灰度图，然后采用中值滤波算法对图像进行平滑滤波，减少图像在传输或者转换的过程中所产生的噪声并更好的保留图像中的边缘轮廓；同时以图像的灰度直方图为基础利用对图像进行基于直方图均衡化的图像增强算法对道路图像进行图像增强，提高图像中有用信息的提取效率，最后通过Otsu算法对图像进行分割阈值，从而实现对道路图像的预处理；

之后通过优化Canny检测算法在区域内基于区域生长算法对整个图像遍历得到标线特征区域，通过Harris角点检测对图像中基准线的像素点进行检测；获取图像的实际（X,Y）坐标信息；

而利用激光雷达所获取的Z轴方向信息通过如下方式进行获取：

激光雷达采集数据时逆时针旋转，采用浮点数二进制文件保存；保存了激光点(X,Y,Z)坐标和反射率R信息，每一帧平均12万个激光点；其中Z轴方向数据通过外部变换矩阵进行变换即可获取Z轴道路路况信息，而(X,Y)坐标信息将用于与道路图像信息进行匹配，最终获得（X,Y,Z）数组所代表的道路三维路况数据；

步骤1.5、根据计算得到的道路Z轴方向距离信息和道路X轴和Y轴方向位置信息重构道路三维路况；

步骤1.6、根据道路三维路况规划设备行进的路线；

在图像中利用道路基准线的特征像素点聚类算法对像素点进行搜寻和检测，并对检测的像素点进行聚类点的感知编组，提取道路基准线并基于Hough直线变化算法对道路基准线进行检测从而确定基准线的偏移方向和准确的偏移角度，通过利用Hough变换算法对已获取像素点坐标进行处理实现对道路基准线的拟合，并对基准线的偏转角度进行判断以实现道路划线机器人自动控制，设计道路划线机器人的硬、软件控制系统并通过单片机接收信号，以PWM脉冲调制的方式控制道路划线机器人的驱动电机、转动电机实现道路划线机器人的行进和精准转向，将相关的数据、参数、位置坐标等进行采集和存储，同时对误差等进行监测；

步骤1.7、将行进的路线转化为报文格式发送至控制设备转向与驱动系统，并且等待下一帧的获取三维点云图像信号和获取二维深度图像的信号，返回步骤1.2；

划线辨别纠偏方法包括以下步骤：

步骤2.1、初始化后置深度相机；

步骤2.2、根据后置深度相机获取二维深度图像；

步骤2.3、根据二维深度图像检测划线长度与直线度信息；

步骤2.3.1、图像预处理；

步骤2.3.2、预处理图像迭代Hough变换；

步骤2.3.3、检测划线轮廓；

步骤2.3.4、获取像素点坐标；

步骤2.3.5、标定实际坐标；

步骤2.4、判断划线长度和设定阈值长度的关系，若划线长度大于或等于设定阈值长度，则进行步骤2.5，否则返回步骤2.3；判断直线度和设定阈值的容差，若直线度大于或等于设定阈值的容差，则进行步骤2.5，否则返回步骤2.3；

步骤2.5、将生成制驱动电机和转向电机的PWM信号转化为报文格式，

步骤2.6、根据报文格式的信号控制给料口开关并且控制涂料方向转向修正，并且等待下一帧的获取二维深度图像的信号，返回步骤2.1。