[发明专利]一种基于RGBD深度相机的墙面特征分析系统

权利要求书

1.一种基于RGBD深度相机的墙面特征分析系统，包括：施工区域和墙面类别确认模块、异物识别模块和墙面施工智能机器人，其特征在于：

所述施工区域和墙面类别确认模块用于确认墙面施工区域范围和所属类别，并发送确认结果至墙面施工智能机器人；

所述异物识别模块用于识别施工区域的异物特征，将识别到的异物特征发送给墙面施工智能机器人；

所述墙面施工智能机器人由深度相机、控制模块和施工模块组成，深度相机用于获取墙面图像信息，将获取的墙面图像信息分别发送至施工区域和墙面类别确认模块和异物识别模块；控制模块用于接收的施工区域和墙面类别确认结果和识别到的异物特征，并根据施工区域和墙面类别确认结果和识别到的异物特征控制施工模块移动，以完成施工区域的施工作业。

2.根据权利要求1所述的一种基于RGBD深度相机的墙面特征分析系统，其特征在于：所述施工区域和墙面类别确认模块中施工区域范围按照如下步骤进行确认：

a1、调节施工模块、深度相机和墙面之间的位置关系，以避免深度相机采集到地面或天花板的深度信息；

a2、利用深度相机获取墙面图像信息，墙面图像信息包括深度图像信息和RGB图像信息；

a3、为了提高算法的运算速度，对a2得到的深度图像进行网格采样，得到一系列深度图像上的采样点，各采样点均包含有图像坐标下的纵横坐标和对应的深度值信息；

a4、利用深度相机的内参，将a3得到的深度图像上的采样点转换为相机坐标系下的点后，使用RANSAC算法进行墙面拟合，得到墙面平面方程；

a5、根据预设拟合精度判断a4得到的墙面平面方程是否符合要求，若符合则进入a6，若不符合则移动工模块后返回a1，直至得到的墙面平面方程满足预设拟合精度或达到拟合次数上限为止；针对达到拟合次数上限情况，说明墙面整体情况较差，需要手动设定墙面施工区域上下界限；

a6、抓取底部深度图像，利用a5得到的墙面平面方程，对深度相机视野范围内的深度值点进行检测；若在深度图像中同一行不满足a5所得平面方程的深度值点大于或等于预设个数，则认为该墙面底端在深度相机视野范围内，即可以此确定出墙面底端位置；

a7、抓取顶部深度图像，采用与确定墙面底端位置相同的方法确定出施工区域的顶端位置；

a8、根据a6确定的施工区域底端位置、a7确定的施工区域顶端位置确定出施工区域。

3.根据权利要求1所述的一种基于RGBD深度相机的墙面特征分析系统，其特征在于：所述施工区域和墙面类别识别模块中所述墙面类别拟采用深度学习网络模型确认。

4.根据权利要求1所述的一种基于RGBD深度相机的墙面特征分析系统，其特征在于：所述墙面异物识别模块按照如下步骤识别异物特征：

b1、根据获取的RGB图像中的明度信息和异物轮廓信息，判断施工区域是否存在建筑挂网，若为是直接发送控制模块；若为否则进入b2对异物种类进行判断；

b2、异物种类进行判断过程为：

b2.1、对深度相机获取的施工区域深度图像，采用形态学运算去掉连通域长度或高度小于预设值的连通域的区域，以去除施工区域中的纹理干扰；

b2.2、在b2.1的基础上，采用边缘提取算法提取出异物的轮廓特征；

b2.3、判断b2.2提取的轮廓特征中是否存在超过预设阈值的连通域，若存在超过预设阈值的连通域，说明该轮廓特征为异物轮廓，则根据该异物轮廓信息，识别出异物种类、计算出施工模块与异物之间的垂直距离，一同发送至控制模块；若不存在超过预设阈值的连通域，说明无异物，则无需进行操作。