[发明专利]基于深度相机的机器人自主识别智能抓取方法

权利要求书

1.基于深度相机的机器人自主识别智能抓取方法，其特征在于，包括：

步骤1：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩色图像，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓；

步骤2：基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3D工件轮廓并分别标记每一3D工件轮廓上各轮廓点的坐标；

步骤3：根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行抓取工作，实现机器人自主识别智能抓取；

所述步骤3中，根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取，包括：

接收操作人员输入的抓取指令；

解析所述抓取指令，确定所述工件放置区中的待抓取工件和对应的目标存放位置；

以所述机器人的当前位置为原点，分别获取所述原点与所述工件放置区上每一待抓取工件之间的第一向量以及每一待抓取工件与所述目标存放位置之间的第二向量；

以每一所述第一向量为抓取元素，建立抓取距离列表；

以每一所述第二向量为放置元素，建立放置距离列表；

以距离最小原则将所述抓取距离列表中的抓取元素与所述放置距离列表中的放置元素一一配对；

根据每一配对结果，建立对应的最短抓-放路径；

汇集全部所述最短抓-放路径，建立抓取路径，同时，生成相应抓取指令；

基于所述抓取指令，控制所述机器人进行抓取工作；

其中，控制所述机器人进行抓取工作的过程，包括：

增强所述3D工件轮廓的像素对比度，获取3D深度轮廓；

增强所述3D工件轮廓的色彩对比度，获取3D彩色轮廓；

获取所述3D深度轮廓上每一深度像素点的第一像素值与对应的八邻域范围内的深度邻域像素点的深度邻域像素值之间的差值，提取差值不为零的深度像素点并依次连接，标记为深度工件材料分割线；

同时，将所述第一像素值相同的深度像素点视为一类；

统计每一类深度像素点对应的数量，构建深度统计列表；

获取所述3D彩色轮廓上每一彩色像素点的第二像素值与对应的八邻域范围内的彩色邻域像素点的彩色邻域像素值之间的差值，提取差值不为零的彩色像素点并依次连接，标记为彩色工件材料分割线；

同时，将所述第二像素值相同的彩色像素点视为一类；

统计每一类彩色像素点对应的数量，构建彩色统计列表；

基于所述深度工件材料分割线，结合预设深度-材料对应关系，获取所述3D深度轮廓的材料组成，获取所述3D深度轮廓的第一重心点；

同时，基于所述深度统计列表预测所述3D深度轮廓的各个部分的质量，获取所述3D深度轮廓的第一体积；

基于所述彩色工件材料分割线，结合预设彩色-材料对应关系，获取所述3D彩色轮廓的材料组成，获取所述3D彩色轮廓的第二重心点；

同时，基于所述彩色统计列表预测所述3D彩色轮廓的各个部分的质量，获取所述3D彩色轮廓第二体积；

在所述3D深度轮廓上标记第一重心点；

在所述3D彩色轮廓上标记第二重心点；

将标记后的3D深度轮廓和3D彩色轮廓放置在同一预设坐标系中，分别获取所述第一重心点和第二重心点的坐标；

当所述第一重心点和第二重心点的坐标相同时，确定所述第一重心点与第二重心点属于同一点；

当所述第一重心点和所述第二重心点属于同一点时，将所述第一重心点视为所述3D工件轮廓的重心；

判断所述第一体积与所述第二体积是否一致；

若不是，建立所述3D深度轮廓与所述3D彩色轮廓的映射集；

基于所述映射集调整所述3D深度轮廓的深度像素点对应的第一像素值，以及调整所述3D彩色轮廓的彩色像素点对应的第二像素值；

将调节后的第一像素值和调节后的第二像素值进行相互适应训练，根据训练结果，将所述3D工件轮廓分割为若干子部分；

若第一重心点和第二重心点不在同一点，基于预设像素-材料列表获取每一子部分对应的材料为每一子部分填充相应的材料，再结合每一部分材料的重量，预测所述3D工件轮廓的重心；

基于所述3D工件轮廓的重心调节所述机器人的抓取施力点；

对所述3D工件轮廓进行二值化处理；

将处理后的所述3D工件轮廓分割为若干副子图像；

分别对每一子图像进行腐蚀处理，根据预设腐蚀-材料列表，为每一子图像匹配对应的工件材料，并为所述3D工件轮廓填充对应的工件材料；

判断填充后3D工件轮廓是否包含易碎材料；

若是，获取所述易碎材料在所述填充后3D工件轮廓上的材料位置，将所述材料位置作为所述机器人的抓取避让点；

根据材料-重量列表，计算所述填充后3D工件轮廓的重量，调节所述机器人的抓取力度；

基于所述机器人的所述抓取施力点、抓取避让点和抓取力度，控制所述机器人进行抓取工作。