[发明专利]一种目标检测方法、目标检测装置及机器人在审
申请号: | 202110775039.0 | 申请日: | 2021-07-08 |
公开(公告)号: | CN113627478A | 公开(公告)日: | 2021-11-09 |
发明(设计)人: | 刘业鹏;庞建新 | 申请(专利权)人: | 深圳市优必选科技股份有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06T7/73;G06N3/04;G06N3/08 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 肖遥 |
地址: | 518000 广东省深圳市南山区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 目标 检测 方法 装置 机器人 | ||
1.一种目标检测方法,其特征在于,包括:
获取环境彩色图及环境深度图;
对所述环境彩色图进行目标识别,得到目标的类别信息及二维位置信息;
基于所述二维位置信息,在环境点云图中提取出包含所述目标的视锥体,其中,所述环境点云图基于所述环境深度图及所述环境彩色图而生成;
基于已训练的神经网络及所述视锥体,提取得到所述目标的空间位置信息;
输出所述类别信息及所述空间位置信息。
2.如权利要求1所述的目标检测方法,其特征在于,所述基于所述二维位置信息,在环境点云图中提取出包含所述目标的视锥体,包括:
基于所述二维位置信息,在所述环境点云图中确定所述目标的映射点云;
通过预设的近平面及远平面,获取能够包含所述映射点云的预设数量个角点的视锥体。
3.如权利要求1所述的目标检测方法,其特征在于,所述基于已训练的神经网络及所述视锥体,提取得到所述目标的空间位置信息,包括:
通过已训练的点云分类网络对所述视锥体内的点云进行筛选,得到目标点云,所述目标点云为属于所述目标的点云;
通过已训练的点云回归网络提取出所述目标点云的三维包围框的空间位置信息。
4.如权利要求3所述的目标检测方法,其特征在于,所述通过已训练的点云分类网络对所述视锥体内的点云进行筛选,得到目标点云,包括:
将所述视锥体内的点云输入至所述已训练的点云分类网络中,得到所述视锥体内的点云中的各个点属于所述目标的概率;
将属于所述目标的概率大于预设概率阈值的所有点确定为所述目标点云。
5.如权利要求3所述的目标检测方法,其特征在于,所述通过已训练的点云回归网络提取出所述目标点云的三维包围框的空间位置信息,包括:
将所述目标点云输入至所述已训练的点云回归网络中,得到所述三维包围框的中心点的三维坐标、所述三维包围框的尺寸及所述三维包围框的朝向角度。
6.如权利要求3所述的目标检测方法,其特征在于,每个物体类别分别对应一个已训练的点云分类网络;在所述通过已训练的点云分类网络对所述视锥体内的点云进行筛选之前,所述目标检测方法还包括:
将与所述类别信息对应的已训练的点云分类网络确定为已训练的目标点云分类网络;
相应地,所述通过已训练的点云分类网络对所述视锥体内的点云进行筛选,得到目标点云,包括:
通过所述已训练的目标点云分类网络对所述视锥体内的点云进行筛选,得到所述目标点云。
7.如权利要求1至6任一项所述的目标检测方法,其特征在于,在所述基于已训练的神经网络及所述视锥体,提取得到所述目标的空间位置信息之前,所述目标检测方法还包括:
对所述视锥体内的点云进行坐标归一化处理;
相应地,所述基于已训练的神经网络及所述视锥体,提取得到所述目标的空间位置信息,包括:
基于所述已训练的神经网络及坐标归一化处理后的所述视锥体内的点云,提取得到所述目标的空间位置信息。
8.一种目标检测装置,其特征在于,包括:
获取模块,用于获取环境彩色图及环境深度图;
识别模块,用于对所述环境彩色图进行目标识别,得到目标的类别信息及二维位置信息;
第一提取模块,用于基于所述二维位置信息,在环境点云图中提取出包含所述目标的视锥体,其中,所述环境点云图基于所述环境深度图及所述环境彩色图而生成;
第二提取模块,用于基于已训练的神经网络及所述视锥体,提取得到所述目标的空间位置信息;
输出模块,用于输出所述类别信息及所述空间位置信息。
9.一种机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市优必选科技股份有限公司,未经深圳市优必选科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110775039.0/1.html,转载请声明来源钻瓜专利网。