[发明专利]基于RGB-D图像视觉显著性的物品定位方法与系统

权利要求书

1.一种基于RGB-D图像视觉显著性的物品定位方法，其特征在于，包括以下步骤：

步骤一、由相机获取操作台场景的RGB-D图像；

步骤二、基于RGB-D图像计算视觉显著图，即RGB-D图像显著图；

步骤三、基于视觉显著图进行物品定位，提供机械臂物品操作信息；

其中，步骤二中还包括将所述RGB-D图像进行视觉显著性检测，计算得到视觉显著图，如公式(1)所示：

其中，P(z_S|I_RGB-D)表示当前场景视觉显著性，即视觉显著图，定义为RGB-D图像像素是否显著的概率p(z_S|x_c,x_d)；I_RGB-D表示RGB-D图像；x_c和x_d分别表示RGB图像显著特征和Depth图像显著特征，采用CNN网络分别提取；p(z_S,x_c,x_d)表示联合概率分布，p(x_c,x_d)表示显著特征概率分布；可视化效果用温度图表示，显著值越大，颜色越暖色调，显著值越小，颜色越冷色调；

基于所述RGB-D图像显著图，进行显著目标位置估计，如公式(6)所示：

其中，O表示显著目标位置坐标，z_S表示显著目标的视觉显著性；p(O,z_s|I_RGB-D)表示显著目标和视觉显著性联合分布，p(I_RGB-D|O,z_s)表示目标坐标和视觉显著性给定下RGB-D图像显著图分布，p(O,z_s)表示目标与视觉显著性联合分布，p(I_RGB-D)表示RGB-D图像特征分布；

采用的机械手同时具有“吸”和“夹”两种操作功能；当场景复杂时，即物品堆叠在一起，存在严重遮挡的情况，则生成显著图为像素级分布，支持机械手“吸”操作；当场景提供目标检测矩形区域，基于显著图能够得到显著目标矩形区域，则支持机械手“夹”操作；

基于显著值设定操作停止阈值，根据视觉显著性值大小顺序依次驱动机械手操作，直到显著值低于阈值停止，并重新计算场景RGB-D图像视觉显著性。

2.根据权利要求1所述的方法，其特征在于，

当给定z_S时，O和I_RGB-D是条件独立的，则得到如公式(7)如下：

p(I_RGB-D|O,z_s)＝p(I_RGB-D|z_s)                (7)

当满足目标区域视觉显著性后验概率为显著目标约束条件时，基于图像特征分布不变的情况下，对公式(6)近似变换得到公式(8)如下：

p(O,z_s|I_RGB-D)∝p(z_s|I_RGB-D)L(O)C(O,z_s)(8)

其中，L(O)表示目标检测区域，C(O,z_s)表示约束条件，定义为如下形式：

其中，b_j表示检测目标区域，表示该区域为视觉显著的；L(O)采用目标检测算法Faster R-CNN算法基于RGB图像进行目标区域检测得到。

3.根据权利要求1所述的方法，其特征在于，

所述相机为Kinect相机。

4.一种采用权利要求1所述的基于RGB-D图像视觉显著性的物品定位方法的物品定位系统，其特征在于，包括：相机、机械臂、机械手和操作台，待抓取物品堆放在所述操作台上，所述机械臂为UR5机械臂，所述操作台为水平面板，系统初始化时，相机针对所述操作台进行校正，提供机械臂定位物品和机械手抓取物品的参考平面。