[发明专利]一种基于单目视觉导引的移动机器人智能抓取方法

权利要求书

1.一种基于单目视觉导引的移动机器人智能抓取方法，其特征在于，该方法包括以下步骤：

步骤S1：将目标放置在操作平台上，串联结构的机器人固定安装在移动平台上，视觉系统通过硬性连接装置固定在移动平台上；

步骤S2：粗略定位阶段，移动平台通过内置的视觉导航模块，移动到操作平台附近，使得视觉系统能采集到目标的图像，视觉系统可以随着移动平台移动而移动，大大提高了其视觉感知范围，

步骤S3：精确抓取阶段，机器人精确抓取目标阶段分解成目标图像检测、目标特征提取、目标位姿测量、目标跟踪和目标抓取等过程，

步骤S4：目标图像检测，搭建了基于单个深层神经网络的目标检测网络，该目标检测网络的主干特征提取网络采用了VGG-16，能很好地提取目标图像的特征；其次，目标检测网络采用卷积将不同的特征图进行提取检测结果，即回归和分类，提高了检测网络对不同尺度目标的检测精度；目标检测网络引入了注意力残差结构，由此提高了目标检测网络对高层次语义特征的检测精度，

目标检测网络训练：目标检测网络训练的目标，即网络的损失函数定义如下

其中，x＝{0,1}表示预测框指示器，l表示预测框，g表示目标真实框，c为目标分类的置信度，L_conf(x,c)为置信度损失函数(类别损失函数),L_loc(x,l,g)为定位损失函数(回归损失函数),N表示候选预测框的个数，α为可调参数，用于调整两种损失函数的比例，

回归损失函数L_loc(x,l,g)采用典型的smooth L1损失，

其中，k表示目标检测网络对于每个候选预测框输出结果，即预测框的中心坐标和宽、高(cx,cy,cw，ch)，i表示预测框的编号，j表示真实框编号，时表示预测框i与真实框j匹配，时表示预测框i与真实框j不匹配，Pos表示正样本的预测框的组合，表示第i个预测框的输出结果,表示第j个真实框的结果，

类别损失函数L_conf(x,c)定义如下

其中，Neg表示负样本的预测框的组合，p代表类别号，p＝0的表示预测框输出为背景，表示第i个预测框匹配到了第j个真实框，并且真实框的类别为p，表示第i个预测框对应类别p的预测概率，的计算使用了softmax完成概率归一化操作，

注意力残差结构：搭建的注意力残差结构包含两个主要分支：主干分支Γ_i,c(x)和掩膜分支Η_i,c(x)，主干分支主要负责提取图像特征，掩膜分支主要生成不同特征的注意力信息，即分配权重，

Ψ_i,c(x)＝(1+Η_i,c(x))·Γ_i,c(x) (4)

其中，Γ_i,c(x)类似于残差函数，包含了由主干特征提取网络提取的特征，Η_i,c(x)根据提取到的特征自适应的改变权重，

步骤S5：目标特征提取，给定目标图像，经过目标检测网络，输出为包含目标的矩形目标框，以该目标框为目标的感兴趣区域，进行目标特征提取，本文的目标特征选取为目标的边缘特征，设计了基于边缘模板的特征提取方法，具体包含以下步骤：基元模板创建、目标边缘检测、感兴趣特征计算，

基元模板创建：考虑到直线和角点为典型的边缘特征的基元元素，我们定义直线基元模板和角点基元模板，

目标边缘直线基元模板定义如下：

au+bv+1＝0 (5)

其中，(a,b)为直线基元的图像空间参数，(u,v)为图像空间的直线基元模板像素点坐标，

目标角点基元模板通过两条直线相交求解，其定义如下：

其中，(a_i,b_i)为第i条直线基元的参数，(a_j,b_j)为第j条直线基元的参数，这两条直线都可以基于边缘直线基元模板得到，

目标边缘检测：首先，根据目标颜色和背景颜色的差异，利用颜色特征对目标边缘进行粗略提取；然后，结合形态学操作对图像噪声进行滤波，并去除纹理背景；最后，采用霍夫变换计算出目标的边缘直线，

利用颜色空间变换公式，将图像从RGB颜色空间转化到HSV颜色空间，

假设通过颜色粗略提取和颜色空间变换之后得到的目标图像为X，利用开运算用来平滑物体轮廓，断开较窄的狭颈，并消除细小的突出物，

其中，Y表示开运算后的图像，A为开运算算子，Θ表示腐蚀操作，⊕表示膨胀操作，

利用闭运算弥合较窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的中的断裂，

其中，Z表示开运算后的图像，即为得到的精确提取到目标边缘的图像，

利用霍夫变换的直线检测原理，对提取到的目标边缘点进行直线拟合，并计算边缘直线特征，

感兴趣特征计算：本文感兴趣的特征为目标的角点特征，根据霍夫直线检测，可以提取到目标的直线边缘，然后利用(6)，可以得到目标图像角点特征，对于给定的矩形目标，我们可以提取到4条边缘直线和4个角点特征，

步骤S6：目标位姿测量，提取到的目标上的4个角点特征，基于如下多点透视成像原理可以估算出目标在视觉系统坐标系的位姿^cT_t

其中，M_c表示视觉系统的内参数矩阵，可以通过标定得到，i＝1,2,3,4表示角点的标号，Z_ci表示目标上第i个角点在视觉系统坐标系的深度，(u_i,v_i)表示第i个角点的图像坐标，(^tX_i^tY_i^tZ_i)表示角点在目标坐标系的物理坐标，以矩形目标的中心为参考对象，则角点的物理坐标可以根据目标的尺寸解算出，

目标在机器人坐标系的位姿^rT_t求解如下

^rT_t＝^rT_c·^cT_t (10)

其中，^rT_c为视觉系统在机器人坐标系的外参数矩阵，该矩阵可以通过外参数标定得到，

步骤S7：目标跟踪，在机器人抓取目标的过程中，移动平台一直处于运动状态，这使得机器人的末端机械手相对于目标存在相对运动，将目标的位姿转换到机器人坐标系后，设计基于位置的视觉伺服控制器，来调整机械手的运动，使得机械手跟踪上目标，基于位置视觉伺服的目标跟踪控制器的具体推导如下：

定义目标跟踪器的误差e

e＝s-s* (11)

其中，s＝[s_p s_θ]^T表示状态量，包含三维空间位置和姿态，位置向量表示为s_p＝[s_px s_pys_pz]，姿态角向量表示为^rθ_g＝[^rθ_gx^rθ_gy^rθ_gz]，s^*表示期望的状态量，

机械手在目标坐标系的位置和姿态矩阵^tT_g表示如下

其中，^tR_g表示姿态矩阵，^tp_g表示位置向量，^tT_r＝^rT_t^-1表示机器人在目标坐标系的位姿矩阵，^rT_g表示机械手在机器人坐标系的位姿矩阵，可以直接从机器人控制器端获取，

考虑到目标跟踪的目的是抓取目标，理想的状态s^*选定为目标坐标系上方固定位置，即则状态量s＝[^tp_g^tp_θ]^T，^tp_g表示机械手在目标坐标系的位置，^tp_θ表示机械手在目标坐标系的姿态，可以通过姿态矩阵^tR_g得到，

假设机械手的运动速度为ν_g，ν_g＝[ν_gt v_gr]^T，ν_gt∈R^3×1表示平移速度，v_gr∈R^3×1表示旋转速度，则机械手的运动速度与状态量的变化之间的关系为：

其中，L_e为交互矩阵，

则误差对时间的导数为

为了使机械手快速跟踪上目标，设计误差的变化满足将其带入到(15)，可以推导出机械手的运动速度为

其中，λ0为调整系数，

因此，在目标跟踪阶段，机械手的运动速度按照(16)控制，可以实现目标跟踪，

步骤S8：目标抓取，首先定义目标跟踪完成时，机械手的速度为ν′_g＝[ν′_gt v′_gr]^T，在目标抓取中，从视觉系统获取得最新图像到机械手进行抓取运动，中间存在延时，设该延时为t_s，考虑机械手闭合也需要时间，设机械手闭合时间为t_c，另外，为了实现稳定抓取，需要进一步调整机械手，设位置偏移量为△p_o，姿态偏移量为△θ_o，则在目标抓取中，机械手的位置和姿态总的调整量为