[发明专利]一种基于时序触觉数据处理的物体抓取方法

权利要求书

1.一种基于时序触觉数据处理的物体抓取方法，其特征在于，包括以下步骤：

S1、根据物体的位置信息获取最优抓取区域；

S2、当机械手运行到所述最优抓取区域时，主控制计算机生成控制指令，控制机械手以预设的力闭合并停留多个触觉传感器采集周期，停留期间通过触觉传感器采集物体的触觉数据，所述触觉数据包含机械手对物体施加的力的大小和方向信息；

S3、将每个采集周期的触觉数据转化为触觉图像，再将按时间排列的触觉图像进行时间维度上的叠加，得到叠加图像；

S4、以所述叠加图像作为初始的网络输入，利用预先训练好的力的跟踪运动网络，进行循环传递，预测出未来时序的若干帧触觉图像；

S5、将所述若干帧触觉图像构成的帧序列输入至预先训练好的LSTM分类网络中进行分类，输出表征本次抓取是否为稳定抓取的分类结果；

S6、若所述分类结果显示本次抓取为稳抓取，则主控制计算机控制机械手进行抓取；反之，则主控制计算机控制机械手松开物体，本次抓取任务结束。

2.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，步骤S1中通过直接指定物体的摆放位置来获得所述最优抓取区域。

3.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，步骤S1中通过视觉方式获取所述最优抓取区域，具体包括：

利用3D深度相机获取物体的图像信息；

根据物体的图像信息筛选出满足力封闭条件的可行抓取区域；

再将满足力封闭条件的可行抓取区域输入多层感知机，筛选出所述最优抓取区域。

4.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，所述力的跟踪运动网络包括：由输入端至输出端依次连接的第一卷积层、若干串联的ConvLSTM模块、第二卷积层、下采样层和第三卷积层；其中，所述ConvLSTM模块用于根据当前图像帧传播的时空特征预测下一帧中每个像素的期望值；在网络末端将第三卷积层的输出、第一卷积层的输出和网络输入三者进行叠加后作为输出的预测图像，并作为新的网络输入进行所述循环传递。

5.如权利要求4所述的基于时序触觉数据处理的物体抓取方法，其特征在于，在输入序列T＝{N[1],N[2],…,N[N_n]}的情况下，通过所述力的跟踪运动网络进行预测后输出的预测序列为：

T'＝{N'[N_n+1],N'[N_n+2],…,N'[N_n+N_m]}＝f(T,θ_v)

其中，输入序列T包含N_n帧按时间排列的触觉图像N[1]～N[N_n]，预测序列包含预测的未来N_m帧触觉图像N'[N_n+1]～N'[N_n+N_m]，f(T,θ_v)表示力的跟踪运动网络的变换函数，θ_v代表力的跟踪运动网络的学习参数。

6.如权利要求5所述的基于时序触觉数据处理的物体抓取方法，其特征在于，对所述力的跟踪运动网络进行训练时所使用的损失函数为地面真实图像与预测图像之间差值的L2-范数，具体形式如下：

其中，T[N_n+k]表示地面真实图像的序列，长度为N_n+k。

7.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，所述LSTM分类网络包括由输入端至输出端依次连接的向量化特征层、LSTM网络、全连接层和Softmax函数层。

8.如权利要求7所述的基于时序触觉数据处理的物体抓取方法，其特征在于，对所述LSTM分类网络进行训练时，为防止过拟合，在所述LSTM网络的输出端增加两个丢弃率为0.5的Dropout正则化层。