[发明专利]一种基于TSDF三维重建的机械臂六自由度视觉闭环抓取方法

说明书

本发明涉及基于TSDF三维重建的机械臂六自由度视觉闭环抓取方法。包括如下步骤：步骤一：通过张正友相机标定法和ArUco Markers标定法标定机械臂底座坐标系和相机坐标系；步骤二：利用TSDF函数对获取的图像信息进行三维场景重建，以减少物体与物体之间的环境噪声点；步骤三：建立强化学习网络模型；步骤四：将预测的末端执行器抓取姿态反向投影至三维重建场景中，判断本次预测抓取质量；步骤五：通过机器人正逆运动学完成机械臂抓取移动；步骤六：进行强化学习模型训练，使得机械臂完成抓取动作；本发明克服现有技术的缺点，提出一种易实现、适用性高的，基于TSDF三维重建的机械臂六自由度视觉闭环抓取系统，此系统减少物体间遮挡、堆叠造成的环境噪声，降低了单一视觉传感器干扰导致的深度误差。此外，该系统在保证高精度的同时，可以实现快速实时的目标检测并完成抓取动作。

技术领域

本发明属于一种非结构环境下的机械臂六自由度抓取物体技术，具体机器人抓取控制领域。

背景技术

目标抓取一直是机器人学重要的问题，但始终没有令人满意地相应解决方案。得益于机器臂的多功能操纵系统，使其能够在三维空间内灵活控制具有高自由度的末端执行器，实现对于物体的灵巧抓取以及对环境变化的动态响应能力。最近，随着深度学习和强化学习的快速发展和相应体系的构建，为机械臂智能抓取方式提供了多方面的可行思路。

尽管机械臂6自由度抓取控制具有较高的实用价值适用于更复杂的操作环境，但是目前多数数据驱动抓取算法仅在简单的桌面设置中进行自上而下的抓取(4Dof：x，y，z，yaw)，或利用物理分析来掌握合适的抓取姿态。然而由于受限制于三维移动抓取，算法对于应用场景的限制很大，机械臂末端执行器只能从垂直往下的方向接近物体，在某些情况下，它不能沿着这个方向抓取物体。例如，夹持器很难抓手很难抓住水平放置的盘子。此外这些基于物理分析的方法不仅需要计算大量的实验环境数据，并且需要计算估计精确的目标模型，从而产生的必然是大量的时间和计算成本，而对于非结构化目标物体的物理模型往往是不通用的，因此大多算法很难直接应用于新颖物体的抓取，系统的鲁棒性和泛化性较差。

由此，机械臂6自由度(6-DOF)抓取想法被提出。虽然，Hongzhuo Liang提出的PointnetGPD采用采样-评估的两步法，通过评估大量的样本以确定可靠的抓取姿态。但是，这种方法无疑是相当耗时的。(Hongzhuo Liang et al.“Pointnetgpd:Detecting graspconfigurations from point sets”.In:2019International Conference on Roboticsand Automation(ICRA).IEEE.2019,pp.3629–3635)。Florence等人从现有的抓取姿态中进行姿态转移。但是该算法对于数据集中未记录的目标对象和物体几何形状时，其成功率就会相对较为低下，故此不能推广到新的应用场景。(Peter Florence,Lucas Manuelli,andRuss Tedrake.“Dense Object Nets:Learning Dense Visual Object Descriptors Byand For Robotic Manipulation”.In:Conference on Robot Learning(CoRL)(2018))。最近，从RGBD相机获取的部分视图中重建了点云场景，然后使用设计的Pointnet++网络模型提取物体特征后，直接完成6Dof抓取姿势回归并在重建的点云场景上进行抓取规划。(P.Ni,W.Zhang,X.Zhu,and Q.Cao,“Learning an end-to-end spatial graspgeneration and refinement algorithm from simulation,”Machine Vision andApplications,vol.32,no.1,pp.1–12,2021.)。

发明内容

本发明克服现有技术的缺点，提出一种易实现、适用性高的机械臂六自由度抓取方法。本发明设计了特征提取网络和Policy Gradient强化学习框架，可以实现对于训练数据集中未记录物体的定位和六自由度计划抓取。