[发明专利]一种增强机器人抓取检测模型鲁棒性的训练方法

说明书

本发明公开了一种增强机器人抓取检测模型鲁棒性的训练方法，步骤S1、抓取检测网络模型构建：采用基于轻量级的VGG网络的Encoder‑Decoder模型；步骤S2、抓取检测网络模型的训练和测试：输入抓取的原始图像和随机选择的自然图像，然后将生成的样式图像用作抓取检测网络的输入进行训练；步骤S3、建立一个抓取检测现实干扰基准数据集，对改进后的抓取检测网络进行测试。其解决了现有机器人抓取模型在现实操纵背景下抓取成功率低下的不足。

【技术领域】

本发明属于计算机视觉与机器人领域，具体涉及一种增强机器人抓取检测模型鲁棒性的训练方法。

【背景技术】

伴随着信息技术与控制技术的发展，机器人不仅在在教育娱乐、医疗健康以及家庭服务等场景中有着极大的应用，并且在航空航天领域同样扮演了十分重要的角色，如空间遥操作机器人和玉兔号月球探测车。而抓取物体是机器人在完成这些任务所需要的众多功能中最关键的步骤，也是机器人与环境交互和完成复杂任务的基础。通过在机械臂末端安装各式操作夹具，机器人可实现对各种物体的抓取操作，为人类生活带来巨大帮助。

为实施目标抓取，抓取检测模型输入RGB信息和Depth信息，输出抓取点和相应的抓取向量，通过变换矩阵将像素坐标系中的抓取向量映射到机器人坐标系中，完成最终的抓取。然而，现有的基于神经网络的抓取检测方法主要是在相同分布的高质量干净数据进行性能训练并验证，即使在公共数据集中取得了很高的成功率，这些结果也很难说明该模型在现实中也具有很高的成功率。由于各种外部因素的干扰，在实际应用中难以避免数据分布的变化，如光照条件、环境温度、相机微抖动等，直接影响图像质量，导致抓取失败。即使这些干扰非常细微，它们也不会改变数据结构和语义信息，即使是人眼也很难察觉。但事实上，神经网络很容易受到这些数据变化的影响，同时很容易被人眼忽略，并且在很多情况下，会为错误的预测提供很高的置信度分数。同时，许多研究已经证明基于神经网络的视觉算法表现出对颜色和纹理的偏好。当输入图像中形状和纹理冲突时，卷积神经网络更倾向于使用颜色和纹理进行预测，而不是形状。这也是一些干扰只改变了图像的细微纹理，从而降低了抓取检测模型的性能的根本原因。

【发明内容】

本发明的目的是提供一种增强机器人抓取检测模型鲁棒性的训练方法，以解决现有机器人抓取模型在现实操纵背景下抓取成功率低下的不足。

本发明的技术方案是，一种增强机器人抓取检测模型鲁棒性的训练方法，包括以下内容：

步骤S1、抓取检测网络模型构建：采用基于轻量级的VGG网络的Encoder-Decoder模型；

步骤S2、抓取检测网络模型的训练和测试：输入抓取的原始图像和随机选择的自然图像，然后将生成的样式图像用作抓取检测网络的输入进行训练；

步骤S3、建立一个抓取检测现实干扰基准数据集，对改进后的抓取检测网络进行测试。

进一步的，步骤S1的具体内容为：

网络模型的结构包括编码器f、自适应实例规范化层AdaIN模块和解码器g，编码器f采用VGG网络Relu4_1层之前的浅层卷积结构；

在获得抓取图像c和自然图像s的编码信息后，使用AdaIN模块将抓取图像c和自然图像s这两种样式对齐；公式如下：

其中，σ是特征均值，μ是标准差，f(c)和f(s)分别表示抓取和自然的图像特征；

通过AdaIN模块，获得一个能对齐抓取图像和自然图像均值和方差的目标特征t:

t＝AdaIN(f(c),f(s)) (9)，

获得目标特征t后，通过解码器g来将编码的信息映射回到图像空间，得到一个模仿图像p: