[发明专利]一种基于视觉的触觉传感器的数字孪生方法及装置

说明书

本公开提出一种基于视觉的触觉传感器的数字孪生方法及装置，属于传感器技术领域。其中所述方法包括：在仿真中，利用基于视觉的触觉传感器获取仿真触觉图像组成仿真数据集；在真实环境中，利用所述触觉传感器获取真实触觉图像组成真实数据集；利用所述仿真数据集和所述真实数据集训练循环对抗生成网络，所述循环对抗生成网络包含一个从仿真域到现实域迁移的生成器子网络和一个从现实域到仿真域进行迁移的生成器子网络，利用训练完毕的所述生成器子网络以实现所述触觉传感器的数字孪生。本公开无需精确配对的数据，可实现适用于基于视觉的触觉传感器的仿真到现实的双向迁移，具有很高的应用价值。

技术领域

本公开属于传感器技术领域，具体涉及一种基于视觉的触觉传感器的数字孪生方法及装置。

背景技术

基于视觉的触觉传感器是一类新兴的触觉传感器，具有成本低、分辨率高、耐受电磁干扰等特点，有望大规模应用于机器人操作中。一种现有的基于视觉的触觉传感器的工作原理图如图1所示，该传感器主要包括：透明弹性体、支撑板、光源(通常为发光二极管，图1中为两组发光二极管LED1和LED2，而实际上的常用做法是采用三组LED，分别为红、绿、蓝三色)以及相机组成，各组件间有刚性连接以保证其相对位置关系。其中，透明弹性体表面喷涂了反射涂料作为传感表面。当传感表面接触物体时，弹性体发生变形，反射涂层在经由发光二极管发出的不同颜色的光照下产生对应该物体的触觉图像，经相机记录后可求解触觉相关信息。

数字孪生技术是一类重要的信息化技术，其充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射。应用数字孪生技术，可以构建真实传感器的仿真模型，在安全的仿真环境中训练机器人的触觉操作策略，避免传感器等硬件的损坏，提高效率、节约成本。

然而，基于视觉的触觉传感器具有光照条件复杂、表面反射性质非理想等特点，难以确定所需的仿真参数，导致进行数字孪生时存在一定的困难(常被称作“仿真-现实差距”)。现有的基于视觉的触觉传感器的仿真方法往往需要大量的准确配对的“仿真-现实”数据对，导致数据采集和处理过程繁琐，代价高。

发明内容

本公开的目的是克服目前针对基于视觉的触觉传感器仿真方法需要大量准确配对数据的不足，提出一种基于视觉的触觉传感器的数字孪生方法及装置。本公开无需精确配对的数据，可实现适用于基于视觉的触觉传感器的仿真到现实的双向迁移，具有很高的应用价值。

本公开第一方面实施例提出一种基于视觉的触觉传感器的数字孪生方法，包括：

在仿真中，利用基于视觉的触觉传感器获取仿真触觉图像组成仿真数据集；

在真实环境中，利用所述触觉传感器获取真实触觉图像组成真实数据集；

利用所述仿真数据集和所述真实数据集训练循环对抗生成网络，所述循环对抗生成网络包含一个从仿真域到现实域迁移的生成器子网络和一个从现实域到仿真域进行迁移的生成器子网络，利用训练完毕的所述生成器子网络以实现所述触觉传感器的数字孪生。

在本公开的一个具体实施例中，所述利用基于视觉的触觉传感器获取仿真触觉图像采用Phong光照模型方法，包括：

1)在仿真中，令基于视觉的触觉传感器接触任一物体；

获取变形后所述触觉传感器的传感表面相对于所述触觉传感器的相机成像平面的表面高度场H(x,y)，其中x与y分别为相机的像素x轴坐标与y轴坐标；

2)根据步骤1)获取的表面高度场H(x,y)，求得表面梯度场计算相机视野里任意一个像素点(x_p,y_p)的局部表面法向量：