[发明专利]一种基于视觉的触觉传感器的数字孪生方法及装置

权利要求书

1.一种基于视觉的触觉传感器的数字孪生方法，其特征在于，包括：

在仿真中，利用基于视觉的触觉传感器获取仿真触觉图像组成仿真数据集；

在真实环境中，利用所述触觉传感器获取真实触觉图像组成真实数据集；

利用所述仿真数据集和所述真实数据集训练循环对抗生成网络，所述循环对抗生成网络包含一个从仿真域到现实域迁移的生成器子网络和一个从现实域到仿真域进行迁移的生成器子网络，利用训练完毕的两个所述生成器子网络以实现所述触觉传感器的数字孪生；

其中，所述利用基于视觉的触觉传感器获取仿真触觉图像采用Phong光照模型方法，包括：

1)在仿真中，令基于视觉的触觉传感器接触任一物体；

获取变形后所述触觉传感器的传感表面相对于所述触觉传感器的相机成像平面的表面高度场H(x,y)，其中x与y分别为相机的像素x轴坐标与y轴坐标；

2)根据步骤1)获取的表面高度场H(x,y)，求得表面梯度场计算相机视野里任意一个像素点(x_p,y_p)的局部表面法向量：

其中，为表面高度场x轴方向的梯度，为表面高度场y轴方向的梯度；x_p、y_p分别是相机视野里任一个像素点的x轴坐标与y轴坐标；表示在点(x_p,y_p)处的取值，表示在点(x_p,y_p)处的取值；

3)计算相机视野里各像素点的RGB强度，以获得一张仿真触觉图像；

所述仿真触觉图像中，任一像素点(x_p,y_p)的RGB强度计算表达式如下：

其中，I_sim(x_p,y_p)为仿真触觉图像中点(x_p,y_p)的RGB强度值，L代表所述触觉传感器的光源的集合；L_m为光源m发出的光线方向；i_a是环境光强度；i_m,d与i_m,s分别是光源m发出的散射光强度与镜面反射光强度；k_a、k_d、k_s及α是与反射表面相关的参数；

R_m(x_p,y_p)是(x_p,y_p)处光源m的理想镜面反射光线的方向，R_m(x_p,y_p)＝2(L_m·N(x_p,y_p))N(x_p,y_p)-L_m；V是相机光轴的方向。

2.根据权利要求1所述的方法，其特征在于，所述循环对抗生成网络包含两对生成对抗网络，每对生成对抗网络包括一个生成器子网络和一个鉴别器子网络；所述生成器子网络结构相同，所述鉴别器子网络结构相同；

训练时，所述生成器子网络的输入、输出为相同尺寸与通道数的图像，其中，所述从仿真域到现实域迁移的生成器子网络用于对输入的所述仿真数据集的任一图像进行重建以迁移到现实域中，所述从现实域到仿真域迁移的生成器子网络用于对输入的所述真实数据集的任一图像进行重建以迁移到仿真域中；

所述从仿真域到现实域迁移的生成器子网络对应的鉴别器子网络的输入为所述从仿真域到现实域迁移的生成器子网络输出的图像或所述真实数据集的任一图像，输出为输入图像属于所述真实数据集图像的置信度；

所述从现实域到仿真域迁移的生成器子网络对应的鉴别器子网络的输入为所述从现实域到仿真域迁移的生成器子网络输出的图像或所述仿真数据集的任一图像，输出为输入图像属于所述仿真数据集图像的置信度。

3.根据权利要求1所述的方法，其特征在于，所述利用基于视觉的触觉传感器获取仿真触觉图像，还包括：

在仿真中，改变被接触物体的种类或位置，重复步骤1)-3)以获得对应的仿真触觉图像，将所有仿真触觉图像组成仿真数据集。