[发明专利]基于虚拟现实的机器人远程示教系统

权利要求书

1.一种基于虚拟现实的机器人远程示教系统，其特征在于，包括云端服务器、近端设备和远端设备；

所述近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；所述第一图像采集模块，用于采集所述示教控制手柄和头戴式显示器的图像信息，并将所采集的图像信息发送至云端服务器；所述示教控制手柄，用于产生机器人执行预设任务的示教动作；所述头戴式显示器，用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像；

所述远端设备包括第二图像采集模块和机器人；所述第二图像采集模块，用于采集所述机器人及其作业现场的图像信息，并将所采集的图像信息发送至云端服务器；所述机器人，用于依据云端服务器下发的所述近端设备中示教控制手柄的位姿数据执行预设任务；

所述云端服务器包括示教操作方式切换模块；

所述示教操作方式切换模块，配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式；当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制；

其中：

所述普通示教操作方式为控制所述示教控制手柄进行一次空间运动，并将所形成的示教轨迹作为机器人执行预设任务的运动轨迹；

所述学习示教操作方式为控制所述示教控制手柄进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。

2.根据权利要求1所述的系统，其特征在于，所述云端服务器还包括：

位姿解算模块，配置为依据近端设备中第一图像采集模块所采集的图像信息，获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据；

数据处理模块，配置为对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的位姿数据发送至机器人；

三维重建模块，配置为依据远端设备中第二图像采集模块所采集的图像信息，构建机器人及其作业现场的三维空间场景图像。

3.根据权利要求1所述的系统，其特征在于，所述云端服务器还包括模拟仿真模块；所述模拟仿真模块，配置为执行学习示教操作，所述学习示教操作包含下述过程：

设定深度强化学习算法的动作、状态和奖赏参数；

构建深度卷积神经网络；

采用模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过所述模拟仿真模块对所述学习训练后的神经网络进行验证，获取执行示教任务的成功率，当所述成功率大于或等于阈值时结束学习训练过程；

依据所采集的机器人作业现场的图像信息和所述学习训练后的深度卷积神经网络，确定执行预设任务的最优动作；

其中：

所述动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心处的运动指令，且所有动作构成动作集；所述状态为远端设备中第二图像采集模块所采集的包含机器人在内的作业现场的图像信息；所述奖赏参数为各状态对应的奖赏值；

所述的模拟仿真模块包括仿真模拟器；所述仿真模拟器，配置为学习示教操作，学习示教前，在仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件；学习示教过程中采用仿真模拟器代替真实机器人及其作业现场对深度卷积神经网络进行学习训练。

4.根据权利要求3所述的系统，其特征在于，所述模拟仿真模块，还配置为在确定执行预设任务的最优动作之前执行下述操作：

依据安装于机器人手臂末端的彩色深度相机，判断机器人的运动轨迹上是否存在障碍物：

当机器人的运动轨迹上存在障碍物时，依据所述障碍物的空间位置，将可使机器人从当前位置移动到障碍物的动作从动作集中删除，再从剩余动作集中选取执行预设任务的最优动作。