[发明专利]基于混合现实的机器人加工模拟系统

权利要求书

1.基于混合现实的机器人加工模拟系统，其特征在于包括：

混联机器人，在所述的混联机器人的末端安装有真实刀具，所述混联机器人用于执行由计算机输入的待验证的真实刀具的加工轨迹，且在真实刀具按照待验证的加工轨迹进行切削过程中，混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机；

相机，所述相机用于实时采集混联机器人按照待验证的加工轨迹进行切削过程中混联机器人末端图像，然后将混联机器人末端图像输出给计算机；

计算机，所述计算机用于接受混联机器人控制器输入的真实刀具振动信息并通过远程通讯模块输出给信息显示模块中的UI面板显示模块，以及实时接收相机输入的混联机器人末端图像，将混联机器人末端图像输出到安装在计算机上的刀具定位模块，所述的刀具定位模块包括物体识别模块和位姿估计模块，所述的物体识别模块用于读取相机输出的混联机器人末端图像并通过机器学习算法实现对机器人末端图像中真实刀具的检测，将图像中检测出的真实刀具采用矩形窗口框选，对框选的区域使用特征提取算法进行真实刀具关键点特征提取；所述的位姿估计模块用于将提取的真实刀具关键点特征输入位姿求解器对真实刀具位姿进行求解,然后将求解得的真实刀具位姿输入滤波算法中进行稳定处理，将稳定后的真实刀具位姿通过相机坐标系{T_b}相对于机器人末端坐标系{T_a}的齐次变换矩阵变换后得到真实刀具在相机坐标系{T_b}下的位姿，将真实刀具在相机坐标系{T_b}下的位姿和齐次变换矩阵输出到远程通讯模块；

混合现实设备，在所述的混合现实设备中安装有铣削模拟模块、信息显示模块和指令接收和输出模块；铣削模拟模块包括虚实配合模块和加工铣削模块，在所述的加工铣削模块中设置有通过Unity开发得到的虚拟刀具与虚拟工件，所述虚实配合模块用于读取位姿估计模块通过远程通讯模块传输的机器人末端的真实刀具的位姿和齐次变换矩阵并读取由空间锚定模块输入的相机坐标系{T_b}相对于混合现实坐标系{T_c}的齐次变换矩阵根据等式解出机器人末端坐标系{T_a}相对于建立在混合现实设备位置处的混合现实坐标系的转换关系将在机器人末端坐标系{T_a}下的真实刀具位姿通过坐标系转化得到真实刀具在混合现实坐标系{T_c}下的位姿，由工件坐标系{T_d}相对于混合现实坐标系{T_c}齐次变换矩阵结合等式解出机器人末端的真实刀具在工件坐标系{T_d}下的位置，虚拟工件放置在混合现实设备中工件坐标系{T_d}下设定位置，由真实刀具位置和虚拟工件位置可解出真实刀具与虚拟工件在工件坐标系下的位姿关系并输出给加工铣削模块；

所述的指令接收和输出模块，用于接收人机交互模块输入的启停指令并输出给混联机器人的控制器，如果输入的启停指令为开始执行，则所述的控制器将由计算机输入的待验证的真实刀具的加工轨迹处理成混联机器人可识别的控制指令，驱动混联机器人执行待验证的真实刀具的加工轨迹；

所述的加工铣削模块，用于读取真实刀具与虚拟工件在工件坐标系{T_d}下的位姿，然后将真实刀具在工件坐标系{T_d}下的位姿实时赋给虚拟刀具，使得真实刀具与虚拟刀具在混合现实设备中位置重合，混联机器人在接收指令接收和输出模块输出的启动信号后，混联机器人的真实刀具和混合现实设备中的虚拟刀具共同按照待验证的真实刀具的加工轨迹运动，其中，虚拟刀具和虚拟工件进行切削碰撞求交运算，碰撞发生时去除虚拟工件上与虚拟刀具相交部分，将切削后的虚拟工件的渲染物体信息实时输出给信息显示模块中的视觉渲染模块，切削过程中混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机；所述虚拟刀具与机器人末端真实刀具大小相等，形状相同，所述虚拟工件与待加工的真实工件大小相等，形状相同；

所述信息显示模块包括三维重建模块、空间锚定模块、视觉渲染模块和UI面板显示模块，所述UI面板显示模块中设置有通过Unity开发得到的虚拟UI面板，所述三维重建模块用于读取混合现实设备周围环境的分散点云信息，通过对分散点云信息进行点云融合处理完成对混合现实设备周围环境的三维重建，得到整体环境点云信息，将整体环境点云信息输出到空间锚定模块；

所述空间锚定模块用于读取三维重建模块输入的整体环境点云信息，经过SLAM算法处理获得相机坐标系{T_b}相对于混合现实坐标系{T_c}的齐次变换矩阵将输出到铣削模拟模块中的虚实配合模块；

所述视觉渲染模块用于读取加工铣削模块输入的渲染物体信息，通过混合现实设备自带的视觉算法渲染，将虚拟工件投影到混合现实设备的镜片上，操作人员通过混合现实设备观察虚拟工件在切削过程中的效果，即可验证真实刀具加工轨迹是否正确；

所述UI面板显示模块用于接受计算机通过远程通讯模块输入的振动信息和刀具定位模块输入的真实刀具位姿信息，将真实刀具振动信息以及真实刀具位姿信息显示在虚拟UI面板上，操作人员能够通过观测虚拟UI面板上的真实刀具振动信息判断加工轨迹是否需要进行优化；

所述人机交互模块，用于接收混合现实设备上传感器采集的人的手势、语音数据并对数据进行语义分割处理转换后，将启停指令输出给混合现实设备的指令接收和输出模块。