[发明专利]基于Kinect的空间遥操作机器人的控制系统及其方法

说明书

技术领域

本发明涉及远程遥操作机器人控制技术领域，特别是涉及一种利用Kinect实现三维环境建模，并克服时延带来的影响的遥操作机器人控制技术。

背景技术

以主、从操纵机器人为核心的临场感遥操作系统可以在人难以靠近的高温、高压、强辐射、窒息等极限环境下进行复杂的操纵作业。借助于遥操作系统提供力觉、视觉临场感以及虚拟现实场景，可以使操作者真实地感觉到机器人与被操作物体的动态相互作用。而且，国内外专家学者们普遍认为临场感作业中的虚拟现实技术是解决遥操作中大时延问题的唯一有效途径。

在遥操作系统中，操纵者的操纵质量与对“从环境”信息获取能力密切相关。近几年，虚拟现实（Virtual Reality，简称VR）技术在遥操作中得到广泛应用，VR是利用计算机生成一种逼真的视、听、力、触和动等的感觉的虚拟环境，通过各种传感设备使操作者“沉浸”到该环境中，实现操作者和环境进行自然交互，从而有效的完成遥控作业任务。而获取信息的方式最有效的方式之一是直接获取场景的三维空间信息。

微软公司的自然交互设备Kinect，可以实时捕捉和构建实物的3D数据。

发明内容

发明目的：针对遥操作机器人时延带来的操作不适感，增强操作的临场感，本发明提供了一种基于Kinect的空间遥操作机器人的控制系统及其方法。

技术方案：基于Kinect的空间遥操作机器人的控制系统，包括客户端和服务端，客户端和服务端通过网络连接；所述客户端包括手控器、控制计算机、显示器，所述控制计算机连接手控器和显示器；所述服务端包括机械臂、图像采集模块、远程控制计算机、机器人控制箱，所述远程控制计算机连接图像采集模块和机器人控制箱；所述机器人控制箱连接机械臂；其中，所述图像采集模块包括Kinect三维传感器、工业摄像头。

基于Kinect的空间遥操作机器人的控制方法，包括如下步骤：操作者在本地端控制手控器进行运动，本地控制计算机接收手控器的位姿信息，通过网络把控制信号发送给远程控制计算机；

远程控制计算机把接收到的信号进行解算，进而把控制信号传送给机器人控制箱，机器人控制箱把信号传送给机械臂使得机械臂进行运动，同时远端的工业摄像头和Kinect三维传感器对机械臂的运动和机械臂所在的场景进行图像采集，并进行三维场景的重建；

机械臂也把运动信息反馈给机器人控制箱和远程控制计算机，计算机控制箱对机械臂的运动进行解算传给远程控制计算机；

远程控制计算机把接收到的所有信息进行压缩打包并通过网络传送回本地控制计算机，本地控制计算机接收远程计算机的反馈信息，在屏幕上实现一个仿真的建模平台。

所述三维场景的重建包括本地虚拟机械臂模型、本地虚拟场景模型、本地虚拟合成界面模型的构建；

所述本地虚拟机械臂模型构建方法是，控制信号传递给远程的机械臂时存在时延T1，远程的机械臂在接受到信号做出动作改变了状态之后的姿态信息传递回去存在时延T2；姿态信息和本地的虚拟模型的状态存在T1+T2的时延的误差，虚拟出一个时延T3=T1+T2进行补偿，然后两者的在时延相等的情况下的数据计算出误差，并加上T3后对当前的虚拟机械臂进行修正，使当前的模型更加接近现场的机械臂；

所述本地虚拟场景构建模型方法是，Kinect三维传感器采集回来的虚拟图像传递到本地控制计算机存在时延T，虚拟一个时延T'=T进行补偿，然后两者的在时延相等的情况下计算出误差，并加上T后对当前的虚拟场景模型进行修正使当前的模型更加接近现场的场景；

所述本地虚拟合成界面模型的构建方法是，把所述本地虚拟机械臂和所述本地虚拟场景合成并配合模型碰撞的算法构造一个供操作者观察并判断的虚拟现实的画面。

所述对本地虚拟机械臂进行修正的方法是，对机械臂进行运动学建模，获取末端位置，即采用D-H矩阵的方法，在机械臂的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系。

本发明采用上述技术方案，具有以下有益效果：使用时延反馈补偿的方式明显改善时延带来的操作不适感，使用Kinect采集并建立的三维场景则加强了操作时的临场感，能直观地观察出机械臂和场景相对位置关系，有利于完成相对较复杂的工作，提高了遥操作的安全性，使作业效果大大增强。本发明能够应用于在地面精确实时地遥控制太空中的机械臂完成舱内生物实验和化学实验等一系列的科学实验，工具箱和按键的简单操作，漂浮物的清理以及卫星的修理等工作。

附图说明

图1为本发明实施例的整体控制框图；