[发明专利]一种面向智能系统复杂任务的虚拟仿真系统

权利要求书

1.一种面向智能系统复杂任务的虚拟仿真系统，包括机器人操作模块，虚拟渲染模块，用户交互模块，完成对机器人及智能系统的协同仿真；

所述的机器人操作模块采用Ubuntu操作系统进行开发，通过ROS连接真实机器人系统，并将采集到的机器人信息数据发布到ROS网络中，进而送往虚拟渲染模块，进行协同渲染用于机器人的仿真与监督；所述机器人操作模块集成实体机器人对应的机器人运动学、运动控制器、机器人逆运动学，对实体机器人进行操纵与监控；

所述虚拟渲染模块基于开源渲染引擎osg及osgEarth进行开发，通过Socket通信从ROS网络中订阅机器人操作模块采集到的机器人信息数据，并与GIS数据进行信息融合，采用动态缓存处理机制进行管理，以动态、实时加载大量地形，进而搭建虚拟世界场景，用可视化手段将融合的信息映射到虚拟世界中进行可视化显示；所述虚拟渲染模块将3D-GIS宏观地球模型与局部区域仿真场景有机结合，在宏观地球模型渲染中，支持使用卫星云图、高程图、矢量地图的海量数据加载；在局部区域仿真中，支持导入Solidworks、3DMAX建模软件所构建的三维模型，支持通过脚本控制机器人运行，也支持通过ROS用真实数据操控；

所述用户交互模块基于外设接口进行开发，一方面通过接口SDK从虚拟渲染模块中获取可视化显示的融合信息，将虚拟世界投影到外设中，令用户身临其境地体验虚拟世界场景；另一方面通过接口SDK从虚拟驾驶系统获取用户操作信息，通过物理仿真模型运算得到所操纵移动机器人的位姿信息，送往虚拟渲染模块进行信息融合；

所述的协同渲染用于机器人的仿真与监督，利用全状态向量对机器人每一帧的位姿、关节数据进行描述与传输，而后通过构建tf变换树求解虚拟仿真系统中机器人模型各模块的位姿描述矩阵，从而加快真实机器人运行数据传输速率，减少传输数据的冗余；

所述的外设接口包括虚拟现实眼镜接口、增强现实眼镜接口、虚拟驾驶系统接口；虚拟现实眼镜使用HTCVive，增强现实眼镜使用微软HoloLens，虚拟驾驶系统使用罗技方向盘及踏板；

所述虚拟世界投影涉及的外设为虚拟现实眼镜或增强现实眼镜；

当与虚拟驾驶系统连接时，借助开源驱动，从USB接口读取方向盘、手动挡、油门、刹车、离合设备的状态数据，通过对实体机器人及虚拟机器人的数学模型进行计算，得出机器人当前时刻应有的速度数据，实现虚拟驾驶与远程驾驶；当与虚拟现实眼镜连接时，直接将融合的信息映射到虚拟世界中，眼镜坐标系与虚拟相机坐标系相重叠，并增加虚拟从属相机进行双目帧渲染；当与增强现实眼镜连接时，通过WIFI将虚拟世界场景传递到眼镜中，借助眼镜自带视觉SLAM定位技术，将虚拟世界场景投影到现实场景中特定区域，实现虚实融合。