[发明专利]一种具有空间协同感知的数据中心增强巡检系统及方法

权利要求书

1.一种具有空间协同感知的数据中心增强巡检系统，其特征在于：包括巡检机器人、增强现实设备、高清双目相机以及无线传感器网络；其中巡检机器人实时显示机器人当前的方位和运动状态，并通过采集现场环境中的异响、异味数据，进行分析和异常报警，其具体可分为运动导航系统、检测系统、控制系统、通讯系统共四部分，为数据中心提供载体；高清双目相机固定于巡检机器人系统上，用于实现巡检过程中3D视频流的获取，并通过无线传感器网络进行实时传输；所述的增强现实设备，基于巡检机器人在现场环境下的位姿，驱动巡检过程中数据中心设备对应的虚拟模型进行漫游，并结合高清双目相机获取的数据中心物理设备图像，将该虚拟模型信息叠加于真实图像中，形成增强巡检智能可视化；

所述的增强巡检系统，通过离线构建数据中心设备的三维数据化模型，利用增强现实设备，将数据中心设备对应的虚拟三维模型加载并显示在增强现实设备中，该模型可根据增强现实设备在空间的实时位姿估计，实现虚拟场景中视点的漫游；

其中，所述的巡检机器人的检测系统，利用机器人本体上自带的工业相机，获取数据中心设备上的指示灯、仪表盘可视化信息，并基于卷积神经网络模型对不同指示灯的颜色进行分类训练，并有效识别相应的指针、表盘设备数据，将检测系统识别后的结果在时间和空间维度下，将无结构化的图像数据转化为相应的结构化语义数据；

所述的巡检机器人与增强现实设备之间的一种形态是：增强现实设备和巡检机器人固定连接在一起，其相互间的位姿关系为^RobotT_AR,在巡检过程中增强现实设备和巡检机器人间的位姿保持不变，其检测方法如下：

巡检机器人根据其在数据中心物理现场的已构建2D栅格地图，利用激光传感器实时获取的数据进行自主定位，进而得到其在现场物理坐标系下的位姿^WT_Robot，则可获取增强现实设备在现场巡检过程中的位姿^WT_AR：

^WT_AR＝^WT_Robot^RobotT_AR

增强现实设备获得的可增强巡检结果以及数据中心的虚拟模型叠加在现场全局坐标系中，使巡检机器人能“看到”增强可视化的巡检现场；

将巡检中数据中心设备指示灯状态、表盘数值、异味、异响信息，根据其在巡检过程中出现的时间和空间维度，赋予到相应机柜数据虚拟模型上；使得在数据中心的每巡检一次，即可得到一份具有空间巡检语义识别的结构化地图；

在上述获取结构化地图基础上，利用双目高清相机实时获取的物理场景信息，以巡检机器人运动过程中高精度自主定位结果为依托，构建巡检过程中的增强现实设备与巡检机器人间的协同定位系统，将虚拟增强信息叠加在巡检机器人采集到的物理图像中，使得佩戴增强现实设备的人员直观了解巡检数据中心物理设备的运行状态。

2.一种具有空间协同感知的数据中心增强巡检系统，其特征在于：包括巡检机器人、增强现实设备、高清双目相机以及无线传感器网络；其中巡检机器人实时显示机器人当前的方位和运动状态，并通过采集现场环境中的异响、异味数据，进行分析和异常报警，其具体可分为运动导航系统、检测系统、控制系统、通讯系统共四部分，为数据中心提供载体；高清双目相机固定于巡检机器人系统上，用于实现巡检过程中3D视频流的获取，并通过无线传感器网络进行实时传输；所述的增强现实设备，基于巡检机器人在现场环境下的位姿，驱动巡检过程中数据中心设备对应的虚拟模型进行漫游，并结合高清双目相机获取的数据中心物理设备图像，将该虚拟模型信息叠加于真实图像中，形成增强巡检智能可视化；

所述的增强巡检系统，通过离线构建数据中心设备的三维数据化模型，利用增强现实设备，将数据中心设备对应的虚拟三维模型加载并显示在增强现实设备中，该模型可根据增强现实设备在空间的实时位姿估计，实现虚拟场景中视点的漫游；

其中，所述的巡检机器人的检测系统，利用机器人本体上自带的工业相机，获取数据中心设备上的指示灯、仪表盘可视化信息，并基于卷积神经网络模型对不同指示灯的颜色进行分类训练，并有效识别相应的指针、表盘设备数据，将检测系统识别后的结果在时间和空间维度下，将无结构化的图像数据转化为相应的结构化语义数据；

所述的巡检机器人与增强现实设备之间的一种形态是：增强现实设备和巡检机器人在三维空间内可彼此自由移动，并在巡检机器人上粘贴一个先验人工标识；

通过增强现实设备端相机获取的图像信息，进行图像分割和特征点提取，解算得到当前增强现实设备相对巡检机器人坐标系的位姿，实现增强现实设备与巡检机器人间位姿的初始标定^RobotT_AR0，并将当前时刻增强现实设备对应的坐标系定义为现场全局坐标系；

然后巡检机器人可根据其在数据中心物理现场的已构建2D栅格地图，利用激光传感器实时获取的数据进行自主定位，进而得到其在现场物理坐标系下的位姿^WT_Robot；

同时，增强现实设备端根据其在作业现场的实时位姿估计能力，得到其在初始标定坐标系下位姿^AR0T_AR，进而可获取动态巡检工况下巡检机器人相对于增强现实设备间的位姿关系：

^WT_AR＝^WT_Robot^RobotT_AR0^AR0T_AR；

由此，管理人员可通过佩戴增强现实设备，以可视化形式观察巡检机器人当前的巡检状态及后续巡检计划；

增强现实设备与巡检机器人的实时联动，驱动数据中心设备虚拟三维模型在增强现实设备上的实时漫游，并结合巡检机器人检测系统实时获取的结构化检测信息，构建巡检过程中的语义检测地图；

将巡检中数据中心设备指示灯状态、表盘数值、异味、异响信息，根据其在巡检过程中出现的时间和空间维度，赋予到相应机柜数据虚拟模型上；使得在数据中心的每巡检一次，即可得到一份具有空间巡检语义识别的结构化地图；

在上述获取结构化地图基础上，利用双目高清相机实时获取的物理场景信息，以巡检机器人运动过程中高精度自主定位结果为依托，构建巡检过程中的增强现实设备与巡检机器人间的协同定位系统，将虚拟增强信息叠加在巡检机器人采集到的物理图像中，使得佩戴增强现实设备的人员直观了解巡检数据中心物理设备的运行状态。