[发明专利]一种结合智能视觉的工业机器人数字孪生系统及其运行方法

权利要求书

1.一种结合智能视觉的工业机器人数字孪生系统，其特征在于：包括物理层、信息层、虚拟层及连接层；物理层包括工业机器人、机器人控制设备与数据采集设备，物理层借助数据采集设备采集机器人的运行状态数据，并传输至信息层；信息层包含运行状态数据库、智能化分析模型与作业指令系统；虚拟层通过三维可视化引擎实现，包含机器人数字孪生模型与系统服务模块，利用信息层的数据对工业机器人进行三维状态映射并提供功能服务；连接层负责物理层与信息层之间、信息层与虚拟层之间的数据交互。

2.根据权利要求1所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：在所述物理层中，数据采集设备包括数据采集服务器、传感器和相机，负责实时采集机器人的运行状态数据，包括关节角度数据、末端执行器压力数据、运动速度数据、电机温度数据、工作场景图像。

3.根据权利要求1或2所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：在所述信息层中，作业指令系统包含运动学求解模块、轨迹规划模块和指令生成模块，用于生成控制指令控制工业机器人与机器人数字孪生模型运动；运行状态数据库基于关系型数据库构建，用于对系统中的数据进行组织、存储与管理；智能化分析模型包括智能视觉识别定位模型、故障检测模型与状态预测模型。

4.根据权利要求3所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：所述智能视觉识别定位模型利用基于深度学习的目标检测模型进行目标检测识别，并利用手眼关系进行目标定位，为作业指令系统及虚拟层提供目标的种类及位置信息；所述故障检测模型通过采集的运行状态数据与知识库相结合来建立；所述状态预测模型通过Tensorflow构建的深度学习模型提供支持。

5.根据权利要求1或2所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：所述机器人数字孪生模型包含三维数字化模型、运动模型与规则模型，可通过两种数据进行驱动，分别为作业指令系统的控制指令与采集的运行状态数据；所述系统服务模块包括多视角展示模块、数据可视化模块、人机交互模块、运动仿真模块与状态监控模块；所述三维引擎可适配PC端、移动端等多种硬件平台与软件系统。

6.根据权利要求4所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：所述机器人数字孪生模型包含三维数字化模型、运动模型与规则模型，可通过两种数据进行驱动，分别为作业指令系统的控制指令与采集的运行状态数据；所述系统服务模块包括多视角展示模块、数据可视化模块、人机交互模块、运动仿真模块与状态监控模块；所述三维引擎可适配PC端、移动端等多种硬件平台与软件系统。

7.根据权利要求1或2所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：所述连接层利用外部接口构建物理层与信息层之间的数据连接，利用消息中间件构建信息层与虚拟层之间的数据连接。

8.根据权利要求4所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：所述连接层利用外部接口构建物理层与信息层之间的数据连接，利用消息中间件构建信息层与虚拟层之间的数据连接。

9.根据权利要求6所述的一种结合智能视觉的工业机器人数字孪生系统，其特征在于：所述连接层利用外部接口构建物理层与信息层之间的数据连接，利用消息中间件构建信息层与虚拟层之间的数据连接。

10.一种结合智能视觉的工业机器人数字孪生系统的运行方法，包括所述工业机器人数字孪生系统，步骤如下：

301：利用PLC控制器接收作业指令系统的控制指令驱动机器人运动，PLC数据采集器通过传感器采集机器人的运行状态，并传输至运行状态数据库；

302：智能视觉识别定位模块利用相机采集的图像数据对目标进行识别定位，然后为作业指令系统提供目标的种类与位置数据产生控制指令发送给PLC控制器，故障检测模块与状态预测模块利用数据库中的数据对机器人进行故障检测与状态预测，并将结果保存到数据库；

303：数据库所在服务器通过RabbitMQ消息中间件将数据发送给Unity3D，驱动虚拟层实现三部分功能：一是当前传感器数据驱动机器人数字孪生模型运动实现对真实运行状态的实时监控，二是历史数据驱动机器人数字孪生模型运动实现对历史真实运行状态的查看，三是对状态数据进行显示；

304：作业指令系统通过RabbitMQ分别将作业指令系统的数据实时发送给Unity3D，驱动虚拟层实现三部分功能：一是控制指令驱动机器人数字孪生模型运动实现对工业机器人的运动仿真，二是控制指令同时驱动机器人与机器人数字孪生模型运动实现虚实同步运动，三是对运行状态数据进行显示；人机交互模块将人设置的指令数据发送给作业指令系统，进而控制工业机器人的运行。