[发明专利]端-边-云协同框架下的机器人知识图谱生成系统及方法

权利要求书

1.一种端-边-云协同框架下的机器人知识图谱生成系统，其特征在于，包括：终端、边缘端、云端以及通信模块；其中，终端包括多个智能机器人，每个智能机器人搭载进行图像采集的设备；边缘端包括多个边缘服务器，每个边缘服务器连接对应的智能机器人，每个边缘服务器和每个智能机器人分别连接云端；终端、边缘端和云端分别连接通信模块；

所述终端中每个智能机器人用于采集场景真实图像或视频数据，并将所采集图像或视频数据发送给通信模块供对应的边缘端的边缘服务器获取以进行场景图谱的计算任务；每个机智能器人同时从通信模块获取对应的边缘服务器发送的场景图谱计算结果，向云端发送请求并接收云端发送的知识图谱计算结果；

所述边缘端的各边缘服务器从云端获取训练完毕的深度学习模型及运行该模型的环境的虚拟化容器镜像文件，在本地构建运行环境；同时各边缘服务器从通讯模块获取对应的终端的智能机器人发送的场景真实图像或视频数据作为深度学习模型输入，运行深度学习模型执行场景图谱生成计算任务,然后将场景图谱计算结果发送至通信模块供对应的终端的智能机器人和云端获取；

所述云端用于训练深度学习模型并向边缘端的各边缘服务器发送训练完毕的深度学习模型及运行该模型的环境的虚拟化容器镜像文件，云端同时从通信模块获取边缘端的各边缘服务器发送的场景图谱计算结果，计算知识图谱，并根据请求向各终端的智能机器人发送知识图谱；

所述通信模块，用于从终端的各智能机器人获取所采集图像或视频数据，并将该数据提供给该智能机器人对应的边缘端的边缘服务器；从边缘端的各边缘服务器获取场景图谱计算结果，并将该计算结果提供给该边缘服务器对应的智能机器人和云端。

2.如权利要求1所述的系统，其特征在于，所述云端包括计算节点、镜像仓库节点、深度学习模型仓库节点、数据仓库节点和服务节点；其中计算节点用于进行知识图谱的计算任务及深度学习模型的训练任务，镜像仓库节点用于存储部署运行训练好模型的环境的虚拟化容器镜像文件，深度学习模型仓库节点用于保存训练完毕的深度学习模型文件，数据仓库节点用于存储生成的知识图谱数据，服务节点用于对外提供数据接口用以访问数据仓库节点中的知识图谱数据。

3.如权利要求1所述的系统，其特征在于，所述通信模块由运行Mqtt服务的服务器构成；其中每个边缘端与其对应的所有终端之间部署一台该服务器，云端与其对应的所有边缘端之间部署一台该服务器。

4.如权利要求2所述的系统，其特征在于，该系统工作方法如下：

(1)在云端使用训练集训练一个深度学习模型，该模型的输入为场景的真实图像或视频数据，输出为该输入图像或视频中各实体目标所属类型的预测结果和任意两个实体目标的关系的预测结果；将训练完毕的深度学习模型记为Model₁；

(2)云端将步骤(1)中训练完毕的深度学习模型Model₁发布到深度学习模型仓库节点，将运行环境打包成虚拟化容器镜像文件VirtualFile₁发布到镜像仓库节点上；

(3)终端的各智能机器人开始采集场景真实图像或视频数据，通过通信模块进行话题发布，然后向该话题发送该智能机器人采集到的场景真实图像或视频数据；

(4)边缘端的各边缘服务器从深度学习模型仓库节点获取Model₁，从云端镜像仓库节点获取VirtualFile₁，在该边缘服务器进行部署；同时各边缘服务器从通信模块获取其对应的智能机器人在步骤(3)发送的场景真实图像或视频数据，然后边缘服务器在本地运行深度学习模型，计算场景图谱数据，然后将场景图谱计算结果通过通信模块进行话题发布；

(5)云端从通信模块获取各边缘服务器在步骤(4)通过话题发布的场景图谱计算结果，计算知识图谱；将计算的知识图谱数据存储到云端数据仓库中；

(6)云端服务节点向外提供RESTful API，使终端的各智能机器人通过Http协议从云端获取在云端数据仓库中存储的知识图谱数据；

(7)终端的各智能机器人向通信模块订阅其对应的边缘服务器在步骤(4)发布的话题，获取对应边缘服务器的场景图谱计算结果；各智能机器人通过云端服务节点提供的RESTful API，获取知识图谱数据。