[发明专利]端-边-云协同框架下的机器人知识图谱生成系统及方法

说明书

本发明提出一种端‑边‑云协同框架下的机器人知识图谱生成系统及方法，涉及机器人知识图谱生成和边缘计算领域。该系统包括：终端、边缘端、云端及通信模块；终端包括多个智能机器人，各智能机器人采集场景真实图像或视频数据；边缘端包括多个边缘服务器，每个边缘服务器连接对应的智能机器人，用于计算场景图谱；各边缘服务器和各智能机器人分别连接云端，云端用于训练深度学习模型及计算知识图谱；终端、边缘端和云端分别连接通信模块，通信模块辅助三端进行通信。本发明合理使用端‑边‑云协同框架对大数据级的智能机器人视觉数据进行分级计算卸载，能够快速地完成对智能机器人所处场景的建模任务，对提高智能机器人执行任务的性能意义重大。

技术领域

本发明涉及机器人知识图谱生成和边缘计算领域，具体涉及一种端-边-云协同框架下的机器人知识图谱生成系统及方法。

背景技术

在许多机器人视觉场景理解任务中，对环境进行建模都是非常重要的一部分。对于机器人来说，一个有效的环境模型应该满足适用性、准确性、可扩展性以及可用性等要素。使用知识图谱来对机器人所处场景进行建模可以满足上述要求，并且帮助机器人模仿人类的思维来理解环境，从而提高智能、执行语义命令。因此研究如何准确、快速地生成知识图谱是现代智能机器人进行视觉场景理解任务中重要的一环。

知识图谱的生成是一项大数据级的计算任务，通常由数量众多的终端智能机器人采集真实场景数据(图像、视频等)然后利用这些原始数据进行知识图谱生成。目前已有的应用在智能机器人上的知识图谱生成方法，大体分类两种，一种直接在终端智能机器人上进行知识图谱生成的计算任务；另一种则将采集的原始数据上传至云计算中心进行知识图谱生成的计算任务。但是这两种方法都存在巨大缺陷。由于终端智能机器人受功耗限制，不会搭载高性能的计算资源，因此直接在终端进行知识图谱生成的计算任务的耗时将会长到不可接受；如果将原始数据上传到拥有高性能计算资源的云计算中心，进行知识图谱的计算任务，则巨量的数据将会导致过度的网络拥塞。同时主干网的传播是相对耗时的，这对于智能机器人实时感知场景这类对延迟极其敏感的任务而言是非常不友好的。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种端-边-云协同框架下的机器人知识图谱生成系统及方法。本发明将智能机器人所需的知识图谱拆分为针对特定场景的场景图谱以及通常的、大规模的知识图谱，分别在边缘端、云端进行计算，用以解决在智能机器人的视觉场景理解任务中，知识图谱生成问题上，终端智能机器人的计算资源约束问题以及降低云端与终端智能机器人之间的通信延迟问题。

本发明提出一种端-边-云协同框架下的机器人知识图谱生成系统，其特征在于，包括：终端、边缘端、云端以及通信模块；其中，终端包括多个智能机器人，每个智能机器人搭载进行图像采集的设备；边缘端包括多个边缘服务器，每个边缘服务器连接对应的智能机器人，每个边缘服务器和每个智能机器人分别连接云端；终端、边缘端和云端分别连接通信模块；

所述终端中每个智能机器人用于在采集场景真实图像或视频数据，并将所采集图像或视频数据发送给通信模块供对应的边缘端的边缘服务器获取以进行场景图谱的计算任务；每个机智能器人同时从通信模块获取对应的边缘服务器发送的场景图谱计算结果，向云端发送请求并接收云端发送的知识图谱计算结果；

所述边缘端的各边缘服务器从云端获取训练完毕的深度学习模型及运行该模型的环境的虚拟化容器镜像文件，在本地构建运行环境；同时各边缘服务器从通讯模块获取对应的终端的智能机器人发送的场景真实图像或视频数据作为深度学习模型输入，运行深度学习模型执行场景图谱生成计算任务,然后将场景图谱计算结果发送至通信模块供对应的终端的智能机器人和云端获取；

所述云端用于训练深度学习模型并向边缘端的各边缘服务器发送训练完毕的深度学习模型及运行该模型的环境的虚拟化容器镜像文件，云端同时从通信模块获取边缘端的各边缘服务器发送的场景图谱计算结果，计算知识图谱，并根据请求向各终端的智能机器人发送知识图谱；