[发明专利]基于云边端架构的机器人展厅场景的多终端任务协同方法和装置

权利要求书

1.基于云边端架构的机器人展厅场景的多终端任务协同方法，其特征在于，包括以下步骤：

步骤一：终端实时检测并获取用户以及当前场景的信息,上传到边缘端；

步骤二：边缘端通过机器学习模型和知识图谱，生成待执行的任务信息数据、用户和场景相关的特征数据；

步骤三：云端根据任务信息数据以及用户和场景相关的特征数据通过大语言模型进行机器人以及二级设备的协同运行决策；

步骤四：边缘端获得根据决策结果生成具体任务指令统一下发至机器人；

步骤五：机器人收到指令之后，对任务进行解析，分发到机器人本体和二级终端进行任务执行。

2.根据权利要求1所述的基于云边端架构的机器人展厅场景的多终端任务协同方法，其特征在于，步骤一具体包括：

11)所述终端包括机器人和二级终端。机器人指在展厅中负责导览任务的机器人，机器人本体具有多种传感器；二级终端是指展厅中的各种采集、输出设备，其中输入型终端将采集到的数据传给机器人，输出型终端将接收机器人传输过来的任务指令，进行具体任务的执行。

12)所述用户以及当前场景的信息包括：用户的3D位姿数据、用户的面部表情朝向数据、用户的语音信息数据、展厅的展点信息数据、展厅场景内二级终端的位置数据、二级终端的运行状态数据，以及场景内可以通过终端传感器获得的其他数据。

13)对于终端采集到的视频数据，需要按照固定帧率获取图片文件，再进行图片的压缩处理，通过高信道通信模块进行数据的传输，传输到边缘端，待边缘端计算使用。

14)对于终端采集到的语音文件可以使用语音文本转化软件进行转化处理，将获得的文本文字传输到边缘端，待边缘计算使用。

3.根据权利要求2所述的基于云边端架构的机器人展厅场景的多终端任务协同方法，其特征在于，步骤11)所述的机器人包括双足机器人、轮式机器人。机器人本体具有多种传感器，包括麦克风、摄像头、IMU、GPS、扬声器。二级终端包括麦克风、监控摄像头、扬声器、UWB、展厅大屏，其中麦克风、摄像头是输入型终端，扬声器、展厅大屏是输出型终端。

4.根据权利要求1所述的基于云边端架构的机器人展厅场景的多终端任务协同方法，其特征在于，步骤二所述的边缘端通过机器学习模型和知识图谱，生成待执行的任务信息数据，包括：

21)所述边缘端接收到终端传输过来的用户语音信息后，通过BERT模型进行用户意图分类的计算，获得意图类型结果。BERT模型计算的输入为终端上传的用户语音文本，输出结果分为任务类、问答类、闲聊类、不回复类四种类型。BERT模型的训练过程在云端完成，云端将训练好的模型下发到边缘端进行部署使用。

22)根据意图类型结果在边缘端做进一步的计算，获得具体的任务内容：判断是任务类则基于云端下发的规则进行任务分类的计算，根据导览机器人的运行场景可以分为导览、带路、迎宾、送别等多种业务类型，并根据多轮对话的结果生成任务内容；判断是问答类则根据知识图谱中的内容生成答案，如果知识图谱中没有答案，则通过LLM生成问题答案；判断是闲聊类，直接通过LLM生成答案；判断是不回复类，则忽略此次用户输入。

23)根据意图类型结果和具体的任务内容，按照设定好的协议进行整理，生成待执行任务的信息数据。

5.根据权利要求4所述的基于云边端架构的机器人展厅场景的多终端任务协同方法，其特征在于：步骤二中边缘计算使用的知识图谱包括三个部分：任务知识模块、场景知识模块、常识知识模块。其中任务知识模块包括终端可以执行的任务类型、机器人具备的具体技能参数、二级设备的技能参数，展厅相关的场景知识图谱主要针对厅里面展点和展品相关的位置、属性、特征、介绍文案，常识知识是日常问候、天气的相关日常知识。知识图谱的数据由云平台根据具体的场景进行下发和管控。