[发明专利]一种基于多模态，分布式TinyML和物联网的推理方法及装置

说明书

本发明涉及机器学习技术领域，具体为一种基于多模态，分布式TinyML和物联网的推理方法及装置，包括以下步骤：部署多模态的具备TinyML模型的分布式设备，打造端侧设备的分布式智能推理能力；通过网关设备接收多模态数据；有益效果为：本发明提出的基于多模态，分布式TinyML和物联网的推理方法及装置利用TinyML技术，赋能端侧设备的AI推理能力。同时，在网关设备端也会部署相关AI模型，在网络通讯畅通时，数据通过网关进行推理。当意外情况发生不能进行网络通讯时，端侧设备本身也会对多模态数据进行本地化推理并实现本地进行下一步的动作。

技术领域

本发明涉及机器学习技术领域，具体为一种基于多模态，分布式TinyML和物联网的推理方法及装置。

背景技术

边缘测推理技术主要依托于边缘网关，并且人工智能算法需要高算力的硬件作为支撑。

现有技术中，边缘测推理方法是边缘测设备负责收集不同模态的数据，然后通过通讯模块将数据传输到网关设备端，然后通过网关部署的人工智能模型将输入的数据进行分析处理，得到推理结果。

但是，上述方法的弊端是不能最大化发挥端侧设备的能力，同时对网络数据传输需要高稳定性。如果发生网络不稳定或者断网的情况，网关下属设备将会失去工作和推理能力。

发明内容

本发明的目的在于提供一种基于多模态，分布式TinyML和物联网的推理方法及装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多模态，分布式TinyML和物联网的推理方法，所述推理方法包括以下步骤：

部署多模态的具备TinyML模型的分布式设备，打造端侧设备的分布式智能推理能力；通过网关设备接收多模态数据。

一种根据权利要求1所述的基于多模态，分布式TinyML和物联网的推理方法用的基于多模态，分布式TinyML和物联网的推理装置，所述推理装置包括多模态数据、分布式TinyML、网关设备和微控制器设备，网关设备结合物联网通讯模块接收并输入来自不同设备的多模态数据，通过分布式TinyML模型进行推理。

优选的，多模态数据流来自端侧的不同设备，模态和设备的数据会分为两路；一路数据会在设备本身进行处理，另一路数据通过物联网传输模块发送到网关设备端进行处理。

优选的，分布式TinyML由多个传感器和微控制器的设备组成，在微控制器中部署TinyML模型，TinyML模型的部署是通过网关设备内置的TinyML模型库，利用OTA技术进行模型的下发。

优选的，网关设备内置的TinyML模型支持多模态数据的输入，在传输的过程中，多模态数据在本地进行传输之前进行数据的16进制编码，通过物联网传输模块发送至网关设备端，网关设备对16进制的数据进行解码，多模态数据进行统一的数据格式整理作为模型的输入，通过TinyML模型进行结果推理。

优选的，微控制器作为多模态数据的硬件设备端，不同模态的数据代表不同类型的传感器，每个端侧设备都会集成传感器+微控制器+LoRa模组的方式；TinyML模型会部署在微控制器内部，数据通过模型输出推理结果，不同模态的数据通过LoRa模组进行无线传输，发送至网关设备端。

与现有技术相比，本发明的有益效果是：

本发明提出的基于多模态，分布式TinyML和物联网的推理方法及装置利用TinyML技术，赋能端侧设备的AI推理能力。同时，在网关设备端也会部署相关AI模型，在网络通讯畅通时，数据通过网关进行推理。当意外情况发生不能进行网络通讯时，端侧设备本身也会对多模态数据进行本地化推理并实现本地进行下一步的动作。

附图说明

图1为本发明流程图。

具体实施方式