[发明专利]基于去重规则的物联网多源数据存储方法及装置

说明书

本发明实施例公开了一种基于去重规则的物联网多源数据存储方法及装置，该方法包括：第一节点设备接收多个第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；根据所述数据内容的关联度以及数据类型确定去重处理规则；将相同去重处理规则对应的第二节点设备的物联网数据发送至对应处理集群中的处理服务器，用于所述服务器进行去重处理后，进行数据保存。本方案，提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

技术领域

本申请实施例涉及物联网技术领域，尤其涉及一种基于去重规则的物联网多源数据存储方法及装置。

背景技术

随着物联网技术的普及以及智能设备的功能的强大，物联网设备在人们日常生活中扮演着越来越重的角色。各类智能化的物理网终端设备被应用在各个领域。通常，物联网通过各类信息感知设备将物品与互联网相联，让所有能够被独立寻址的普通物理对象可以实现信息交换，最终达到智能化识别、定位、跟踪、监控和管理的目。

物联网数据来源于不同的感知设备，如识读器、视频设备、温度传感器、湿度传感器等，通常数据格式和语义结构也存在一定差异。同时随着物联网设备的普及和大量应用，导致物联网数据量急剧增加，如何高效的对各种类型、各种要求的物联网数据进行合理存储是目前急需解决的问题。

发明内容

本发明实施例提供了一种基于去重规则的物联网多源数据存储方法及装置，提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

第一方面，本发明实施例提供了一种基于去重规则的物联网多源数据存储方法，该方法包括：

第一节点设备接收多个第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；

根据所述数据内容的关联度以及数据类型确定去重处理规则；

将相同去重处理规则对应的第二节点设备的物联网数据发送至对应处理集群中的处理服务器，用于所述服务器进行去重处理后，进行数据保存。

可选的，所述确定所述物联网数据集合中数据内容的关联度，包括：

根据物联网集合中数据内容的字段类型确定数据内容的关联度。

可选的，所述根据所述数据内容的关联度以及数据类型确定去重处理规则，包括：

如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则；

如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则。

可选的，其特征在于，所述服务器进行去重处理，包括：

如果为合并处理规则对应的服务器，确定每个节点设备的公有数据和私有数据，对所述公有数据进行合并后，将所述私有数据进行单独保存。

第二方面，发明实施例还提供了一种基于去重规则的物联网多源数据存储装置，包括：

数据接收处理模块，用于接收多个第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；

规则确定模块，用于根据所述数据内容的关联度以及数据类型确定去重处理规则；

数据发送模块，用于将相同去重处理规则对应的第二节点设备的物联网数据发送至对应处理集群中的处理服务器，用于所述服务器进行去重处理后，进行数据保存。

可选的，所述数据接收处理模块具体用于：

根据物联网集合中数据内容的字段类型确定数据内容的关联度。

可选的，所述规则确定模块具体用于：