[发明专利]一种应用于物联网的数据处理方法及装置

摘要

本发明公开了一种应用于物联网的数据处理方法及装置，通过根据节点状态信息进行数据路由选择，将数据中的小文件合并成归档大文件，建立多条线程进行数据处理任务，客户端在读写数据开始前，在客户端本地为集群构建一致性哈希表；先对所述数据的关键字进行哈希计算得到哈希值，在一致性哈希表中查找所述关键字对应的节点，从而与远端数据节点进行数据连接，最后通过网络进行数据传输进行读写，从而解决了现有技术中物联网的数据汇聚时间较长、效率低下乃至数据传递失败等技术问题。

主权项

1.一种应用于物联网的数据处理方法，其特征在于，所述方法包括：客户端启动进行初始化，所述客户端到集群上进行注册得到客户端列表；所述集群将所述集群中的节点状态信息推送给所述客户端；所述客户端根据所述节点状态信息进行数据路由选择；在所述数据路由选择之后，将所述数据中的小文件根据分布式文件系统的归档方法得到多个归档大文件；建立和所述多个归档大文件相同的多条数据处理线程，每条所述数据处理线程对应一个数据处理任务；所述数据处理线程处理写和读数据；其中写数据步骤为：所述客户端在写数据流程开始前，创建一个心跳线程，从所述分布式文件系统获取心跳信息，所述客户端的一致性哈希模块解析所述心跳信息，在客户端本地为所述集群构建一致性哈希表；先对所述数据的关键字进行哈希计算得到哈希值，在一致性哈希表中查找所述关键字对应的节点，在所述客户端本地得到所述数据的归属节点的IP信息，与远端数据节点网络连接，然后所述客户端对所述数据进行格式化使得服务器可识别请求消息，最后通过网络进行数据传输；以及读数据步骤为：创建另一个心跳线程与所述服务器进行同步并创建或维护一致性哈希表；将请求的消息类型和消息识别号格式化成请求消息发送给所述服务器，所述服务器通过数据I/O模块根据传来的所述消息类型和消息识别号确定所述数据在磁盘中的位置，然后返回给客户端所述数据。