[发明专利]一种高并发海量数据的采集、处理和存储的方法及系统

权利要求书

1.一种高并发海量数据的采集、处理和存储的方法，其特征在于，包括：

接收客户端发送的会话请求；

通过链接通道中注册的选择器分配线程处理所述会话请求以建立与所述客户端的会话，并判断所述会话是否合法，若合法，则接收所述客户端监测到的负载数据，包括：通过链接通道中注册的选择器分配线程处理所述会话请求，以建立与所述客户端的会话；通过所述会话与所述客户端进行双向AES和MD5加密验证；判断所述双向AES和MD5加密验证是否通过；若验证通过，则接收所述客户端监测到的负载数据；若验证未通过，则预警并断开所述会话，清空所述会话；所述负载数据包括能耗数据和温度运行参数、湿度运行参数、压力运行参数、以及流量运行参数；

通过数据处理通道中注册的选择器分配线程将所述负载数据缓存至多个数据块中，将所述多个数据块中的负载数据发送至数据存储通道并同步至其他节点数据库中；

通过数据存储通道中注册的选择器分配线程接收多个数据块发送的所述负载数据，并将所述负载数据写入主数据库；

所述主数据库包括关系型数据库和非关系型数据库，通过所述数据存储通道中注册的选择器分配线程接收多个数据块发送的所述负载数据，并将所述负载数据写入主数据库具体包括：

通过数据存储通道中注册的选择器选择空闲的数据存储线程接收各个数据块发送的负载数据；

将所述负载数据写入所述非关系型数据库中；

在所述非关系型数据库中对所述负载数据进行分析统计，并对分析统计后的负载数据进行分片和分配处理，将分片和分配处理后的负载数据写入所述关系型数据库中对应的局部数据存储区域，对所述关系型数据库中的写操作和读操作进行分离。

2.如权利要求1所述的高并发海量数据的采集、处理和存储的方法，其特征在于，通过所述数据处理通道中注册的选择器分配线程将所述负载数据缓存至多个数据块中，并将所述多个数据块中的负载数据发送至数据存储通道并同步至其他节点数据库中具体包括：

通过数据处理通道中注册的选择器选择空闲的数据处理线程将所述会话中的负载数据缓存至多个数据块中；

判断缓存至各个数据块中的负载数据是否为明文；

若不是明文，则读取并解析所述负载数据的报文头以获取所述报文头中指定的消息主体的长度，并根据所述消息主体的长度判断各个数据块中的负载数据是否为一条完整的消息；若为一条完整的消息，则对所述负载数据进行解码，并判断解码后的负载数据是否正常，若正常，则将解码后的负载数据发送至数据存储通道并且同步至其他节点数据库，若异常，则进行数据异常报警；

若是明文，则直接判断所述负载数据是否正常，若正常，则将所述负载数据发送至所述数据存储通道并且同步至其他节点数据库，若异常，则进行数据异常报警；

释放对所述会话中的负载数据进行缓存处理的数据处理线程。

3.如权利要求1所述的高并发海量数据的采集、处理和存储的方法，其特征在于，所述关系型数据库包括写数据库和读数据库，在所述非关系型数据库中对所述负载数据进行分析统计，并对分析统计后的负载数据进行分片和分配处理，将分片和分配处理后的负载数据写入所述关系型数据库中的局部数据存储区域具体包括：

在所述非关系型数据库中对所述负载数据进行分析统计，并对分析统计后的负载数据进行分片和分配处理，将分片和分配处理后的负载数据写入所述写数据库中对应的局部数据存储区域并且同步至所述读数据库中对应的局部数据存储区域。