[发明专利]一种高并发海量数据的采集、处理和存储的方法及系统

说明书

本发明提供一种高并发海量数据的采集、处理和存储的方法及系统，涉及节能技术领域。该方法包括：接收客户端发送的会话请求；通过链接通道中注册的选择器分配线程处理会话请求以建立与客户端的会话，判断会话是否合法，若合法，则接收客户端监测到的负载数据；通过数据处理通道中注册的选择器分配线程将负载数据缓存至多个数据块中，并将多个数据块中的负载数据发送至数据存储通道并同步至其他节点数据库中；通过数据存储通道中注册的选择器分配线程接收多个数据块发送的负载数据，并将负载数据写入主数据库。本发明能够实现高并发性多节点处数据的采集、处理以及存储，保证数据库的高性能和稳定性。

技术领域

本发明属于节能技术领域，尤其涉及一种高并发海量数据的采集、处理和存储的方法及系统。

背景技术

建筑能耗管理工作，已经为国家至地方政府各职能主管部门高度重视，各项法规、标准、导则相继出台。2008年6月24日，住房和城乡建设部印发国家机关办公建筑和大型公共建筑能耗监测系统建设相关技术导则的通知，以“分项计量”作为能源管理工作的指导原则。

目前的建筑能耗管理软件系统都是将能耗设备进行分类或分项计量，对计量数据自动采集，通过计算机技术实现各计量点、区域实现能耗在线动态监测、能耗数据汇总统计、能耗指标总和考评、历史数据记录查询、能耗报表自动生成，其获取的能耗数据能够为管理者提供决策依据。然而，目前的建筑能耗管理软件系统存在以下问题：1)系统采用的数据传输解决方案存在有诸多的局限性，数据传输过程繁琐，不适用于多元数据的传输，不能支持万级并发数据接收；2)随着业务的开展，能耗数量增多，每年要存储PB级的数据量，并且要保存数据十年以上，由于数据结构的多样化，包括结构化数据和非结构化数据，这些数据类型缺乏单一性，使得系统采用的标准存储技术无法对大数据进行有效的存储；3)系统采用的数据库性能较低，不能够横向扩展，数据容易丢失或损坏，并且无法实现对亿条级数据进行快速处理。

发明内容

本发明实施例的目的在于提供一种高并发海量数据的采集、处理和存储的方法及系统，旨在解决上述建筑能耗管理软件系统存在不能支持万级并发数据接收、无法对大数据进行有效的存储、数据库性能较低以及无法实现对亿条级数据进行快速处理的问题。

本发明实施例是这样实现的，一种高并发海量数据的采集、处理和存储的方法，包括：

接收客户端发送的会话请求；

通过链接通道中注册的选择器分配线程处理所述会话请求以建立与所述客户端的会话，并判断所述会话是否合法，若合法，则接收所述客户端监测到的负载数据；

通过数据处理通道中注册的选择器分配线程将所述负载数据缓存至多个数据块中，并将所述多个数据块中的负载数据发送至数据存储通道并同步至其他节点数据库中；

通过数据存储通道中注册的选择器分配线程接收多个数据块发送的所述负载数据，并将所述负载数据写入主数据库。

在本发明实施例所述的高并发海量数据的采集、处理和存储的方法中，通过所述链接通道中注册的选择器分配线程处理所述会话请求以建立与所述客户端的会话，并判断所述会话是否合法，若合法，则接收所述客户端监测到的负载数据具体包括：

通过链接通道中注册的选择器分配线程处理所述会话请求，以建立与所述客户端的会话；

通过所述会话与所述客户端进行双向AES和MD5加密验证；

判断所述双向AES和MD5加密验证是否通过；

若验证通过，则接收所述客户端监测到的负载数据；若验证未通过，则预警并断开所述会话，清空所述会话。

在本发明实施例所述的高并发海量数据的采集、处理和存储的方法中，通过所述数据处理通道中注册的选择器分配线程将所述负载数据缓存至多个数据块中，并将所述多个数据块中的负载数据发送至数据存储通道并同步至其他节点数据库中具体包括：