[发明专利]支持海量采集终端的分布式内存实时存储装置及方法

说明书

技术领域

本发明涉及计算机领域，特别涉及一种支持海量采集终端的分布式内存实时存储装置及方法。

背景技术

当前我国用电信息采集已覆盖全部专变大用户以及部分低压居民用户，并通过与信息化系统共享档案数据等信息，实现了欠费停电、预购电控制等功能。通过国家智能电网的建设，预计到“十二五”末基本实现“全覆盖、全采集、全费控”的建设目标，使得居民用电更加智能化、供电服务更加人性化。

随着“全覆盖”进程的不断推进，采集终端数量迅速增长，以山东省为例，实现“全覆盖”后预计终端数量将达到240万。终端数量的急速增长带来了海量的采集数据，如何高效的处理这些数据成为了亟待解决的问题。用电信息采集过程中，采集终端上送的海量报文需经过解析后成为可读的基本业务数据，在业务数据的基础上开展电力业务。电力业务中，单个终端电量的统计是其它业务实现的基础，而这一业务的实现需要将终端采集数据与终端档案一一匹配。

当前终端档案一般存储于磁盘中，在终端档案数据量不大的情况下，可基本满足业务需求。但在海量采集终端时代来临后，由于I/O操作的相对低速，这种存储方式将极大的影响档案存储、更新及查询的实时性。内存的数据读写速度较磁盘高出几个数量级，将终端档案存储在内存中可有效的提升性能。不过，由于终端档案数据量大，若存放在同一个服务器的内存中，势必对服务器的性能要求很高，现有服务器很难满足这种性能需求；即使勉强满足，终端档案的存储也会占用大量内存，影响采集数据任务处理性能；同时，这种存储方式难以适应终端规模的持续增长。为保证用电信息采集系统终端档案的读取速度及完整性，本文提出了一种分布式实时内存存储装置。

发明内容

本发明针对现有技术的不足，提供一种支持海量采集终端的分布式内存实时存储装置及方法。

为实现上述目的，本发明采用如下技术方案：

一种支持海量采集终端的分布式内存实时存储装置，包括主控服务器和至少一个数据服务器，所述的主控服务器与数据服务器通讯，

所述的主控服务器，其用于从系统数据库中读取终端档案信息表，并将所读取的终端档案信息表分割成多个档案块，并将每个档案块分配到所辖数据服务器，在所述的主控服务器内存中存储记录了终端档案信息表的分割情况及档案块存储情况的档案块元数据，并提供所辖数据服务器当前负载情况查询及比较功能；

所述的数据服务器，用于接收主控服务器分配的档案块，以多个档案块的形式将终端档案信息表存储在内存中，并面向电量计算任务模块提供查询功能，数据服务器数量设置多个并能实现动态增减。

所述主控服务器还包括以下模块：

档案分配模块，用于从系统数据库中读取终端档案信息表，将其分割成多个档案块并分配到所辖数据服务器；

档案元数据存储模块，用于存储档案分配模块形成的档案块元数据，提供基于终端编号的档案块位置查询；

负载比较模块，用于查询所辖数据服务器当前的负载情况，在此基础上比较所辖数据服务器的负载大小，得出负载最小的数据服务器。

所述数据服务器还包括以下模块：

档案管理模块，用于接收档案分配模块分配的档案块；

档案存储模块，用于存储档案块的实际数据，并接受档案查询模块的查询；

档案查询模块，用于提供数据服务器的负载信息以及实现终端档案信息表的查询，并面向电量计算任务模块提供查询功能。

所述的每个数据服务器的档案管理模块之间能相互复制。

所述的负载比较模块能查询数据服务器的档案查询模块。

所述的负载比较模块查询到负载最小的服务器后，发送给电量计算任务模块。

一种支持海量采集终端的分布式内存实时存储装置的存储方法，包括以下步骤：

（1）主控服务器的档案分配模块根据终端档案信息表的实际情况配置档案块的大小，从终端档案信息表中按终端编号从小至大的顺序读取档案信息，当读入的终端档案信息达到配置大小时，打包形成一个档案块；因此档案块元数据的档案表分割情况中只需记录第一个及最后一个存入该档案块的终端编号，减小了档案块元数据所占用的内存；

（2）为保证档案数据的高可靠性，为每个档案块设置n（n为自然数，且n≥3）个副本；档案分配模块的分配方式是将一个档案块分配到n个不同的数据服务器进行存储，并保证其n个不同的数据服务器中位于不同的机架上；

（3）将档案块元数据写入档案元数据存储模块，将档案的实际数据写入分配的数据服务器中；