[发明专利]基于迁移均衡策略的用电信息分布式文件存储方法与装置

说明书

技术领域

本发明涉及智能用电领域，尤其涉及一种基于迁移均衡策略的用电信息分布式文件存储方法与装置。

背景技术

随着智能电网建设的不断深入和“大集中”建设模式的推进，电力用户数量和终端数量增大，用户用电数据成为典型的行业大数据。电力用户用电数据呈现规模大、多样异构等大数据特征，具体表现在：(1)数据规模巨大，以山东省为例，从2007年用电信息采集系统运行至今，累计数据量约为1.4PB；2014年实现“全覆盖”后系统用电数据日增长量预计翻两番，系统源码数据日增长量预计达到900GB。(2)数据类型多样，用电信息采集系统涉及的数据包括基本档案数据、原始数据帧、基础业务数据、复杂业务数据以及统计分析数据等结构化、半结构化以及无结构化数据，各类数据的处理、存储和管理需求也存在较大差异。

电力用户用电大数据给用电信息采集系统建设面临着大规模数据存储的挑战性问题，即如何针对数据规模、类型、用途选取合适的存储模型。为适应大规模用电信息存储和管理的要求，缓解日益激增的数据源帧和采集数据对存储空间造成的压力，解决高速采集数据流的存储问题，以及云存储数据访问的动态均衡，需要优化大数据存储时的均衡策略，实现用电信息大数据快速高效存储。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于迁移均衡策略的用电信息分布式文件存储方法与装置，实现用电信息大数据的高效存储，满足用电信息采集系统用电大数据存储容量、存储速率需求。

为了实现上述目的，本发明采用如下技术方案：

基于迁移均衡策略的用电信息分布式文件存储装置，包括：

数据采集模块，用于电信息采集系统采集终端上送的用电信息原始数据帧，将原始数据帧解析得到原始数据，检测本地磁盘模块中文件的信息，根据文件的信息选择是否将文件上传至数据存储模块；

本地磁盘模块，将数据采集模块解析后的原始数据以文件形式存入并缓存；

数据存储模块，负责存储用电数据信息，包括前置通信平台关系数据库和分布式MongoDB数据库；

大数据管理引擎，负责定时监测获取前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库提取，同时更新前置通信平台关系数据库内文件提取时间；将从MongoDB数据库提取的文件数据转化为数据字符流，并进行数据计算(电量统计、线损分析等业务计算)，得到业务数据；

数据持久化模块，负责将业务数据交给业务数据库持久化通道进行业务数据持久化，并将业务数据按其所支持具体业务的时效性和功能的不同分别存入应用系统的不同业务数据库中。

所述数据采集模块将用电信息原始数据帧按照信道类型和规约类型进行解析得到原始数据。

所述数据采集模块需要检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，则将数据文件上传至数据存储模块，并更新文件上传时间。

所述前置通信平台关系数据库存储具有严格数据结构且基本无变化的数据，包括客户档案数据、通信信道信息及监控信息。

所述MongoDB数据库存储时效性低且利用率相对低的数据，包括测量点电能、电流、电压数据及终端通讯源码数据。

所述业务数据库包括档案数据库、电压电流数据库、表码数据库、电量数据库、户供电质量数据库、电量分析数据库、线损分析数据库。

一种基于迁移均衡策略的用电信息分布式文件存储装置的存储方法，包括以下步骤：

步骤一、数据采集模块将用电信息采集系统采集终端上送的用电数据原始数据帧按信道类型和归约类型进行解析得到原始数据，原始数据以文件形式存入本地磁盘模块进行缓存，并将用电数据原始数据帧上传至前置通信平台关系数据库和MongoDB数据库；

步骤二、检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，数据采集模块将数据文件上传至MongoDB数据库，并更新文件上传时间；

步骤三、MongoDB数据库采用优化的迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；

步骤四、大数据管理引擎定时监测前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件的大小、名称及时间信息，将文件从MongoDB数据库提取，同时以时间为标签保证同一文件同一时间只能被一次处理存储，避免资源浪费；