[发明专利]基于迁移均衡策略的用电信息分布式文件存储方法与装置

权利要求书

1.基于迁移均衡策略的用电信息分布式文件存储装置，其特征是，包括：

数据采集模块，用于电信息采集系统采集终端上送的用电信息原始数据帧，将用电信息原始数据帧解析得到原始数据，检测本地磁盘模块中文件的信息，根据文件的信息选择是否将文件上传至数据存储模块；

本地磁盘模块，将数据采集模块解析后的原始数据以文件形式存入并缓存；

数据存储模块，负责存储用电数据信息，包括前置通信平台关系数据库和分布式MongoDB数据库；

大数据管理引擎，负责定时监测获取前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库提取，同时更新前置通信平台关系数据库内文件提取时间；将从MongoDB数据库提取的文件数据转化为数据字符流，并进行数据计算，得到业务数据；

数据持久化模块，负责将业务数据交给业务数据库持久化通道进行业务数据持久化，并将业务数据按其所支持具体业务的时效性和功能的不同分别存入应用系统的不同业务数据库中。

2.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述数据采集模块将用电信息原始数据帧按照信道类型和规约类型进行解析得到原始数据。

3.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述数据采集模块需要检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，则将数据文件上传至数据存储模块，并更新文件上传时间。

4.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述前置通信平台关系数据库存储的数据包括客户档案数据、通信信道信息及监控信息。

5.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述MongoDB数据库存储的数据包括测量点电能、电流、电压数据及终端通讯源码数据。

6.如权利要求1所述基于迁移均衡策略的用电信息分布式文件存储方法的装置，其特征是，所述业务数据库包括档案数据库、电压电流数据库、表码数据库、电量数据库、户供电质量数据库、电量分析数据库、线损分析数据库。

7.一种基于权利要求1所述基于迁移均衡策略的用电信息分布式文件存储装置的存储方法，其特征是，包括以下步骤：

步骤一、数据采集模块将用电信息采集系统采集终端上送的用电数据原始数据帧按信道类型和归约类型进行解析得到原始数据，原始数据以文件形式存入本地磁盘模块进行缓存，并将原始数据帧上传至前置通信平台关系数据库和MongoDB数据库；

步骤二、检测本地磁盘模块中文件的数量、大小和最近一次写入时间，若文件大小达到设定阈值或文件在设定时间阈值内未更新，数据采集模块将数据文件上传至MongoDB数据库，并更新文件上传时间；

步骤三、MongoDB数据库采用优化的迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；

步骤四、大数据管理引擎定时监测前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件的大小、名称及时间信息，将文件从MongoDB数据库提取，同时以时间为标签；

步骤五、将从MongoDB数据库提取到的文件数据转化为数据字符流，并进行数据计算，得到业务数据；

步骤六、数据持久化模块将业务数据提交给业务数据库持久化通道，交由持久化通道进行业务数据持久化，并存入应用系统的业务数据库。

8.如权利要求7所述基于迁移均衡策略的用电信息分布式文件存储方法，其特征是，所述步骤三中优化的迁移均衡策略包括：

步骤3.1、MongoDB部署集群首先集合所有分片的相关信息，确定负载最高的分片、chunk数最大的分片、待移除的分片以及chunk数较小的分片中负载最低的分片；

步骤3.1、检查迁移条件一：检查分片内chunk数之差是否超过阈值，若满足，则确定源分片为chunk数最大的分片，若不满足则检查迁移条件二；

步骤3.2、检查迁移条件二：检查是否存在等待删除的分片，若存在，则选取一个待删除分片作为源分片，若不满足则检查迁移条件三；

步骤3.3、检查迁移条件三：检查是否存在过载的分片，若存在，则确定源分片为负载最高的分片；若不存在过载的分片，则无需迁移；

步骤3.4、确定迁移源分片和目标分片，进行分片迁移。