[发明专利]基于迁移均衡策略的用电信息分布式文件存储方法与装置

摘要

本发明公开了基于迁移均衡策略的用电信息分布式文件存储方法与装置，数据采集模块将原始数据帧进行解析得到原始数据，以文件形式存入本地磁盘模块，将原始数据帧上传至关系数据库和MongoDB数据库；检测本地磁盘模块中文件的信息，选择是否将文件上传至数据存储模块；MongoDB数据库采用迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；大数据管理引擎定时监测未进行数据转存计算的文件信息，将文件从MongoDB数据库提取，以时间为标签；将从MongoDB数据库提取到的文件数据转化为数据字符流，计算得到业务数据；最后进行数据持久化。实现用电信息大数据的高效存储，满足用电信息采集系统用电大数据存储容量、存储速率需求。

主权项

基于迁移均衡策略的用电信息分布式文件存储装置，其特征是，包括：数据采集模块，用于电信息采集系统采集终端上送的用电信息原始数据帧，将用电信息原始数据帧解析得到原始数据，检测本地磁盘模块中文件的信息，根据文件的信息选择是否将文件上传至数据存储模块；本地磁盘模块，将数据采集模块解析后的原始数据以文件形式存入并缓存；数据存储模块，负责存储用电数据信息，包括前置通信平台关系数据库和分布式MongoDB数据库；大数据管理引擎，负责定时监测获取前置通信平台关系数据库内未进行数据转存计算的文件信息，并参照这部分文件信息，将文件从MongoDB数据库提取，同时更新前置通信平台关系数据库内文件提取时间；将从MongoDB数据库提取的文件数据转化为数据字符流，并进行数据计算，得到业务数据；数据持久化模块，负责将业务数据交给业务数据库持久化通道进行业务数据持久化，并将业务数据按其所支持具体业务的时效性和功能的不同分别存入应用系统的不同业务数据库中。