[发明专利]一种电力量测类数据迁移到HBase的方法及系统

摘要

本发明涉及一种电力量测类数据迁移到HBase的方法及系统，该系统包括：查询模块：通过JDBC从关系型数据库查询数据；配置模块：用于配置连接、表、查询条件、结果输出格式、写入方式等；日志模块：记录每张表每次迁移的状态；转换模块：按照对应HBase结构将查询模块查到的结果数据转换为写入模块需要的格式；写入模块：按照配置模块写入参数通过API将数据写入HBase中；管理模块：定时启动迁移任务并根据日志模块记录的日志信息补传未成功迁移的数据。与现有技术相比，本发明具有自动迁移、支持增量延时同步、自动补传、效率高等优点。

主权项

1.一种电力量测类数据迁移到HBase的方法，其特征在于，包括以下步骤：1)管理模块每日定时启动迁移任务，并检索日志模块记录的迁移日志，判断历史迁移日期中是否存在异常状态记录或日志缺失，若是，则进行步骤2)，若否，则进行步骤3)；2)管理模块生成缺失、异常日志信息列表，并执行步骤4)；3)查询模块读取配置模块参数，并且按参数分批查询需迁移数据表前一日的数据，进行步骤5)；4)查询模块读取配置模块参数，并且按参数分批查询需迁移数据表对应的生成缺失和异常日志信息列表中的最早日期数据，并从列表中删除此条记录，进行步骤5)；5)转换模块按配置模块中的结果输出格式参数将步骤3)或步骤4)的查询结果转换为HBase需要的结构，进行步骤6)；6)写入模块通过API，按照配置模块写入方式参数多线程并行写入HBase，并进行步骤7)；7)日志模块记录或更新日志，进行步骤8)；8)管理模块判断日志记录中是否已有前一日日志，若是，则进行步骤11)，若否，则进行步骤9)；9)查询模块检查生成缺失和异常日志信息列表，若信息列表中已无信息，则进行步骤10，若有信息，则返回步骤4)；10)查询模块读取配置模块参数按参数分批查询需迁移的数据表前一日数据，并返回步骤5)；11)管理模块结束当前的迁移任务。