[发明专利]基于大数据的人社人员档案袋数据库的构建方法及系统

摘要

本发明公开了基于大数据的人社人员档案袋数据库的构建方法及系统；包括：人社业务数据库，为人社人员档案袋数据库的初始化提供原始数据来源，为数据的增量计算提供消息流LCRs；业务数据同步模块，用于完成数据从业务数据到人社过程数据的初始化，实现从人社业务数据库到人社业务过程数据库的增量同步；档案信息初始化模块，用于定义、调度、执行档案信息初始化任务，完成对人社业务过程数据的抽取、转换、清洗和整合，将结果存储到人社人员档案袋数据库；增量消息存储模块，接收增量同步模块的增量消息，为档案信息增量计算模块提供触发流计算的增量消息流；本发明以人社业务数据为数据源，利用大数据处理技术和分布式存储技术构建一种准确、实时的人员档案袋。

主权项

1.基于大数据的人社人员档案袋数据库的构建系统，其特征是，包括：人社业务数据库，一方面为人社人员档案袋数据库的初始化提供原始数据来源，另一方面为数据的增量计算提供消息流LCRs；业务数据同步模块，用于完成数据从业务数据到人社过程数据的初始化，实现从人社业务数据库到人社业务过程数据库的增量同步；所述业务数据同步模块，包括：初始化模块和增量同步模块；所述初始化模块，用于加载各地市人社业务数据库中的数据，将数据导入到分布式存储的人社业务过程数据库中，完成数据从业务数据到人社过程数据的初始化；所述增量同步模块，用于读取AQ模块中的XML格式的增量消息流，将增量消息流转换成HBase数据库可识别的数据定义语言和数据操作语言，并将转换后的消息流应用到人社业务过程数据库的Hbase数据库中，实现从人社业务数据库到人社业务过程数据库的增量同步，AQ模块即高级队列；档案信息初始化模块，用于定义、调度、执行档案信息初始化任务，完成对人社业务过程数据的清洗、转换、计算和整合，并将处理结果存储到人社人员档案袋数据库；所述档案信息初始化模块，包括：Spark作业定义模块、Spark作业调度模块、Spark任务调度中间件和Spark计算任务池；所述Spark作业定义模块，根据人社人员档案袋数据库不同的信息模块，定义相应的计算任务，每一个计算任务中都包含对数据的清洗、转换、计算和整合操作；所述Spark作业调度模块，根据Spark作业定义模块中关于作业的定义，将作业定义发送到Spark任务调度中间件进行调度执行；所述Spark任务调度中间件，用于接收Spark作业定义消息，发起Spark任务调度，调度Spark计算任务池中的计算任务进行清洗、转换、计算和整合，然后保存到人员档案袋数据库中，完成Spark作业定义中指定的数据计算模块的数据初始化；所述Spark计算任务池，包含若干个计算任务，每一个计算任务对应人社人员档案袋数据库中不同的计算模块，整个计算任务池完全覆盖整个人社人员档案袋数据库的全部计算模块；增量消息存储模块，接收来自增量同步模块的增量消息，为档案信息增量计算模块提供触发流计算的增量消息流；档案信息增量计算模块，用于定义、调度、执行档案信息增量计算拓扑任务，根据来自增量消息存储模块中的增量消息流，完成对增量消息流中所涉及的人社业务过程数据的清洗、转换、计算和整合，并将处理结果同步更新到人社人员档案袋数据库；所述档案信息增量计算模块，包括：Storm作业定义模块、Storm作业调度模块、Storm增量计算拓扑任务池；所述Storm作业定义模块，根据人社人员档案袋数据库的不同的信息计算模块，定义相应的计算拓扑，每一个计算拓扑中包含对数据的清洗、转换、计算和整合操作；所述Storm作业调度模块，根据Storm作业定义模块中关于作业的定义，调度执行Storm增量计算拓扑任务池中的计算拓扑，对数据进行清洗、转换、计算和整合操作，实现数据从人社业务过程数据库到人社人员档案袋数据库的数据增量同步；所述Storm增量计算拓扑任务池，包含若干计算拓扑，每一个计算拓扑对应人社人员档案袋数据库中唯一的计算模块和计算节点，整个计算拓扑任务池完全覆盖整个人社人员档案袋数据库的全部计算模块和计算节点，计算拓扑任务池能够实现计算拓扑修改和定义；人社数据存储模块，用于一方面为人社业务过程数据提供分布式存储支持，构建人社业务过程数据库，另一方面为人社人员档案袋数据库提供分布式的文档格式数据存储，构建人社人员档案袋数据库。