[发明专利]一种基于大数据技术的人口基础数据库

摘要

本发明公开了一种基于大数据技术的人口基础数据库，包括DataX组件、Phoenix层和HIVE人口数据库；DataX组件用于实现数据的导入和导出，Phoenix层用于对外提供API数据查询服务；HIVE人口数据库用于接收、处理和存储来自外部的政务系统的人口数据，具体包括STG缓冲层、FDM基础层、IDM整合层、ADM集市层。本发明使用大数据技术架构，大大提升了人口基础数据库的数据容量，提高了性能并且更加易于扩展。

主权项

1.一种基于大数据技术的人口基础数据库，其特征在于，包括DataX组件、Phoenix层和HIVE人口数据库：DataX组件：外部的政务系统的人口数据通过DataX组件导入所述HIVE人口数据库，所述HIVE人口数据库通过DataX组件对外提供人口数据；Phoenix层：所述Phoenix层用于从HIVE人口数据库获取需要提供实时查询的人口数据，对外提供API数据查询服务；HIVE人口数据库：所述HIVE人口数据库用于接收、处理和存储来自外部的政务系统的人口数据；所述HIVE人口数据库具体包括STG缓冲层、FDM基础层、IDM整合层、ADM集市层；所述STG缓冲层用于通过DataX组件接收来自各个政务系统的原始人口数据后进行存放，对原始人口数据不作处理；其主题按政务系统划分，每个政务系统对应一个主题；所述FDM基础层用于对STG缓冲层所存储的原始人口数据进行清洗和标准化转换，并对不同政务系统中同一属性的表名和字段名进行统一后存储；其主题划分和所述STG缓冲层保持一致；所述IDM整合层用于整合经FDM基础层处理后的各个政务系统的人口数据，其包括事实表和维表，事实表用于存储实际的数据，维表用于存储事实表中对象的属性；所述IDM整合层的主题域按人生命周期活动规律划分为四个主题域，包括主要信息、出生死亡信息、关系、活动；所述主要信息主题域中包含人口的基本信息和除了基本信息以外的扩展信息，其中基本信息包括姓名、性别、出生日期、证件、民族、血型；出生死亡主题域包含与人口的出生死亡相关的属性；关系主题域包含社会关系属性；活动主题域包含犯罪信息；所述ADM集市层用于存储IDM整合层整合得到的人口数据，通过DataX组件对外提供数据服务；其主题域根据实际应用需要确定；所述Phoenix层中也设有ADM集市层，用于存储HIVE人口数据库的ADM集市层通过DataX组件所提供的需要提供实时查询的人口数据。