[发明专利]业务数据处理方法、系统、计算机设备及存储介质

说明书

本发明提供了一种业务数据处理方法、系统、计算机设备和存储介质，业务数据的报表处理及展示技术领域；该方法包括根据目标表从数据库中获取至少包括进件单表、员工组织架构表以及客户表的取数源表；将所述取数源表存储至Hive库，并生成一一对应的Hive表；其中，与所述进件单表对应的Hive表为第一Hive分区表；根据预设逻辑处理规则，将多个所述Hive表进行关联，以生成第二Hive分区表；将所述第二Hive分区表以及所述员工组织架构表存储至HBase表，以获取并展示所述目标表。通过本申请，解决现有技术中业务数据处理的手工操作方式存在耗时耗力、工作效能低，已很难适应大数据时代需求问题，提高业务数据处理的工作效能，降低人力成本。同时，本发明还涉及区块链技术。

技术领域

本发明涉及业务数据的报表处理及展示技术领域，特别是涉及一种业务数据处理方法、系统、计算机设备和存储介质。

背景技术

随着金融贸易的竞争越发激烈，为了提高金融贸易的创收已经逐渐展开了金融数据的地空合一试点。鉴于在大数据时代的背景下，处理的数据都以T级、PB级来进行计算，传统技术对处理这样数量级的数据已经力不从心，诸如采用传统手工操作方式从电销系统数据采集后再下发到对应机构的直销从业者进行跟进，手动建立对应HBase表的Hive外部表，不仅操作冗余低效，而且Hive外部表需要对HBase的全表扫描，产生大量对HBase RegionServer的请求，导致任务执行期间服务器负载过高。此外，使用HBase Snapshot来实现的方式手工配置繁琐，例如，需要配置字段、过滤条件等，无法实现聚合、联合、排序等高级的抽数需求，如果业务的需求发生大的变化，还需要修改程序的执行逻辑。因此，从电销系统数据采集后再下发到对应机构的直销从业者进行跟进的手工操作的数据处理方式耗时耗力、工作效能低，已很难适应大数据时代的需求。

因此，如何实现业务数据处理的手工操作方式转变为程序自动化处理方式，以使业务数据处理的工作效能得以提高、人力成本得以降低，从而推动提升金融贸易的创收能力；尚未提出有效的解决方案。

发明内容

基于此，本发明提供了一种业务数据处理方法、系统、计算机设备和存储介质，以解决现有技术中业务数据处理的手工操作方式存在耗时耗力、工作效能低，已很难适应大数据时代需求的问题，从而提高了业务数据处理的工作效能，降低了人力成本，从而达到推动提升金融贸易创收能力的目的。

为实现上述目的，本发明提供一种业务数据处理方法，其包括：

根据目标表从数据库中获取至少包括进件单表、员工组织架构表以及客户表的取数源表；

将所述取数源表存储至Hive库，并生成一一对应的Hive表；其中，与所述进件单表对应的Hive表为第一Hive分区表；

根据预设逻辑处理规则，将多个所述Hive表进行关联，以生成第二Hive分区表；

将所述第二Hive分区表以及所述员工组织架构表存储至HBase表，以获取并展示所述目标表。

优选地，所述根据目标表从数据库中获取至少包括进件单表、员工组织架构表以及客户表的取数源表的具体步骤包括：

获取所述目标表中所需的源头数据字段的输入信号；

通过shell脚本执行sqoop命令，抽取oracle数据库中与所述源头数据字段相对应字段的取数源表；其中，所述取数源表至少包括进件单表、员工组织架构表以及客户表。

优选地，根据预设逻辑处理规则，将多个所述Hive表进行关联以生成第二Hive分区表的具体步骤包括：

识别所述第一Hive分区表中的地空标识；