[发明专利]一种实现数据加工的方法和装置

权利要求书

1.一种实现数据加工的方法，其特征在于，包括：

基于对接的多个业务系统获取请求数据加工的消息流，并确定所述消息流中各个消息的主题；

根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表；其中，所述宽表为根据配置的宽表元数据得到的实例化组件；

根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工。

2.根据权利要求1所述的方法，其特征在于，在基于对接的多个业务系统获取请求数据加工的消息流，并确定所述消息流中各个消息的主题之后，根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表之前，还包括：

根据确定的各个消息的主题，将所述消息流中的各个消息进行数据格式转换。

3.根据权利要求1所述的方法，其特征在于，根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表包括：

针对确定的每个主题，根据配置的宽表和主题的关联关系，生成该主题对应的宽表记录清单，所述宽表记录清单中包括该主题所关联的宽表；

根据所述宽表记录清单，将所述消息流中的消息分发给宽表记录清单中的每个宽表。

4.根据权利要求3所述的方法，其特征在于，

在根据所述宽表记录清单，将所述消息流中的消息分发给宽表记录清单中的每个宽表之前，还包括：根据配置的主题依赖关系，生成任务注册清单；其中，所述主题依赖关系指示了主题对应消息的数据加工顺序；

所述根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工的步骤包括：根据所述任务注册清单以及所述每个宽表接收到的消息进行数据加工。

5.根据权利要求1所述的方法，其特征在于，在根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工之后，还包括：

确定用于存储数据加工得到的宽表的数据源；其中，所述数据源至少包括以下一种：MySQL关系型数据库、Redis数据库、ElasticSearch。

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

针对确定所述消息流中各个消息的主题，和/或将所述消息流中的各个消息分发给其主题所对应的宽表，和/或根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工，创建监控任务列表；

基于所述监控任务列表，输出监控结果。

7.一种实现数据加工的装置，其特征在于，包括：

确定主题模块，用于基于对接的多个业务系统获取请求数据加工的消息流，并确定所述消息流中各个消息的主题；

消息分发模块，用于根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表；其中，所述宽表为根据配置的宽表元数据得到的实例化组件；

加工模块，用于根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工。

8.根据权利要求7所述的装置，其特征在于，消息分发模块还用于，针对确定的每个主题，根据配置的宽表和主题的关联关系，生成该主题对应的宽表记录清单，所述宽表记录清单中包括该主题所关联的宽表；根据所述宽表记录清单，将所述消息流中的消息分发给宽表记录清单中的每个宽表。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。