[发明专利]一种实现数据加工的方法和装置

说明书

本发明公开了一种实现数据加工的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：基于对接的多个业务系统获取请求数据加工的消息流，并确定所述消息流中各个消息的主题；根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表；其中，所述宽表为根据配置的宽表元数据得到的实例化组件；根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工。该方法能够统一处理多个业务系统的消息流，实现数据的实时加工，简化了数据加工逻辑的配置，以及，实现了清晰易读的数据加工关系与数据加工逻辑的统一化描述，降低了开发、维护成本，解决了实时数据加工逻辑描述复杂与开发维护困难的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种实现数据加工的方法和装置。

背景技术

对于实时数据加工的应用，目前存在的加工工具是以面向消息主题topic的逻辑配置加工方式进行的。其中，每一张宽表描述的数据可称为一个宽表模型。宽表模型的形成，即为数据加工的过程，将分散在不同业务系统或者库表中的同一领域数据，汇总到一张数据表中，以用来做数据的分析、聚合、查询与展示。由于数据是汇总数据，描述字段较多，所以叫宽表。同一个宽表模型，往往会由多个业务系统的topic数据汇总，现有技术是通过面向业务数据表的众多topic，将指定宽表模型的加工逻辑直接分散到了每一个topic加工逻辑中。具体的，接入业务系统，对于每个接入的业务系统的topic，编辑其topic加工逻辑，以及部署宽表模型的加工逻辑，以实现将该topic数据写入宽表模型中。

上述现有技术存在以下问题：1.宽表模型加工逻辑散乱，与实际业务主题关系模糊，只有开发者或者非常熟悉业务的人员才知道数据来源与分布，而且数据通过了怎样的处理写入宽表，逻辑也是分散的，开发人员往往需要经过很长时间的学习与熟悉系统后才能掌握，需要大量依靠人工记忆的加工逻辑。2.开发流程繁琐、维护难度较大，可读性严重不足，整体数据模型理解起来难度非常高，尤其是维护时，由于关联关系散乱，难于梳理，导致开发成本提高。3.维护阶段容易导致一处改，处处改，或者漏改等研发维护失误，增加了维护成本。

发明内容

有鉴于此，本发明实施例提供一种实现数据加工的方法和装置，能够统一处理多个业务系统的消息流，实现数据的实时加工，简化实时数据加工逻辑配置。以及，实现了清晰易读的数据加工关系与数据加工逻辑的统一化描述，降低了开发、维护成本。

为实现上述目的，根据本发明实施例的一个方面，提供了一种实现数据加工的方法。

本发明实施例的实现数据加工的方法包括：基于对接的多个业务系统获取请求数据加工的消息流，并确定所述消息流中各个消息的主题；根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表；其中，所述宽表为根据配置的宽表元数据得到的实例化组件；根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工。

可选地，在基于对接的多个业务系统获取请求数据加工的消息流，并确定所述消息流中各个消息的主题之后，根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表之前，还包括：根据确定的各个消息的主题，将所述消息流中的各个消息进行数据格式转换。

可选地，根据配置的宽表和主题的关联关系，将所述消息流中的各个消息分发给其主题所对应的宽表包括：针对确定的每个主题，根据配置的宽表和主题的关联关系，生成该主题对应的宽表记录清单，所述宽表记录清单中包括该主题所关联的宽表；根据所述宽表记录清单，将所述消息流中的消息分发给宽表记录清单中的每个宽表。

可选地，在根据所述宽表记录清单，将所述消息流中的消息分发给宽表记录清单中的每个宽表之前，还包括：根据配置的主题依赖关系，生成任务注册清单；其中，所述主题依赖关系指示了主题对应消息的数据加工顺序；

所述根据所述每个宽表的宽表元数据，对接收到的消息进行数据加工的步骤包括：根据所述任务注册清单以及所述每个宽表接收到的消息进行数据加工。