[发明专利]一种数据文件处理方法、装置、设备及储存介质

说明书

本发明实施例公开了一种数据文件处理方法、装置、设备及存储介质，其中，方法包括：通过生产者任务解析预设数据文件，得到预设数据文件中的数据信息；通过生产者任务将所述数据信息发送到消息中间件；通过至少两个消费者任务订阅消息中间件的消息主题，获取消息中间件中的数据信息；通过至少两个所述消费者任务对数据信息进行预设业务逻辑处理。本发明实施例的方案提高了数据文件处理的速率。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据文件处理方法、装置、设备及储存介质。

背景技术

两个业务系统之间的大型数据交互都先把数据组装成文件，以文件的形式进行传输，以保证数据的完整性。这里就需要能快速处理文件中大量的数据。

现有处理数据文件中的数据的方式，是一边解析数据文件，一边处理解析得到的数据，解析数据文件和处理数据用一个线程任务串行处理。

但现有技术中的数据文件处理方式，采用一个任务进行数据解析和数据处理两方面的工作，其处理速度存在瓶颈，即便数据文件解析速度较快，但处理数据的速度慢，导致整体处理效率低。

发明内容

本发明实施例提供一种数据文件处理方法、装置、设备及储存介质，以提高数据文件处理的速率。

第一方面，本发明实施例提供了一种数据文件处理方法，该方法包括：通过生产者任务解析预设数据文件，得到所述预设数据文件中的数据信息；

通过所述生产者任务将所述数据信息发送到消息中间件；

通过至少两个消费者任务订阅所述消息中间件的消息主题，获取所述消息中间件中的所述数据信息；

通过至少两个所述消费者任务对所述数据信息进行预设业务逻辑处理。

第二方面，本发明实施例还提供一种数据文件处理装置，该装置包括：

预设数据文件解析模块：用于通过生产者任务解析预设数据文件，得到所述预设数据文件中的数据信息；

数据信息发送模块：用于通过所述生产者任务将所述数据信息发送到消息中间件；

数据信息获取模块：用于通过至少两个消费者任务订阅所述消息中间件的消息主题，获取所述消息中间件中的所述数据信息；

预设业务逻辑处理模块：用于通过至少两个所述消费者任务对所述数据信息进行预设业务逻辑处理。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的数据文件处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所提供的数据文件处理方法。

本发明实施例的方案通过生产者任务解析预设数据文件，将数据文件中的数据信息发送到消息中间件，并通过至少两个消费者任务获取消息中间件中的数据信息，进行预设业务逻辑处理，解决了单个任务进行数据解析和数据处理两方面的工作导致的整体效率低的问题，实现提高数据文件处理速率的效果。

附图说明

图1是本发明实施例一中的一种数据文件处理方法的流程图；

图2A是本发明实施例二中的一种数据文件处理方法的流程图；

图2B是本发明实施例二中列举的一种数据文件处理方法的场景图；