[发明专利]一种导出数据的方法和系统

说明书

本发明公开了一种导出数据的方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：接收业务端发送的业务数据导出指令，所述业务端根据用户的业务数据需求生成该业务数据导出指令；根据所述业务数据导出指令，查询业务端数据库的业务数据，并基于查询获得的业务数据生成业务数据文件；将所述业务数据文件发送给用户。该实施方式能够与业务功能解耦，不影响业务功能使用，从而提高业务系统的用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种导出数据的方法和系统。

背景技术

随着业务的不断的迭代和发展，数据量也在不断的成倍增加，数据逐渐成为业务人员分析业务发展的关键参考，为此业务系统需要经常性的导出大量数据供业务人员使用。现有的导出数据的方式是，业务人员在业务系统前端创建一条导出任务，然后业务系统获取任务并执行，在业务系统的数据库中查询数据，最后将导出的数据发送到创建任务的业务人员的邮箱中。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的数据导出功能和本身业务功能相互耦合，当导出数据量到达百万级，千万级时经常占用大量业务机器的CPU、内存和I/O，可能会导致业务系统吞吐量降低等各种问题，影响业务功能使用，降低用户前端体验。

因此，亟需一种与业务功能解耦，不影响业务功能使用的导出数据的方法和系统。

发明内容

有鉴于此，本发明实施例提供一种导出数据的方法和系统，能够与业务功能解耦，不影响业务功能使用，从而提高业务系统的用户体验。

为实现上述目的，根据本发明实施例的一个方面，提供了一种导出数据的方法，包括：

接收业务端发送的业务数据导出指令，所述业务端根据用户的业务数据需求生成该业务数据导出指令；

根据所述业务数据导出指令，查询业务端数据库的业务数据，并基于查询获得的业务数据生成业务数据文件；

将所述业务数据文件发送给用户。

进一步的，所述根据业务数据导出指令，查询业务端数据库的业务数据，并基于查询获得的业务数据生成业务数据文件包括：

根据所述业务数据导出指令，在任务池中添加对应的业务数据导出任务；

从任务池中抓取业务数据导出任务并执行，以查询业务端数据库的业务数据，并基于查询获得的业务数据生成业务数据文件。

可选的，所述任务池中维护有每个业务数据导出任务的是否可执行状态，所述执行的业务数据导出任务是从任务池中抓取的可执行状态的业务数据导出任务；

所述方法还包括：

在任务池中添加业务数据导出任务后，将该业务数据导出任务设置为不可执行状态；

对任务池中设置为不可执行状态的业务数据导出任务执行下述步骤：

确定业务数据导出任务是否可以分解，若可以，则将该业务数据导出任务分解为多个子任务，将每个子任务分别作为新的业务数据导出任务添加到任务池，否则，将该业务数据导出任务更新为可执行状态。

可选的，若指定业务数据导出指令，用于指示导出包括主表数据和从表数据的业务数据，

查询业务端数据库的业务数据包括：

在业务端数据库的主库或从库查询主表数据，在查询缓存中查询从表数据，若所述查询缓存中不存在该从表数据，则在业务端数据库的主库或从库查询该从表数据，所述查询缓存中预保存有所述业务端数据库的部分从表数据。

可选的，所述查询缓存包括内存缓存和磁盘缓存，所述内存缓存中预保存有所述从表数据中的热数据，所述磁盘缓存中预保存有所述从表数据中的冷数据；