[发明专利]数据导出方法和装置

说明书

本发明公开了一种数据导出方法和装置，涉及计算机技术领域。其中，该方法包括：将客户端提交的数据导出任务存储至第一数据库；通过异步线程从所述第一数据库读取待处理的数据导出任务，并对第一数据库中该数据导出任务的状态同步执行更新操作；在确认所述更新操作成功的情况下，对读取的数据导出任务进行处理，以从第二数据库查询得到对应的导出数据；将所述对应的导出数据的下载地址发送至所述客户端。通过以上步骤，能够优化数据导出流程，提升用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据导出方法和装置。

背景技术

在大数据平台中，常常会涉及数据导出的需求场景。例如，对于用户搜索词来说，平台会统计全站用户每天、每周或每月的全量搜索词及相关数据指标。通常情况下，用户很可能关心一批关键词的数据。对于此类需求，以数据导出的方式处理是比较合适的。

在现有技术中，数据导出方案主要包括以下步骤：1、用户设置数据导出的条件(比如日期、品类、渠道等)，然后提交数据导出请求，并等待后端发送结果；2、后端在接收到数据导出请求后，同步(立即)将所述数据导出请求中的导出条件组装成sql(结构化查询语言)语句，并执行sql语句；3、后端将执行sql语句获得的数据进行封装，然后将封装后的数据以文件形式发送至前端；4、前端显示文件下载进度，在文件下载完成后，用户可在文件中对所关心的关键词进行检索，以获取相关数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

第一、在提交数据导出请求后，用户还需要停留在当前页面等待系统响应。直到文件下载完成，用户才可以离开当前页面进行其它操作，用户体验较差。

第二、在多用户同时使用数据导出功能时，后端需要同时处理多用户的查询，导致数据库的查询压力较大。并且，高并发操作会占用较多的数据库连接以及网络带宽等资源，对系统的正常使用造成影响，甚至可能导致数据库崩溃。

第三、如果后端进行数据处理的时间过长，那么很有可能导致http连接超时，从而无法响应用户请求，导致用户无法导出数据。另外，在现有技术中，后端在对数据导出请求进行处理时，很可能出现同一进程、或多进程中的处理线程对同一数据导出请求重复处理的问题。

第四、用户在导出数据后，还需要对数据进行手动筛选才能获取所关心的数据，增加了使用难度，进一步降低了用户体验。

发明内容

有鉴于此，本发明提供一种数据导出方法和装置，能够优化数据导出流程，提升用户体验。

为实现上述目的，根据本发明的一个方面，提供了一种数据导出方法。

本发明的数据导出方法包括：将客户端提交的数据导出任务存储至第一数据库；通过异步线程从所述第一数据库读取待处理的数据导出任务，并对第一数据库中该数据导出任务的状态同步执行更新操作；在确认所述更新操作成功的情况下，对读取的数据导出任务进行处理，以从第二数据库查询得到对应的导出数据；将所述对应的导出数据的下载地址发送至所述客户端。

可选地，所述对第一数据库中该数据导出任务的状态同步执行更新操作包括：由“待处理”状态更新为“处理中”状态；所述方法还包括：在执行所述对读取的数据导出任务进行处理，以从第二数据库查询得到对应的导出数据的步骤之后，对第一数据库中该数据导出任务的状态再次执行更新操作：由“处理中”状态更新为“处理完成”状态。

可选地，所述方法还包括：在确认所述更新操作失败的情况下，通过所述异步线程从所述第一数据库读取下一条待处理的数据导出任务。