[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：与终端建立长连接通道，加载待处理的数据文件；动态计算所述数据文件的每个分组的最大数据条数，并以分组为单位对所述数据文件进行业务处理；每处理完一个分组数据，则根据所述数据文件的处理结果得到进度数据，并通过所述长连接通道将所述进度数据推送至所述终端。该实施方式能够解决终端展示的进度条不能准确反应服务端数据处理的真实进度的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

使用数据文件(比如excel文件)导入数据是将数据大批量录入系统的常用方式，而数据处理进度与业务复杂度、数据量大小、当前服务器繁忙程度等诸多因素有关，这也导致数据文件最终处理完成所需耗时也是不确定的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

目前导入数据采用同步阻塞的方式，即终端在点击导入按钮后，阻塞等待直到服务端处理完成返回响应，等待过程中终端展示的进度条也是伪进度，不能准确反应服务端数据处理的真实进度，直到服务端响应处理完毕，终端才会将进度条渲染到完成状态，因此用户体验极差。此外，当数据量较大，业务处理较为复杂时，势必增加服务端的处理时间，若服务端迟迟不向终端返回响应，最终会导致请求超时、浏览器崩溃等风险。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，以解决终端展示的进度条不能准确反应服务端数据处理的真实进度的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：

与终端建立长连接通道，加载待处理的数据文件；

动态计算所述数据文件的每个分组的最大数据条数，并以分组为单位对所述数据文件进行业务处理；

每处理完一个分组数据，则根据所述数据文件的处理结果得到进度数据，并通过所述长连接通道将所述进度数据推送至所述终端。

可选地，动态计算所述数据文件的每个分组的最大数据条数，并以分组为单位对所述数据文件进行业务处理，包括：

计算所述数据文件的数据总条数；

根据预设的期望响应时长、上一分组数据的实际数据条数和实际处理时长计算下一分组数据的最大数据条数，对所述下一分组数据进行业务处理，并记录所述下一分组数据的实际处理时长。

可选地，根据预设的期望响应时长、上一分组数据的实际数据条数和实际处理时长计算下一分组数据的最大数据条数，包括：

将预设的期望响应时长乘以上一分组数据的实际数据条数并除以所述上一分组数据的实际处理时长，得到下一分组数据的最大数据条数。

可选地，对所述下一分组数据进行业务处理，包括：

将所述数据文件的数据总条数减去已处理数据的数据条数，得到待处理数据的数据条数；

若所述下一分组数据的最大数据条数小于所述待处理数据的数据条数，则将所述下一分组数据的最大数据条数作为所述下一分组数据的实际数据条数进行业务处理；

若所述下一分组数据的最大数据条数大于等于所述待处理数据的数据条数，则将所述待处理数据的数据条数作为所述下一分组数据的实际数据条数进行业务处理。

可选地，通过所述长连接通道将所述进度数据推送至所述终端之后，还包括：

若所述下一分组数据的最大数据条数大于等于所述待处理数据的数据条数，则在完成对所述下一分组数据的业务处理之后，关闭所述长连接通道。