[发明专利]数据报表导出方法、服务器及计算机可读存储介质

说明书

本发明公开了一种数据报表导出方法，该方法包括：每次从待导出的数据中读取m条数据，同时将总计数器c加1；为所述m条数据分配一个队列q(i)；将所述m条数据写入所述队列q(i)进行处理，并将所述队列q(i)对应的队列计数器n加1；读取所述队列q(i)中处理后的数据，并写入数据报表。本发明实施例还公开了一种服务器和计算机可读存储介质。由此，能够使用多个队列协调处理，减少阻塞时间和内存空间占用。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据报表导出方法、服务器及计算机可读存储介质。

背景技术

Web系统在导出数据到数据报表(Excel)时，传统方式使用读取数据、处理数据、写入报表的流水线流程，在每一步操作时可能都需要等待前一步操作处理完毕。当需要大量数据(例如大于10万条，且列数比较多)时，很可能由于导出时间过久而让用户产生不好的体验。例如，在处理数据和写入报表时读取数据阻塞，在读取数据时处理数据和写入报表阻塞，会浪费较多时间。另外，在读取数据时I/O处于空闲状态，在写入报表时CPU处于空闲状态，也会造成资源浪费。

发明内容

本发明的主要目的在于提出一种数据报表导出方法及对应的服务器，旨在解决在导出至数据报表的数据量比较大时，速率较慢的问题。

为实现上述目的，本发明提供的一种数据报表导出方法，该方法包括步骤：

每次从待导出的数据中读取m条数据，同时将总计数器c加1；

为所述m条数据分配一个队列q(i)；

将所述m条数据写入所述队列q(i)进行处理，并将所述队列q(i)对应的队列计数器n加1；及

读取所述队列q(i)中处理后的数据，并写入数据报表。

可选地，该方法在所述从待导出的数据中读取m条数据的步骤之前还包括步骤：

根据需要导出的数据量设置队列个数N。

可选地，针对每个所述队列q(i)，所述读取所述队列q(i)中处理后的数据，并写入数据报表的步骤并发进行。

可选地，所述为所述m条数据分配一个队列q(i)的步骤包括：

根据预设指针和所述队列的个数N，计算所分配的队列编号i，将所述m条数据分配至N个队列中的一个，其中，所述预设指针为i＝c％N。

可选地，在所述读取所述队列q(i)中处理后的数据，并写入数据报表的步骤中：

针对所述队列q(i)中的m条数据，从所述数据报表的第index行开始写入，其中index＝N(n-1)*m+i*m。

可选地，所述根据需要导出的数据量设置队列个数N的步骤包括：

设置一个或多个数据量阈值；

根据所述数据量阈值得到多个数据量区间；

针对每个数据量区间，设置对应的队列个数N；

判断所述需要导出的数据量所处的数据量区间，从而得到对应的队列个数N。

此外，为实现上述目的，本发明还提出一种服务器，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据报表导出程序，所述数据报表导出程序被所述处理器执行时实现如下步骤：

每次从待导出的数据中读取m条数据，同时将总计数器c加1；

为所述m条数据分配一个队列q(i)；

将所述m条数据写入所述队列q(i)进行处理，并将所述队列q(i)对应的队列计数器n加1；及