[发明专利]一种实现基于多任务的数据请求方法

摘要

本发明公开了一种实现基于多任务的数据请求方法，涉及计算机数据处理领域。该方法包括：将数据库中存储的记录集合按预设拆分成多个数据单页，同时，按照预设设置数据单页中记载的记录数，并对每个数据单页进行页索引；获取第n页数据的请求的同时，获取数据单页的总页数m；根据未加载的数据单页的总页数设置动态分配的任务数，所述动态分配的任务数为m，并设置每条任务所需加载的数据单页；按照任务的编号顺次执行加载，直至加载完m页数据单页为止；将已加载完的数据单页按照页索引顺序合并到数据表中。本发明相对于传统的分页数据请求算法，不仅有效降低单次请求数据对服务的压力，还可以有效提升数据加载的速度。

主权项

1.一种实现基于多任务的数据请求方法，其特征在于，该方法包括：/n步骤S1，将数据库中存储的记录集合按预设拆分成多个数据单页，同时，按照预设设置数据单页中记载的记录数，并对每个数据单页进行页索引；/n步骤S2，获取第n页数据请求的同时，获取数据单页的总页数m；/n步骤S3，根据未加载的数据单页的总页数设置动态分配的任务数，所述动态分配的任务数为m，并设置每条任务所需加载的数据单页，具体为：/n设置编号为1的任务加载第n数据单页；设置编号为2的任务加载第n+1数据单页；设置编号为3的任务加载第n+2数据单页；直至设置编号为m的任务加载第n+m-1数据单页；/n步骤S4，按照任务的编号顺次执行加载，直至加载完m页数据单页为止；将已加载完的数据单页按照页索引顺序合并到数据表中；/n步骤S4，采用实时任务管理按照任务的编号顺次执行加载，所述实时任务管理，具体按照下述步骤实现：/n步骤S41，将需要进行加载的任务按照优先级排序；从编号为1的任务开始，按需加入到任务执行列队中；并调动与所述编号为1的任务相对应的线程进行加载数据单页；/n步骤S42，判断任务执行列队中的任务数是否达到任务执行列队的上限，如果是，则执行程序休息一定时间t，所述t为预先设置休息时间；如果否，则进入步骤S43；/n步骤S43，判断待执行任务列表中的任务是否为空，如果否，按优先级获取任务A则进入S44；/n步骤S44，将任务A添加到任务执行列队，并获取执行所述任务A的线程A；/n步骤S45，执行并完成任务A，获取与所述任务A相对的数据单页实体数据；/n当加载完成任务A时，将与执行所述任务A的线程添加到空闲线程池中；/n步骤S43中，判断所述待执行任务列表中的任务是否为空，同时还进行线程池监控，还包括以下步骤：/n如果为空，则判断线程池中已有的线程的数目是否小于最大运行的任务数，如果是，则创建新线程，加入到空闲线程池并启动；如果否，则执行程序休息一定时间t，所述t为预先设置休息时间；/n如果不为空，则判断空闲线程池中的线程数是否大于最小预留执行任务数；如果是，则将多余的线程从空闲线程池中删除并销毁；如果否，则执行程序休息一定时间t，所述t为预先设置休息时间；/n所述每个数据单页包括头部信息和序列化的实体数据集；所述头部信息包括页索引、记录数和总页数；/n步骤S2，获取请求第n页数据的请求的同时，获取数据单页的总页数m，具体按照下述步骤实现：/n获取第n数据单页中的记录数和数据集中的总数据数，计算得到数据单页的总页数m，并将所述总页数添加到每个数据单页包括头部信息中；/n步骤S4中，将已加载完的数据单页按照页索引顺序合并到数据表中，具体按照下述步骤实现：/n根据页索引将已请求完成的数据单页进行排队，按照页索引顺序，从起始页开始，获取连续的数据单页，提取数据单页中的实体数据，反序列化后，进行合并，得到一个完整的数据表格；/n未被选择的任务所对应的数据单页存储在缓存服务器中，当收到加载任意一个数据单页的请求页数据请求时，直接从缓存服务器中提取该数据单页。/n