[发明专利]海量数据的处理方法、提取方法以及处理装置

说明书

技术领域

本发明涉及互联网云计算领域，特别涉及一种海量数据的处理方法、提取方法以及处理装置。

背景技术

随着计算机领域的飞速发展，信息量的增长达到了惊人的程度。海量数据的存储、提取、计算受到了广泛的关注。由于海量数据中的数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。海量数据对于软硬件要求高，系统资源占用率高。

在现有技术中，海量数据的提取可以采用直接提取的方法。但是这种提取速度较慢，不符合现在要求快速处理的慢了。海量数据还可以采用分页提取，即每次提取一小部分，这种方法虽然是可以把提取速度提升上来。但是还不是十分理想的,每一次使用者提取数据时候都需要等待。

此外，在海量数据的提取过程中，对于数据的准确性要求较高。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种海量数据的处理方法、提取方法以及处理装置，以提高海量数据的提取速度以及提取准确性，该方法包括：

响应于提取请求，从数据库中获取与所述提取请求对应的数据需求总量；

根据单次需求量以及数据需求总量，对数据库中的数据进行依序分组；

在提取出对应于提取请求的第一组数据后，根据组序依序对数据库中位于该组数据之后的数据进行缓存。

进一步的，在步骤“根据单次需求量以及数据需求总量，对数据库中的数据进行依序分组”包括：

设置单次需求量的数据量。

进一步的，在步骤“在提取出对应于提取请求的第一组数据后，根据分组依序对数据库中位于该组数据之后的数据进行缓存”之后还包括：

响应于需求请求，判断与该需求请求对应的数据的数据位置。

进一步的，在步骤“响应于需求请求，判断与该需求请求对应的数据的数据位置”包括：

如果与该需求请求对应的数据的数据位置位于完成的缓存的数据之内，则从数据库中提取与需求请求对应的该组数据。

进一步的，在步骤“如果与该需求请求对应的数据的数据位置位于完成的缓存的数据之内，则从数据库中提取与需求请求对应的该组数据”包括：

根据组序依序对数据库中位于对应于所述需求请求的数据之后的该组数据进行缓存。

进一步的，在步骤“响应于需求请求，判断与该需求请求对应的数据的数据位置”包括：

如果与该需求请求对应的数据的数据位置位于与所述提取请求对应的数据之外，则响应于需求请求，重新对数据库中的数据进行分组。

本发明实施例公开了一种海量数据的提取方法，包括：

判断与提取请求对应的数据是否位于缓存服务器中；

如果与提取请求对应的数据位于缓存服务器中，则提取与该提取请求对应的一组数据，并且在提取之后尽可能地依组序缓存位于该组数据之后的数据。

进一步的，包括：

如果与提取请求对应的数据位于缓存服务器中，则对数据库中的数据进行分组。

本发明实施例公开了一种海量数据的处理装置，包括：

获取模块，其用于响应于提取请求，从数据库中获取与所述提取请求对应的数据需求总量；

分组模块，其用于根据单次需求量以及数据需求总量，对数据库中的数据进行依序分组；

缓存模块，其用于在提取出对应于提取请求的第一组数据后，根据组序依序对数据库中位于该组数据之后的数据进行缓存。

进一步的，包括：

提取模块，其用于提取出缓存模块中的数据。

在本发明实施例中，通过根据提取请求对数据库中的数据进行分组，并且基于组序在提取出一组数据后，对其后的数据进行尽可能多地缓存，从而在提高提取速度的基础上，保证提取的准确性。

附图说明

图1是根据本发明实施例的海量数据的处理方法的流程图；

图2是根据本发明实施例的海量数据的提取方法的流程图；

图3是根据本发明实施例的海量数据的处理装置的结构框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本发明实施例提供了一种海量数据的处理方法，如图1所示，可以包括以下步骤：