[发明专利]数据统计的方法、装置及服务器

说明书

本发明提供了一种数据统计的方法、装置及服务器，涉及数据统计的技术领域，该方法包括：获取分布式数据库中待统计数据集；将待统计数据集中所包括的数据在预设的多个数据节点中进行分片存储；对于每个数据节点所存储的数据，按照预设的分布式蓄水池算法进行采样处理，得到待统计数据集对应的抽样集；根据抽样集，以及预设的直方图参数构建直方图，以对待统计数据集进行统计分析。本发明提供的数据统计的方法、装置及服务器，可以对待统计数据集进行统计分析，而分布式蓄水池算法的采样处理过程，不仅能够实现待统计数据集的均匀采样，并且，也可以实现多个数据节点的并行处理，有效降低了耗时时间，进而提高了统计的效率。

技术领域

本发明涉及数据统计的技术领域，尤其是涉及一种数据统计的方法、装置及服务器。

背景技术

直方图(Histogram)是数据库提供的一种基础统计信息，用于描述列上的数据分布情况。在统计学中，直方图是一种对数据分布情况的图形表示，通常是一种二维统计图表，其两个坐标分别是统计样本(图像、视频帧)和样本的某种属性(亮度，像素值，梯度，方向，色彩等等任何特征)，其最典型的场景是估算查询谓词的选择率，以便选择合适的执行计划。在使用直方图进行数据分布统计时，由于数据量较大，因此多需要对数据进行采样处理，而目前的采样方式多采用全表扫描的方式，不仅耗时时间长，也降低了统计效率。

发明内容

有鉴于此，本发明的目的在于提供一种数据统计的方法、装置及服务器，以缓解上述技术问题。

第一方面，本发明实施例提供了一种数据统计的方法，包括：获取分布式数据库中待统计数据集；将所述待统计数据集中所包括的数据在预设的多个数据节点中进行分片存储；对于每个所述数据节点所存储的数据，按照预设的分布式蓄水池算法进行采样处理，得到所述待统计数据集对应的抽样集；根据所述抽样集，以及预设的直方图参数构建直方图，以对所述待统计数据集进行统计分析。

优选地，在一种可能的实施方式中，上述将所述待统计数据集中所包括的数据在预设的多个数据节点中进行分片存储的步骤，包括：获取预设的所述数据节点的数量，按照所述数量将所述待统计数据集中所包括的数据分成多个数据流，其中，所述数据流的数量与所述数据节点的数量一致；将所述数据流分别在所述数据节点中进行分片存储。

优选地，在一种可能的实施方式中，上述对于每个所述数据节点所存储的数据，按照预设的分布式蓄水池算法进行采样处理，得到所述待统计数据集对应的抽样集的步骤，包括：对于每个所述数据节点所存储的数据，按照预设的第一蓄水池算法进行并行采样，得到每个所述数据节点对应的采样集；从每个所述采样集中，按照预设的第二蓄水池算法依次进行采样，得到所述待统计数据集对应的抽样集。

优选地，在一种可能的实施方式中，上述按照预设的第一蓄水池算法进行并行采样，得到每个所述数据节点对应的采样集的步骤，包括：获取预先设置的数据量；按照预设的所述第一蓄水池算法从每个所述数据节点所存储的数据中并行抽取与所述数据量匹配的数据，以得到每个所述数据节点对应的采样集。

优选地，在一种可能的实施方式中，上述从每个所述采样集中，按照预设的第二蓄水池算法依次进行采样，得到所述待统计数据集对应的抽样集的步骤，包括：基于预先设置的所述数据量，从每个所述采样集中依次等概率不放回地抽取一个数据；将抽取的所述数据加入到所述抽样集中，直至所述抽样集中的数据的数量满足预先设置的所述数据量。

优选地，在一种可能的实施方式中，上述将抽取的所述数据加入到所述抽样集中，直至所述抽样集中的数据的数量满足预先设置的所述数据量的步骤，包括：如果所述采样集的数量大于所述数据量，当所述抽样集中的数据量达到预先设置的所述数据量时，将抽取的所述数据，随机替换所述抽样集中的任一一个数据，以保证从每个所述采样集中依次等概率不放回地抽取一个数据，且，所述抽样集中的数据的数量满足预先设置的所述数据量。