[发明专利]数据抽样方法、装置、设备及存储介质

说明书

本发明涉及金融科技领域，本发明公开了一种数据抽样方法、装置、设备及存储介质，所述数据抽样方法包括：统计多个待计算节点的数据条目总数，并根据预设的待抽取数据条目数和所述数据条目总数，获得抽样比率；获取各待计算节点中原数据块的剩余未分配数据条目总数，并根据所述剩余未分配数据条目总数和所述抽样比率，获得各待计算节点的剩余应抽样数据条目数；根据所述剩余应抽样数据条目数从原数据块中抽取目标数据记录，并将所述目标数据记录保存至抽样结果数据库中。本发明解决传统分布式数据指定数量的抽样结果不准确的技术问题。

技术领域

本发明涉及金融科技技术领域，尤其涉及一种数据抽样方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链 Blockchain、人工智能等)应用在金融领域，传统金融工业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

现有的金融大数据分析挖掘需要从庞大数据量中进行分析处理，而数据之间的差异性会导致数据分布不均衡，传统的随机抽样方法的抽样结果容易与指定数值产生较大差异，使得精确度较低，这会造成抽取指定数量的随机数据时，抽取结果不准确，从而降低指定数量的数据抽取准确性，影响数据分析的可靠性和精准度。

因此，如何提高指定数量的数据抽样准确性，是当前亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种数据抽样方法、装置、设备及存储介质，旨在解决传统分布式数据指定数量的抽样结果不准确的技术问题。

为实现上述目的，本发明实施例提供一种数据抽样方法，所述数据抽样方法包括：

统计多个待计算节点的数据条目总数，并根据预设的待抽取数据条目数和所述数据条目总数，获得抽样比率；

获取各待计算节点中原数据块的剩余未分配数据条目总数，并根据所述剩余未分配数据条目总数和所述抽样比率，获得各待计算节点的剩余应抽样数据条目数；

根据所述剩余应抽样数据条目数从原数据块中抽取目标数据记录，并将所述目标数据记录保存至抽样结果数据库中。

可选地，所述将所述目标数据记录保存至抽样结果数据库中的步骤之前还包括：

获取预设的随机数种子；

获取所述待计算节点的节点编号，并根据所述随机数种子和所述节点编号生成随机数；

若所述剩余未分配数据条目总数和所述随机数的乘积值小于所述剩余应抽样数据条目数，则将目标数据记录保存至抽样结果数据库；

若所述剩余未分配数据条目总数和所述随机数的乘积值大于或等于所述剩余应抽样数据条目数，则将目标数据记录丢弃。

可选地，所述获得各待计算节点的剩余应抽样数据条目数的步骤之后还包括：

若所述剩余应抽样数据条目数中存在非整数形式的目标剩余应抽样数据条目数，则对所述目标剩余应抽样数据条目数进行取整处理；

在取整处理后，从各待计算节点中确定目标待补偿节点，并根据所述待抽取数据条目数和所述剩余应抽样数据条目数对所述目标待补偿节点进行补偿处理，以更新所述目标待补偿节点的剩余应抽样数据条目数。

可选地，所述剩余应抽样数据条目数以层剩余应抽样数据条目数表示，所述根据所述剩余未分配数据条目总数和所述抽样比率，获得各待计算节点的剩余应抽样数据条目数的步骤包括：

若检测到预设的特征分层指令，则对各待计算节点中剩余未分配数据条目总数的数据记录进行特征分层处理，以获得每个待计算节点中各特征分层的层剩余未分配数据条目总数；