[发明专利]数据抽样方法和装置

说明书

本发明公开了一种数据抽样方法和装置，其中，该方法包括：获取多条数据；根据多条数据中每一条数据的一个或多个属性值对多条数据进行分层，其中，每一条数据的一个或多个属性值中包括至少一个特定属性值，特定属性值是对该数据的其余属性值中的部分或全部进行机器学习得到的，其余属性值为一条数据中除特定属性值之外的其他属性值；从每一层数据中抽取至少一条数据作为抽样数据。本发明解决了由于传统数据抽样的分层标准是抽样数据中的明显属性，造成无法对隐藏的属性进行分层，影响抽样结果的准确性的技术问题。

技术领域

本发明涉及数据抽样领域，具体而言，涉及数据抽样的方法和装置。

背景技术

目前，现有技术的数据抽样方法需要对抽样数据的领域知识有一定了解，通过所了解的领域知识作为分层抽样的标准，比如，在一张统计用户信息的excel数据表格中，直接用该数据表中显示的某些列，即使用“性别”、“年龄”、“身高”等属性作为分层的标准，“性别”、“年龄”、“身高”等这些属性就是已知的领域知识。

所以上述现有技术中数据抽样方法存在两个问题：

1)在对某组数据的领域知识不了解或者了解有限的情况下，无法进行准确的数据抽样。

2)无法根据隐藏的属性来进行数据分层，此不足将会影响数据抽样的应用范围。例如，无法在上述excel表格中的已知属性“身高”、“体重”等数据中，得知其数据的隐藏属性“兴趣点”“购买力”等。

针对现有技术中存在数据抽样方法分层不准确的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据抽样方法和装置。以解决现有技术中存在数据抽样方法分层不准确的问题。

根据本发明实施例的一个方面，提供了一种数据抽样方法，包括：获取多条数据；根据所述多条数据中每一条数据的一个或多个属性值对所述多条数据进行分层，其中，所述每一条数据的一个或多个属性值中包括至少一个特定属性值，所述特定属性值是对该数据的其余属性值中的部分或全部进行机器学习得到的，所述其余属性值为一条数据中除特定属性值之外的其他属性值；从每一层数据中抽取至少一条数据作为抽样数据。

进一步地，上述特定属性值是对该数据的其余属性值中的部分或全部进行机器学习得到的包括：所述特定属性值是对该数据的其余属性值中的部分或全部进行机器学习中的聚类分析算法得到的。

进一步地，根据所述多条数据中每一条数据的一个或多个属性值对所述多条数据进行分层之前，所述方法还包括：根据所述每一条数据的所述其余属性值中的部分或全部进行机器学习得到所述至少一个特定属性值。

进一步地，根据所述多条数据中每一条数据的一个或多个属性值对所述多条数据进行分层包括：获取所述每一条数据的所有属性值的优先级；根据每一个属性值的优先级从所述所有属性值中筛选出所述一个或多个属性值；根据筛选出的所述一个或多个属性值对所述多条数据进行分层。

进一步地，获取所述每一条数据的所有属性值的优先级包括：根据对每一条数据的其余属性值中的部分或全部进行机器学习时的聚类标准确定优先级或者根据每一条数据的所有属性值确定优先级。

根据本发明的另一方面，提供了一种数据抽样装置，包括：获取单元，用于获取多条数据；分层单元，用于根据所述多条数据中每一条数据的一个或多个属性值对所述多条数据进行分层，其中，所述每一条数据的一个或多个属性值中包括至少一个特定属性值，所述特定属性值是对该数据的其余属性值中的部分或全部进行机器学习得到的，所述其余属性值为一条数据中除特定属性值之外的其他属性值；第一抽取单元，用于从每一层数据中抽取至少一条数据作为抽样数据。

进一步地，所述分层单元包括：聚类分析模块，用于所述数据的其余属性值中的部分或全部进行机器学习得到所述特定属性值。