[发明专利]获取数据集的方法和装置

说明书

本申请提供一种基于数据源产生数据集的方法，所述数据源存储于数据库表中，包括至少一个实体的若干实例的属性值；所述数据源的元数据包括数据源的所有实体的属性与数据库表字段的对应关系；所述方法包括：获取待产生数据集的描述信息；所述描述信息包括待产生数据集的输出实体及其输出属性，所述输出实体及其输出属性为数据源的实体及其属性的子集；根据输出实体的输出属性与数据库表字段的对应关系，生成数据库操作指令；执行所述操作指令，从所述数据库表中提取输出实体实例的输出属性值，并根据提取的输出属性值生成数据集。通过本申请的技术方案，降低了技术人员获取数据的门槛，同时减少了获取数据的工作量，提高了效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种获取数据集的方法和装置。

背景技术

随着技术发展和移动互联的普及，人们越来越习惯于利用各种网络应用完成日常的工作和生活事项，例如获取信息、交流沟通、购物娱乐等等，这些行为形成了海量数据，并且仍在呈井喷式膨胀。

对海量数据的挖掘和使用，能够为企业和管理者提供极有价值的客观依据以做出决策，这使得数据在几乎每一个行业都成为重要的资产。电子商务、O2O(Online ToOffline，线上到线下)、物流配送等领域正在利用数据协助企业不断地发展新业务、创新运营模式、改善生产和营销。数据的获取、储存、搜索、共享、呈现、分析，都成为了重要的研究课题。

数据通常保存在各种类型的数据库中。在对数据进行挖掘和使用前，技术人员需要先从保存的海量数据中得到自己需要的部分数据；或者说，从海量的数据源中提取出满足其挖掘和使用需求的数据，以生成自己的数据集。现有技术中，技术人员要知道所需的数据存放在哪个数据库的哪个表的哪个字段，然后在程序代码中编写SQL(Structured QueryLanguage，结构化查询语言)语句提取表中的数据，再利用提取的数据来构成自己的数据集。这对于不了解SQL的技术人员来说获取自己的数据集十分困难；即使对于熟悉SQL的技术人员，也需要花费很多时间来弄清楚自己需要的数据存放的具体物理表和物理字段，工作量大，效率低下。

发明内容

有鉴于此，本申请提供一种基于数据源产生数据集的方法，所述数据源存储于数据库表中，包括至少一个实体的若干实例的属性值；所述数据源的元数据包括数据源的所有实体的属性与数据库表字段的对应关系；所述方法包括：

获取待产生数据集的描述信息；所述描述信息包括待产生数据集的输出实体及其输出属性，所述输出实体及其输出属性为数据源的实体及其属性的子集；

根据输出实体的输出属性与数据库表字段的对应关系，生成数据库操作指令；

执行所述操作指令，从所述数据库表中提取输出实体实例的输出属性值，并根据提取的输出属性值生成数据集。

本申请还提供了一种基于数据源产生数据集的装置，所述数据源存储于数据库表中，包括至少一个实体的若干实例的属性值；所述数据源的元数据包括数据源的所有实体的属性与数据库表字段的对应关系；所述装置包括：

描述信息获取单元，用于获取待产生数据集的描述信息；所述描述信息包括待产生数据集的输出实体及其输出属性，所述输出实体及其输出属性为数据源的实体及其属性的子集；

操作指令生成单元，用于根据输出实体的输出属性与数据库表字段的对应关系，生成数据库操作指令；

操作指令执行单元，用于执行所述操作指令，从所述数据库表中提取输出实体实例的输出属性值，并根据提取的输出属性值生成数据集。