[发明专利]数据过滤的方法和装置

说明书

本申请提供一种数据过滤的方法，过滤规则由一个到多个标识以及对应于每个标识的筛选条件来表达，所述标识包括原始数据的至少一个列，所述方法包括：从原始数据中提取所述过滤规则涉及的所有标识指定的列，得到源数据；根据过滤规则的表达，依次采用各个标识对应的筛选条件对源数据的行记录进行过滤，得到目标数据。采用本申请的实施例后，改变标签所包括的列，即可适用于不同数据结构的原始数据，极大的简化了开发人员的工作；在进行数据过滤时，逐个针对标签指定的列适用对应的筛选条件，在简化处理运算的同时减少了处理的数据量，大大加快了数据过滤的速度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据过滤的方法和装置。

背景技术

如今几乎任何一家公司的经营都离不开数据。公司日常运营时在网络上生成的所有类型数据基本都会被捕捉和存储，对这些数据进行挖掘和分析后得出的结论，成为做出商务决策的重要依据。在进行数据分析时，稍具规模的公司通常需要从TB(TrillionByte，万亿字节)级别的原始数据中过滤出与某个具体的分析目标(如某项业务的某些指标)相关的数据记录，再对过滤出的数据进行统计和分析。

随着公司经营对数据的依赖日渐增加，对数据分析的时效性要求也越来越高。对不断产生的实时数据，需要在尽量短的时间内过滤出用于分析的数据记录。现有技术中，将来源于不同业务系统的原始数据先存储到关系型数据库中，再采用SQL(Structured QueryLanguage，结构化查询语言)语句从关系型数据库中过滤出所需的数据记录。由于不同的业务系统的数据通常有不同的结构，这种实现方式或者需要在存储到关系型数据库时进行数据结构的转换，或者需要对不同的数据结构采用不同的SQL语句，不论哪种都要由开发人员付出相当大的工作量。另外，在执行SQL语句时，将关系型数据库中的整条数据记录读入内存，然后将该条记录采用过滤的各个筛选条件，才能决定该条记录是否是目标数据，这种方式运行速度慢，难以满足在短时间内过滤大量数据的要求。

发明内容

有鉴于此，本申请提供一种数据过滤的方法，过滤规则由一个到多个标识以及对应于每个标识的筛选条件来表达，所述标识包括原始数据的至少一个列，所述方法包括：

从原始数据中提取所述过滤规则涉及的所有标识指定的列，得到源数据；

根据过滤规则的表达，依次采用各个标识对应的筛选条件对源数据的行记录进行过滤，得到目标数据。

本申请还提供了一种数据过滤的装置，过滤规则由一个到多个标识以及对应于每个标识的筛选条件来表达，所述标识包括原始数据的至少一个列，所述装置包括：

源数据提取单元，用于从原始数据中提取所述过滤规则涉及的所有标识指定的列，得到源数据；

源数据过滤单元，用于根据过滤规则的表达，依次采用各个标识对应的筛选条件对源数据的行记录进行过滤，得到目标数据。

由以上技术方案可见，本申请的实施例中，采用包括一个到多个原始数据列的标签、以及对应于标签的筛选条件来表达过滤规则，在从原始数据中提取出标签指定的列后，针对提取出的列逐个适用标识及其对应的筛选条件，过滤出目标数据。采用本申请的实施例后，改变标签所包括的列，即可适用于不同数据结构的原始数据，极大的简化了开发人员的工作；在进行数据过滤时，逐个针对标签指定的列适用对应的筛选条件，在简化处理运算的同时减少了处理的数据量，大大加快了数据过滤的速度。

附图说明

图1是本申请实施例中一种数据过滤的方法的流程图；

图2是本申请应用示例中一种标签组合、标签与标识的关系示意图；

图3是本申请应用示例中一种过滤方向的配置示例图；

图4是运行本申请实施例的设备的一种硬件结构图；