[发明专利]一种海量数据的查询处理方法及系统

说明书

本发明公开了一种海量数据的查询处理方法，包括以下步骤：根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；将规则信息保存到查询数据主体中；根据接口配置服务获取需要的规则唯一标识；根据规则唯一标识获取查询数据主体中对应的规则信息；将规则信息拆分为若干个步骤，根据步骤信息得到最终的结果数据。本发明提供的一种海量数据的查询处理方法及系统，能够通过规则唯一标识获取查询主体中对应的规则信息，并将规则信息进行拆分，能够准确查找到业务需要的数据信息并进行数据的处理，能够根据业务需求进行动态的数据分析，从而能够有效地提高数据查询处理的准确性和灵活性。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种海量数据的查询处理方法及系统。

背景技术

随着大数据时代的来临，面对日益增长的海量数据，如何更好的处理大数据，满足用户对大数据查询的高效、准确及个性化需求，已经逐渐引起人们的关注。

目前，现有技术中对数据进行查询处理，无法对产生的中间数据集进行动态的数据查询处理，也无法根据业务需求进行动态的数据查询处理。

发明内容

本发明提供的一种海量数据的查询处理方法及系统，能够将海量数据的结果集保存在中间结果集中，以被下一个或者第N个步骤引用，进行数据的二次查询处理；还能够根据业务需求进行动态的数据分析，有效地提高了数据查询处理的准确性和灵活性。

为实现上述目的，一方面，本发明的第一实施例提供了一种海量数据的查询处理方法，包括以下步骤：

根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

将所述规则信息保存到查询数据主体中；

根据接口配置服务获取需要的规则唯一标识；

根据所述规则唯一标识获取所述查询数据主体中对应的规则信息；

将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据。

进一步地，所述根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息，具体为：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到所述不同的业务数据对应的规则信息。

进一步地，所述规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

进一步地，所述将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据，具体为：

根据规则信息解析模块将所述规则信息拆分为若干个步骤，将经过第N个所述步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的结果数据集，其中，N和n均为大于1的正整数。

另一方面，本发明的第二实施例提供了一种海量数据的查询处理系统，所述系统包括第一规则信息获取模块、规则信息存储模块、规则唯一标识获取模块、第二规则信息获取模块和数据查询处理模块；

所述第一规则信息获取模块，用于根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

所述规则信息存储模块，用于将所述规则信息保存到查询数据主体中；

所述规则唯一标识获取模块，用于根据接口配置服务获取需要的规则唯一标识；

所述第二规则信息获取模块，用于根据所述规则唯一标识获取所述查询数据主体中对应的规则信息；

所述数据查询处理模块，用于将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据。

进一步地，所述第一规则信息获取模块具体用于：