[发明专利]一种海量数据处理方法及系统

权利要求书

1.一种海量数据处理方法，其特征在于，包括：

获取用户输入的关键词；

根据预设的编码方式对所述关键词编码后得到对应的第一数据；其中，所述预设的编码方式为至少两种；

获取海量数据；

对所述海量数据按照对应的解码方式解码后得到对应的第二数据；

根据所述编码方式与对应的解码方式匹配所述第一数据和第二数据，并输出匹配结果；

通过学习以往的模板编写经验，对每个匹配结果进行统计排名，从一个关键字的多个匹配结果中选择统计排名靠前的几个；

其中，学习以往的模板编写经验包括：利用模板学习结果，简化匹配结果，输出一份可参考的模板文件。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述匹配结果进行关联分析，得到含关联信息的匹配结果；

将所述含关联信息的匹配结果根据数据上传格式和/或数据下载格式输出成相关格式文件。

3.根据权利要求1所述的方法，其特征在于，在对所述海量数据按照对应的解码方式解码后得到对应的第二数据之前，还包括：

将所述海量数据按各自协议格式解析到tcp、udp层并存储。

4.根据权利要求3所述的方法，其特征在于，在对所述海量数据按照对应的解码方式解码后得到对应的第二数据之前，还包括：

将解析后的数据按流进行流量统计和应用协议识别。

5.一种海量数据处理系统，其特征在于，包括：

关键词获取模块，用于获取用户输入的关键词；

关键词编码模块，用于根据预设的编码方式对所述关键词编码后得到对应的第一数据；其中，所述预设的编码方式为至少两种；

数据获取模块，用于获取海量数据；

数据解码模块，用于对所述海量数据按照对应的解码方式解码后得到对应的第二数据；

结果输出模块，用于根据所述编码方式与对应的解码方式匹配所述第一数据和第二数据，并输出匹配结果；

模板学习模块，用于通过学习以往的模板编写经验，对每个匹配结果进行统计排名，从一个关键字的多个匹配结果中选择统计排名靠前的几个；

其中，模块学习模块中包括匹配单元，用于利用模板学习结果，简化匹配结果，输出一份可参考的模板文件，以基于所述模板文件对每个匹配结果进行统计排名。

6.根据权利要求5所述的系统，其特征在于，还包括：

结果关联模块，用于将所述匹配结果进行关联分析，得到含关联信息的匹配结果；

格式输出模块，用于将所述含关联信息的匹配结果根据数据上传格式和/或数据下载格式输出成相关格式文件。

7.根据权利要求5所述的系统，其特征在于，还包括：

数据解析模块，用于在对所述海量数据按照对应的解码方式解码后得到对应的第二数据之前，将所述海量数据按各自协议格式解析到tcp、udp层并存储。

8.根据权利要求7所述的系统，其特征在于，还包括：

连接管理模块，用于在对所述海量数据按照对应的解码方式解码后得到对应的第二数据之前，将解析后的数据按流进行流量统计和应用协议识别。