[发明专利]一种通用的大数据采集字节流解析系统及其实现方法

摘要

本发明涉及计算机应用技术领域，特别是一种通用的大数据采集字节流解析系统及其实现方法。本发明由字节流预处理器和二维表解析器构成。字节流预处理器根据约定自动校验数据并根据压缩和加密方式自动选择相应的解压和解密方法对数据进行预处理；二维表解析器按照字节流格式定义二维表，用行和行组存储数据信息，用列标明每个字段的名称、数据类型和长度，读入数据字节流后，根据每一列定义的比特长度将字节流分割成多个字段，再根据数据类型将分割好的字节流解析成相应的信息；通过读取行或者行组里的多个行获取数据或者集合信息，通过列的字段名称读取数据行的具体字段信息。本发明避免重复定义和编写解析过程；可以适用于大数据采集中对结构复杂多样的数据进行统一的解析。

主权项

1.一种通用的大数据采集字节流解析系统，其特征在于：所述的系统由字节流预处理器和二维表解析器两部份构成；所述的字节流预处理器实现根据约定自动校验数据并根据压缩和加密方式自动选择相应的解压和解密方法对数据进行预处理；所述的二维表解析器实现按照字节流格式定义二维表，用行和行组存储数据信息，其中用行组存储集合数据；用列标明每个字段的名称、数据类型和长度；二维表解析器读入数据字节流，根据每一列定义的长度将字节流分割成多个字段，再根据数据类型将分割好的字节流解析成相应的信息；通过读取行或者行组里的多个行获取数据或者集合信息，通过列的字段名称读取数据行的具体字段信息。