[发明专利]一种树状数据的行式和列式存储方法及系统

说明书

本发明提出一种树状结构数据的行式和列式存储的方法及系统。使用该方法支持对树状结构的文本数据读取并解析为行式或者列式的二进制格式进行存储。其中在解析的过程中，动态生成语法树，存储半结构化数据的定义；在查询过程中，STEED通过语法树中读取原有数据的相关结构信息，结合二进制数据中的内容完成查询相关的操作。如上所述的行式存储结构以记录为单位，内部定义了嵌套子结构表示半结构化数据的嵌套和重复域；如上所述的列式存储以语法树中从根到叶子节点的每条路径为单位，将全部记录中这条路径的值及其结构信息进行单独存储。本发明通过对半结构化数据存储结构的分析，简化了数据存储的结构并提高了其存储效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种树状数据的行式和列式存储方法及系统。

背景技术

随着计算机网络和大数据处理技术的发展，传统关系型数据已经越来越不能满足网络和大数据环境下对数据定义和使用的要求，而以JSON和Protocol Buffers为代表的半结构化数据因为既能够充分的表达编程语言中对象(Object)的数据，同时还能够根据数据的格式变化对原有的数据格式进行修改和扩充，故而其在实际环境中被广泛的使用。

树状结构数据的定义：

T_value＝T_primitive|T_object|T_array

T_primitive＝string|number|boolean|null

Record＝T_object

如上所示，树状结构数据定义如下：

1.树状结构数据中的值可以是以下的3种：

object结构的数值；array结构的数值；原子类型的数值；

2.object结构的数值由花括号包括，内部由多个键值对(key value pair)对构成，键值对的个数可以是任意多个，但是要求不能有重复的key存在在object结构的对象中；

3.array结构的数据由方括号包括，内部由多个值(value)构成，值的个数可是任意多个，且可能会有重复的值出现；

4.原子类型的数据可以是字符串(string)，数值(number)，布尔值(boolean)和空(null)等；

5.如上2中所述的键值对中，键的取值只能是(string)类型的。

6.每一个树状结构的数据都是object结构的。

常见的数据的来源由以下几个方面：

1)数据资料(Data Feeds)

以twitter为代表的在网络中使用JSON格式对数据进行传输。用户及相关API程序可以通过监听相应的端口获得相应的数据更新。由于其数据内容丰富、结构相对复杂、数据来源比较稳定并且提供的数据量足够大，故本发明的实验和数据分析的过程中主要基于twitter数据集。如下，本发明分析了对twitter数据中的嵌套层次和重复域的个数进行了相应的分析。

2)在线数据服务(Online Data Service)

使用JSON格式的数据进行在线的数据服务。常见的类型为传输客户端的相应操作内容和返回对应的操作结果等。本发明研究了不同来源的在线数据服务的半结构化数据，例如雅虎(Yahoo)，新浪微博和IMDB等。通常用户可以使