[发明专利]一种利用简单路径特征优化树状结构数据的方法及系统

说明书

本发明提出利用简单路径特征优化的树状结构数据处理方法及系统，该方法包括步骤1，设置简单路径，其中所述简单路径为在数据定义的语法树中，从根节点到叶子节点最多只存在一个多值的域的路径；步骤2，通过在扁平行式结构数据中存储所述的简单路径上叶子节点的信息，获取路径上完整的嵌套结构；步骤3，在对列式数据查询过程中，需要将其组装为行式结构数据，通过简单路径的优化可以简化数据中的层次关系：仅通过叶子节点既可表示从根节点到叶子节点的路径而忽略路径中所有的非叶子节点。本发明中通过分析常见的半结构化数据，定义简单路径的概念，利用简单路径对STEED的数据存储、列式数据组装和查询过程进行了优化，提高了相关操作和功能的效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种利用简单路径特征优化树状结构数据的方法及系统。

背景技术

随着计算机网络和大数据处理技术的发展，传统关系型数据已经越来越不能满足网络和大数据环境下对数据定义和使用的要求，而以JSON和Protocol Buffers为代表的半结构化数据因为既能够充分的表达编程语言中对象(Object)的数据，同时还能够根据数据的格式变化对原有的数据格式进行修改和扩充，故而其在实际环境中被广泛的使用。

树状结构数据的定义：

T_value＝T_primitive|T_object|T_array

T_primitive＝string|number|boolean|null

Record＝T_object

如上所示，树状结构数据定义如下：

1.树状结构数据中的值可以是以下的3种：

object结构的数值；array结构的数值；原子类型的数值；

2.object结构的数值由花括号包括，内部由多个键值对(key value pair)对构成，键值对的个数可以是任意多个，但是要求不能有重复的key存在在object结构的对象中；

3.array结构的数据由方括号包括，内部由多个值(value)构成，值的个数可是任意多个，且可能会有重复的值出现；

4.原子类型的数据可以是字符串(string)，数值(number)，布尔值(boolean)和空(null)等；

5.如上2中所述的键值对中，键的取值只能是(string)类型的。

6.每一个树状结构的数据都是object结构的。

常见的数据的来源由以下几个方面：

1)数据资料(Data Feeds)

以twitter为代表的在网络中使用JSON格式对数据进行传输。用户及相关API程序可以通过监听相应的端口获得相应的数据更新。由于其数据内容丰富、结构相对复杂、数据来源比较稳定并且提供的数据量足够大，故本发明的实验和数据分析的过程中主要基于twitter数据集。如下，本发明分析了对twitter数据中的嵌套层次和重复域的个数进行了相应的分析。

2)在线数据服务(Online Data Service)

使用JSON格式的数据进行在线的数据服务。常见的类型为传输客户端的相应操作内容和返回对应的操作结果等。本发明研究了不同来源的在线数据服务的半结构化数据，例如雅虎(Yahoo)，新浪微博和IMDB等。通常用户可以使