[发明专利]一种数据处理方法、装置及系统

说明书

技术领域

本申请涉及数据存储及查询技术领域，特别涉及一种数据处理方法、装置及系统。

背景技术

随着计算科学与信息化工程的发展，对于某一服务器来说，待处理的数据呈指数增长，数据量达到或超过了TP、PB级别。而随着数据量的增加，对服务器的存储能力要求越来越高，同时，对数据查询的性能相对下降。

目前，亟需一种数据处理方案解决大数据量的存储及查询问题。

发明内容

本申请所要解决的技术问题是提供一种数据处理方法、装置及系统，用以解决现有技术中无法解决大数据量的存储及查询的技术问题。

本申请提供了一种数据处理方法，应用于预设的数据存储单元，所述数据存储单元包括至少两个节点链表，第一节点链表中的各个数据节点依据其实际数据值以预设排序规则链接，所述顶层节点链表包括表头数据节点和至少一个中间数据节点，且每个所述数据节点的数据内容为其实际数据值与其前一个非空数据节点的实际数据值的差值，以预设节点选定规则在所述顶层节点链表中选取部分中间数据节点，将选取的部分中间数据节点与所述表头数据节点组成第二节点链表，且所述第二节点链表中各个数据节点之间的链接顺序与其在所述第一节点链表中的顺序一致，依据第二节点链表的组成规则获取其他节点链表及顶层节点链表，所述方法包括：

接收数据查询请求，所述数据查询请求包括待查询数据节点的数据值标识；

在所述顶层节点链表中查询是否含有与所述数据值标识相对应的数据节点，如果是，返回所述顶层节点链表中查询到的数据节点，结束当前数据处理，否则，确定所述顶层节点链表中的第一目标数据节点，所述数据值标识对应的数据值介于所述第一目标数据节点的实际数据值与其所在所述顶层节点链表中下一个数据节点的实际数据值之间；

在所述顶层节点链表的下一层节点链表中所述第一目标数据节点的后续数据节点中，查询是否含有与所述数据值标识相对应的数据节点，如果是，返回当前节点链表中查询到的数据节点，结束当前数据处理，否则，确定所述当前节点链表中的第二目标数据节点，所述数据值标识对应的数据值介于所述第二目标数据节点的实际数据值与其所在所述当前节点链表中下一个数据节点的实际数据值之间，继续在所述当前节点链表的下一层节点链表中所述第二目标数据节点的后续数据节点中，查询是否含有与所述数据值标识相对应的数据节点，直到在所述数据存储单元中查询到与所述数据值标识相对应的数据节点，结束当前数据处理。

上述方法，优选的，所述预设排序规则为由小到大或由大到小的排序规则；

所述第一节点链表中的各个数据节点依据其实际数据值以预设排序规则链接包括：

将所述第一节点链表中的各个数据节点以由小到大或由大到小的排序规则排序；

其中，所述第一节点链表中，每个所述数据节点存储其下一个非空数据节点的地址信息。

上述方法，优选的，所述每个所述数据节点的数据内容为其实际数据值与其前一个非空数据节点的实际数据值的差值包括：

所述第一节点链表中，每个所述数据节点存储其实际数据值与其前一个非空数据节点的实际数据值的差值，所述差值作为其所属数据节点的数据内容。

本申请还提供了一种数据处理装置，应用于数据存储单元，所述数据存储单元包括至少两个节点链表，第一节点链表中的各个数据节点依据其实际数据值以预设排序规则链接，所述顶层节点链表包括表头数据节点和至少一个中间数据节点，且每个所述数据节点的数据内容为其实际数据值与其前一个非空数据节点的实际数据值的差值，以预设节点选定规则在所述顶层节点链表中选取部分中间数据节点，将选取的部分中间数据节点与所述表头数据节点组成第二节点链表，且所述第二节点链表中各个数据节点之间的链接顺序与其在所述第一节点链表中的顺序一致，依据第二节点链表的组成规则获取其他节点链表及顶层节点链表，所述装置包括：

请求接收单元，用于接收数据查询请求，所述数据查询请求包括待查询数据节点的数据值标识；

第一查询单元，用于在所述顶层节点链表中查询是否含有与所述数据值标识相对应的数据节点，如果是，返回所述顶层节点链表中查询到的数据节点，结束当前数据处理，否则，确定所述顶层节点链表中的第一目标数据节点，触发第二查询单元，所述数据值标识对应的数据值介于所述第一目标数据节点的实际数据值与其所在所述顶层节点链表中下一个数据节点的实际数据值之间；