[发明专利]一种数据检索优化方法、装置和计算机设备

说明书

本发明提供了一种数据检测优化方法、装置和计算机设备。涉及数据存储领域，解决了现有的Trie树存储管理方式占用的存储空间非常大及影响查询索引效率的问题。该方法包括：按照前缀树自根节点向叶子节点的方向，比较检索的字符串或字符串集合与前缀树；查询当前匹配到的中间节点的可跳过的节点数；跳过所述可跳过的节点数，继续比较检索的字符串或字符串集合与所述前缀树；在存在与所述检索的字符串或字符串集合匹配的叶子节点时，返回所述叶子节点的数据。本发明提供的技术方案适用于前缀树存储，实现了低内存消耗、高检索效率的文件管理。

技术领域

本发明涉及数据存储领域，尤其涉及一种数据检索优化方法、装置和计算机设备。

背景技术

前缀树或者字典树(Trie树)是一种树形结构，多用于统计、索引和排序大量的字符串，所以经常被用于海量数据的内存索引和搜索引擎系统，对文本词频进行统计。它的优点是最大限度地减少无谓的字符串比较，查询效率比较高。

Trie树的核心思想是空间换时间，Trie适用于存在大量公共前缀的字符串，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。但通常使用标准Trie来做海量字符串的内存索引时内存消耗较大，索引效率低。

发明内容

本发明旨在解决上面描述的问题。

根据本发明的第一方面，提供了一种数据检索优化方法，包括：

按照前缀树自根节点向叶子节点的方向，比较检索的字符串或字符串集合与前缀树；

查询当前匹配到的中间节点的可跳过的节点数；

跳过所述可跳过的节点数，继续比较检索的字符串或字符串集合与所述前缀树；

在存在与所述检索的字符串或字符串集合匹配的叶子节点时，返回所述叶子节点的数据。

优选的，所述可跳过的节点数为：

在查找的字符串值指向单分支节点时，从单分支起始的节点至单分支结束的节点之间的节点数量。

优选的，按照前缀树自根节点向叶子节点的方向，比较检索的字符串或字符串集合与前缀树的步骤之前，还包括：

对原始前缀树的单分支节点进行裁剪；

创建位图数组，所述位图数组中的位图元素与所述原始前缀树中的中间节点一一对应，一个位图元素存储所述原始前缀树中一个中间节点的分支信息；

创建跳数数组，所述跳数数组中的元素与所述原始前缀树的中间节点一一对应，一个跳数数组中的元素存储所述原始前缀树中一个中间节点裁剪掉的从单分支起始的节点至单分支结束的节点之间的节点数量；

创建叶子节点数组，所述叶子节点数组中的元素与用户数据一一对应，一个叶子节点数组中的元素存储所述原始前缀树中一个索引字符串对应的文件位置。

优选的，查询当前匹配到的中间节点的可跳过的节点数的步骤包括：

根据当前匹配的中间节点查找所述跳数数组；

在所述中间节点对应的所述跳数数组中的元素存储有所述中间节点作为单分支起始的节点至单分支结束的节点之间的节点数量时，以所述节点数量作为可跳过的节点数。

优选的，所述跳数数组、位图数组和叶子节点数组的元素均为限制预设存储容量所能表示的最大数组元素个数。

优选的，所述限制预设存储容量为2byte。

根据本发明的另一方面，还提供了一种数据检索优化装置，包括：

跳数匹配模块，用于查询当前匹配到的中间节点的可跳过的节点数；