[发明专利]通过预计算优化搜索引擎分词的方法及搜索引擎分词装置

权利要求书

1.一种通过预计算优化搜索引擎分词的方法，其特征在于，包括以下步骤：

按照Trie树子节点的数目对分词词典中字符进行编码以生成序列码，其中，对所述Trie树子节点的数目多的字符优先进行编码；

根据所述序列码进行预计算以生成双数组Trie树的第一数组和第二数组；以及

根据所述序列码、所述第一数组和所述第二数组在所述分词词典中进行分词查询。

2.如权利要求1所述的通过预计算优化搜索引擎分词的方法，其特征在于，还包括：

将所述序列码、所述第一数组和所述第二数组转换为二进制文件，并生成相应的签名。

3.如权利要求2所述的通过预计算优化搜索引擎分词的方法，其特征在于，还包括：

将所述序列码、所述第一数组和所述第二数组进行尾部位置空间截断。

4.如权利要求1-3任一项所述的通过预计算优化搜索引擎分词的方法，其特征在于，所述按照Trie树子节点的数目对分词词典中字符进行编码以生成序列码进一步包括：

计算每个字符的Trie树子节点的数目；

根据所述Trie树子节点的数目依次对所述字符的内码进行哈希计算以生成所述序列码，并根据所述字符在所述分词词典中词语中的位置确定所述字符的节点位置。

5.如权利要求4所述的通过预计算优化搜索引擎分词的方法，其特征在于，所述根据序列码进行预计算以生成双数组Trie树的第一数组和第二数组进一步包括：

根据所述Trie树子节点的数目依次将所述序列码中的字符填入所述第一数组和所述第二数组。

6.如权利要求5所述的通过预计算优化搜索引擎分词的方法，其特征在于，其中，

如果所述字符所代表的词属于所述分词词典，则所述字符在所述第一数组中对应的值为0，或者所述字符在所述第二数组中对应的值为负值；

如果所述字符为中间节点，则所述字符在所述第一数组中对应的值非0。

7.如权利要求1-6任一项所述的通过预计算优化搜索引擎分词的方法，其特征在于，其中，

如果所述字符在所述第一数组中对应的值为负值，则表示向前查找空闲位置。

8.一种搜索引擎分词装置，其特征在于，包括：

序列码生成模块，用于按照Trie树子节点的数目对分词词典中字符进行编码以生成序列码，其中，对所述Trie树子节点的数目多的字符优先进行编码；

数组生成模块，用于根据所述序列码进行预计算以生成双数组Trie树的第一数组和第二数组；以及

分词查询模块，用于根据所述序列码、所述第一数组和所述第二数组在所述分词词典中进行分词查询。

9.如权利要求8所述的搜索引擎分词装置，其特征在于，还包括：

转换模块，用于将所述序列码、所述第一数组和所述第二数组转换为二进制文件，并生成相应的签名。

10.如权利要求9所述的搜索引擎分词装置，其特征在于，所述转换模块还用于将所述序列码、所述第一数组和所述第二数组进行尾部位置空间截断。

11.如权利要求8-10任一项所述的搜索引擎分词装置，其特征在于，所述序列码生成模块进一步包括：

计算子模块，用于计算每个字符的Trie树子节点的数目；以及

生成子模块，用于根据所述Trie树子节点的数目依次对所述字符的内码进行哈希计算以生成所述序列码，并根据所述字符在所述分词词典中词语中的位置确定所述字符的节点位置。

12.如权利要求11所述的搜索引擎分词装置，其特征在于，所述数组生成模块根据所述Trie树子节点的数目依次将所述序列码中的字符填入所述第一数组和所述第二数组。

13.如权利要求12所述的搜索引擎分词装置，其特征在于，其中，

如果所述字符所代表的词属于所述分词词典，则所述字符在所述第一数组中对应的值为0，或者所述字符在所述第二数组中对应的值为负值；

如果所述字符为中间节点，则所述字符在所述第一数组中对应的值非0。

14.如权利要求13所述的搜索引擎分词装置，其特征在于，其中，

如果所述字符在所述第一数组中对应的值为负值，则表示向前查找空闲位置。