[发明专利]在中文语境中检索关键词的方法、装置及设备

说明书

本发明的一种在中文语境中检索关键词的方法、装置及设备，属于信息检索技术领域，其方法包括：在计算机存储器中创建一个记载经过中文语料库统计之后的对应于汉字库中每个汉字的使用频度数值的字库字频表；根据字库字频表数据库中的记载并结合编址方式，通过对其读操作，分别查询所检索关键词中每个汉字的使用频度数值；将该使用频度数值按照由小到大的顺序排序，生成关键词字频排序表；在待检索中文语境中，将文本中任一汉字位置开始的一个连续汉字串都与检索关键词进行一轮单字比较，所生成的关键词字频排序表所表示的单字排列顺序，作为对检索关键词构成中各汉字之间与检索文本中对应位置字符作对比的先后顺序。本发明提高了关键词检索的效率。

技术领域

本发明涉及一种在中文语境中检索关键词的方法、装置及设备，属于信息检索技术领域。

背景技术

以指定的关键词进行内容检索的技术，在计算机信息技术领域正被广泛应用。所谓的检索操作，通常是指在检索文本（有时也称为正文串、主串等）中查找与检索关键词（有时也称为模式、子串等）相匹配的连续字符串的过程，如果匹配成功，通常需要返回检索关键词在检索文本中出现的每一处位置，否则返回匹配失败的检索结论。所检索的对象，除了保存于本地的电子文档之外，还有可能是含有文本数据的Web页面，甚至是含有文本数据的影像内容等；所应用的领域，通常涉及文献检索、搜索引擎、拼写检查、语言翻译、数据压缩等场景。

在关键词检索时，需要将关键词构成中的每一个字符逐一地与检索文本中对应位置的一个字符进行单独对比，从检索文本的起始位置开始，只有当检索文本中某个位置的字符串与整个检索关键词在字符构成与字符顺序上经比较后完全一致的情况下，方为关键词匹配的成功，否则从检索文本中起始位置的下一字符重新开始，继续进行下一轮的匹配计算，只有当检索文本中不存在任何一个与检索关键词完全对等的字符串时，方为匹配失败。

目前检索关键词的匹配过程，如图1和图2所示，其中图1以前三轮的匹配过程示意了在检索文本S中对检索关键词T查找时的单字对比情形尤其是单字对比顺序，图2则给出了关键词检索中进行每轮单字对比的全过程。参考图1和图2，检索文本S和检索关键词T均以字符数组的形式存储，检索文本S由字符S₀、S₁、S₂……S_(m-1)构成，检索关键词T由字符T₀、T₁、T₂……T_(n-1)构成，其中m和n分别为检索文本的长度和检索关键词的长度，即它们构成中的字符数量。在关键词匹配的每一轮单字对比中，均按照检索关键词T中字符构成的自然顺序或空间顺序即T₀、T₁、T₂……T_(n-1)的排列顺序，将其与检索文本中相应位置的一个字符依次进行单字的对比。由此可见，人们已习惯性地以检索关键词构成中的字符排列顺序作为双方字符间对比的先后顺序，而并没有把检索关键词构成中各字符比较的先后顺序，作为一个问题进行考虑并将其作为提高检索效率的一种举措。

在检索文本中进行的关键词检索操作，于底层的计算机软件实现上，通常采用BF（Brute-Force）算法、KMP（Knuth、Morris及Pratt）算法或KMP优化算法，进行主串与子串之间的模式匹配。BF算法是一种朴素的模式匹配算法，因主串和子串的字符指针均存在回溯现象，故其算法执行效率相对较低。作为对BF算法的改进，KMP算法和KMP优化算法在每一轮匹配过程中出现字符比较不相同的情况时不需回溯主串的指针位置，而是利用已经得到的“部分匹配”的结果将模式向右“滑动”尽可能远的一段距离后继续进行比较，由于主串字符指针不需回溯而只有子串字符指针的回溯，故KMP算法和KMP优化算法的执行效率相对BF算法有所提升。