[发明专利]一种网络搜索方法及系统

说明书

技术领域

本发明属于网络搜索领域，尤其涉及一种网络搜索方法及系统。

背景技术

网络搜索中，用户输入的检索表达式为检索串，检索串中可以包含一个或者多个关键词，中间采用空格隔开，空格表示其前后的关键词将进行逻辑与(AND)操作。关键词为一个或者多个语素组成的字符串，它通过分词系统可以被继续切分。如果切分出2个语素，则称该关键词为2元复合语素，如果切分出3个语素，则称该关键词为3元复合语素。语素为最小能够表达独立语义的语言单位，它是不可分的。在中文中，语素为分词系统中切分出的中文词，在英文中，语素为基本的英文单词或者字母。

在网络搜索时，需要针对特定的检索串在较短的时间内找出所有包含该检索串的文档集合，该文档集合通常使用文档标识(ID)列表来表示。通过文档ID对被检索的文档进行唯一编号，以保证每个文档对应一个唯一的ID，实现文档的定位。

在网络搜索引擎所应用的各种技术中，后台索引技术是最为核心的技术，它直接关系到索引结构的组织和访问方式。不同的索引结构带来的索引访问开销差别很大。理论上，可以将整个索引文件都放到内存中，能够提供超过文件索引3-4个数量级以上的访问速度，但在实际应用环境中，由于网络服务器的内存容量总是不足，为了使单台网络服务器能够支持更大的索引文档数量，一般采用文件索引方式。

现有的文件索引主要利用倒排索引方式实现。倒排索引是用来加速对特定检索串进行检索的数据结构，它可以以磁盘文件形式出现，也可以加载到内存中，其结构是保存每个检索关键词对文档的对应关系表：

  t  →<d₁，W_d，t，loc₁，loc₂，...loc_fd1，t><d₂>...<d_ft...>

其中，t表示关键词，d_i表示包含t的一系列文档的ID，W_d，t表示t在文档d_i中的权值，loc_i表示t在文档d_i中出现的每个地方的位置偏移(offset)，一般用两个字节来表示。

倒排索引文件由N个上述数据项组成，N的数量等于整个文档集合在进行分析过程中得到的所有不同的关键词的总和。通过上述数据结构，可以快速进行针对特定检索关键词的查找。

当用户输入的检索串能被切分出2个或者2个以上的语素时，为了得到同时包含这两个语素的文档ID列表，必须进行AND操作，并对AND操作后的文档ID列表再进行检索关键词的位置偏移匹配操作，以保证进行AND操作的多个语素在同时出现的文档中的前后位置偏移相邻。在具体实现时，关键词命中文档中的位置偏移可以单独用文件来存储。

在网络搜索中，用户输入的大部分检索串由2个或者2个以上语素组成，在上述索引组织方式中，搜索时先进行通常方式的文档ID匹配，再进行文档内的位置偏移匹配，会带来多次磁盘文件的输入输出(IO)访问，而且读取文档ID列表和位置偏移列表的数据量很大，尤其对于一些常用词，例如“中国”，“网”，“我们”等高频语素，其索引数据量通常占到整个倒排索引文件数据量的很大比例，要在短时间内读完这些索引数据是相当困难的，这样搜索的大部分时间都消耗在磁盘文件IO的读取操作上，降低了长检索串的搜索速度和系统整体的并发能力，同时加大了网络服务器硬件设备的损耗，网络服务器容易发生故障。

发明内容

本发明实施例的目的在于提供一种网络搜索方法，旨在解决现有对长检索串进行网络搜索时，检索速度慢，系统的并发处理能力低的问题。

本发明实施例是这样实现的，一种网络搜索方法，所述方法包括下述步骤：