[发明专利]一种基于多搜索引擎的Web信息检索方法

摘要

基于多搜索引擎的Web信息检索方法。该方法利用生产者‑消费者模型，通过网页爬取程序自动将用户输入的文本串提交给多个不同的搜索引擎，然后从各搜索引擎的返回页面抽取出搜索结果并进行合并、去重。在此基础上利用正向最大分词匹配方法对每个结果页面进行评分，并按照评分对结果进行排序。本发明将元搜索技术与最大正向匹配评分方法结合起来，针对在一些情况下单个搜索引擎难以满足用户搜索要求的问题，提出解决方案。该方法思想新颖，具有简洁实用、容易实现的特性，可以大大减少用户切换搜索引擎的麻烦，并提高了搜索结果的质量。

主权项

一种基于多搜索引擎的WEB信息检索方法，其特征在于该方法包括：第1，首先用户从搜索界面输入搜索内容文本串S并提交；第2，系统将搜索内容传入总控制器；第2.1，总控制器将传入的文本串S进行预处理，去除首末空格，并判断是否超出长度范围，超出则进行字符串截断处理，此处限制字符串长度为50个汉字大小；第2.2，总控制器负责调度爬虫程序，从各大搜索引擎爬取搜索结果；利用生产者‑消费者模型提升爬取效率，由总控制器产生不同的生产者，一个生产者对应一个爬虫线程，这样多个爬虫线程可以并行执行；第2.3，爬虫程序模拟客户端向各大搜索引擎提交用户输入的文本串，得到返回结果集合，并过滤解析出每个网页的标题、摘要和网址信息；第3，将爬取的结果放入同步栈，并利用已有方法对结果进行去重处理，同时计算每个页面的来源搜索引擎的个数；第4，通过现有的分词工具将输入的文本串进行分词，产生词语集合W；第5，对每个页面进行评分；第5.1，输入文本经过分词后，利用排列算法得到词汇的所有排列，并过滤出排列为正向的所有字符串，这里正向是指字符串和输入文本共有的词排列顺序一致；第5.2，遍历所有的排列情况，对于排列为正向的字符串，判断页面的标题和摘要中是否包含该字符串，包含则将该页面得分加上这个组合情况的映射长度，映射长度是指该组合情况所包含的词汇个数；第5.3，将每个页面的得分与此页面的来源数相乘作为最终此页面的评分；第6，根据每个页面的评分对页面排序；第7，计算系统用时；第8，返回查询结果给用户。