[发明专利]一种基于云计算的分布式搜索方法

权利要求书

1.一种基于云计算的分布式搜索方法，该方法包括以下步骤：

步骤⑴：通过分布式的网络爬虫爬取多种格式的网络文件；

步骤⑵：通过分布式的并行抽取解析爬虫所爬取到的文件，抽取格式为自定义的文档表格式；

步骤⑶：将抽取好的文档内容存入分布式的数据库中，建立文档表数据库；

步骤⑷：由文档表数据库建立索引表也采用并行计算技术，索引表格式也为自定义的格式；

步骤⑸：将索引文件导入索引数据库，为检索器提供索引数据；

步骤⑹：对检索结果采用PageRank以及优化的在线排序算法。

2.根据权利要求1所述的基于云计算的分布式搜索方法，其特征在于：所述的步骤⑴的爬取网络文件包括以下步骤：

①设置初始爬取的网页网址，由于网络爬虫爬取网页文件是一个递归的过程，为了取得更好的全网爬取效果，初始网页url一般设置为导航网址；

②从步骤①中得到一个导航网站的页面，通过解析该页面，得到大量网站首页；

③继续解析这些首页可以得到更多的网址，再重复此过程。

3.根据权利要求1所述的基于云计算的分布式搜索方法，其特征在于：所述的步骤⑷中的PageRank值计算方法如下：

R’(u)表示相似度，c=0.85(这里的c为阻尼系数)，B_v是指被研究的页面，N_v是页面v链出页面的数量，N是指所有页面，E(u)是指用户停止点击，跳转到新URL的概率，计算方法如下：

。