[发明专利]基于云计算的网页排序方法在审
申请号: | 201310536603.9 | 申请日: | 2013-11-04 |
公开(公告)号: | CN103559258A | 公开(公告)日: | 2014-02-05 |
发明(设计)人: | 向阳;平宇;张依杨;陈佑雄;张波;袁书寒 | 申请(专利权)人: | 同济大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 上海东亚专利商标代理有限公司 31208 | 代理人: | 陈树德;刘莹 |
地址: | 200092 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开一种基于云计算的网页排序方法,该方法包括:通过对存储在云上的,经过分布式网页爬虫爬取的网络文件进行解析处理,得到网络的基本拓扑结构信息文件;离线计算PR值后存入相应的文档表,其格式为以url为主键,包含title,content,type,timestamp,outlinks(指出链接集合)等8个属性列的格式;由建立单个词-网页重要性的索引表也采用并行计算技术,此索引表格式为利用反向索引建立的以key,links(链接集合,且按重要性排序)的索引表格式;对离线的PageRank算法采用MapReduce的并行框架实现;当在线查询时,比较查询词和网页的相似度,结合离线查询的结果给出最终网页的排序。本发明的优点是采用了改进离线排序算法,充分利用了MapReduce并行框架,提高了离线排序的效率;采用了关键词技术和PageRank结合的技术使得结果更准确。 | ||
搜索关键词: | 基于 计算 网页 排序 方法 | ||
【主权项】:
一种基于云计算的网页排序方法,该排序方法包括以下步骤:⑴通过对存储在云上的,经过分布式网页爬虫爬取的网络文件进行解析处理,得到网络的基本拓扑结构信息文件;⑵离线计算PR值后存入相应的文档表,其格式为其格式为以url为主键,包含title,content,type,timestamp,outlinks(指出链接集合)等8个属性的文档表格式;⑶由建立单个词‑网页重要性的索引表也采用并行计算技术,此索引表格式也为利用反向索引建立的以key,links(链接集合,且按重要性排序)的格式;⑷对离线的PageRank算法采用MapReduce的并行框架实现;⑸当在线查询时,比较查询词和网页的相似度,结合离线查询的结果给出最终网页的排序。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同济大学,未经同济大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310536603.9/,转载请声明来源钻瓜专利网。
- 上一篇:用于汽车电动转向管柱的柱管轴承防脱落机构
- 下一篇:道岔定位装置