[发明专利]一种网址存储匹配方法及装置

说明书

技术领域

本发明涉及海量数据存储和查询领域，尤其涉及一种网址存储匹配方法及装置。

背景技术

目前，随着网络通信的日益发展，移动终端无线上网每天产生的是数以亿计，占用存储空间TB量级的海量数据，一个月的海量数据更是达到万亿、PB量级。从该海量数据库中能够挖掘各种有用信息，比如统计每月Top1000网站点击次数排名。由于上网记录中包含的网址信息是详细的统一资源定位符(Uniform Resource Locator，URL)链接，因此，当需要针对同一个网站的不同URL进行归类统计时，会遇到如何将URL转换匹配到网站名称的问题。比如：两个URL：www.baidu.com和map.baidu.com都转换匹配为网站名称“百度”。

目前为了解决上述URL检索匹配问题，主要有两种方法：基于哈希表存储匹配方法和基于字典树存储匹配方法。

于此，以表1所示的URL库内容以及表2所示的手机无线上网记录提取URL为基础说明基于哈希表存储匹配方法以及基于字典树存储匹配方法。

表1URL库内容表

其中，如表1所示，URL库内容表中每条记录分为URL和网站名称两个字段。

表2 手机无线上网记录URL提取表

如表2所示，从每月手机无线上网记录中提取的访问网址URL每条表示一次点击访问。该URL是完整网址，包括http协议标识、路径目录以及可能的域名端口号等信息。

具体而言，基于哈希表存储方法包括：遍历URL库(即表1)，将每条URL预处理，使用URL作为哈希表键值对的key，使用URL对应的网站名称作为哈希表键值对的value。于此，哈希表例如表3所示。

表3URL库载入的哈希表

m.sohu.com搜狐手机taobao.com淘宝网qzone.qq.comQQ空间m.taobao.com手机版淘宝网google.com谷歌

接着，对待匹配的URL进行预处理。预处理主要分为去掉http协议标识、去掉域名后面部分、去掉端口号等过程。以网址http://m.sohu.com:8080/images/logo-icon.png为例，首先去掉http协议标识得到：m.sohu.com:8080/images/logo-icon.png，其次，去掉域名后面部分得到：m.sohu.com:8080，接着，去掉端口号得到：m.sohu.com。

URL经过预处理之后，就可以查询哈希表进行匹配操作。预处理后的URL作为键值在哈希表中查询，如果查询值不为空表示匹配上，否则没有匹配上。若没有匹配上，需要将域名从前面去掉一个段之后继续进行匹配。上述预处理之后的m.sohu.com能够在表3的哈希表中匹配到，即匹配搜狐手机。

另外，以网址http://news.m.sohu.com/？fr＝3w&jump＝front为例进行说明，经过预处理后URL变为news.m.sohu.com，该预处理之后的URL在表3所示的哈希表中匹配不到记录，则需要将该URL从前面去掉一个段再进行匹配。该URL去掉一个段之后变成m.sohu.com，则该URL在表3所示的哈希表中能够匹配到。