[发明专利]一种互联网访问日志解析方法及装置

权利要求书

1.一种互联网访问日志解析方法，其特征在于，包括：

采集访问日志，每条访问日志至少包括用户信息和Uri；其中，所述Uri至少包括域名、规则和资源编码；

根据所述域名和资源编码从与所述域名和规则对应的知识库中找到与所述Uri对应的页面信息；其中，所述知识库至少包括一个页面信息和与每个页面信息一一对应的一组域名和资源编码，每个知识库与至少一组域名和规则相对应；

将所述页面信息与所述用户信息合并为访问记录后存入数据仓库；

所述采集访问日志，每条访问日志至少包括用户信息和Uri；其中，所述Uri至少包括域名、规则和资源编码；具体为：

采集访问日志，每条访问日志至少包括用户信息和Uri；其中，Uri至少包括域名和资源编码；

若所述域名存在于预存的域名列表中，则从与所述域名的规则列表中查找到与所述Uri对应的规则；其中，所述规则列表包括至少一个域名，以及与每个域名对应的至少一种规则；

所述方法还包括：

根据页面信息的类型，将爬取到的所有页面信息分为预设数量的类，每个类分别与一个知识库和一个数据仓库一一对应，并将每个页面信息存入对应类的知识库中；

建立每个页面信息的域名、规则与类的对应关系；相应地，根据所述域名和资源编码从与所述域名和规则对应的知识库中找到与所述Uri对应的页面信息；将所述页面信息与所述用户信息合并为访问记录后存入数据仓库；具体为：

根据所述域名和规则得到对应的类，以及与所述类对应的知识库和数据仓库；

根据所述域名和资源编码从所述知识库中找到与所述Uri对应的页面信息；

将所述页面信息与所述用户信息合并为访问记录后存入对应的数据仓库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若根据所述域名和资源编码没有从对应的知识库中找到与所述Uri对应的页面信息，则将所述Uri所在访问日志存入待更新列表中，同时在所述数据仓库中存入一条空记录；

定期从所述待更新列表中依次提取出所述访问日志，并根据所述Uri从对应的网页爬取所述页面信息；

将所述页面信息存入与所述类对应的知识库。

3.根据权利要求2所述方法，其特征在于，所述方法还包括：

若没有从所述域名的规则列表中查找到与所述Uri对应的规则，则将所述Uri所在访问日志存入待更新列表中，同时在所述数据仓库中存入一条空记录；相应地，所述将所述页面信息存入与所述类对应的知识库；具体为：

在所述Uri的域名下建立新的规则，并更新所述规则列表；

根据所述页面信息，建立所述域名和新的规则与类的对应关系；

将所述页面信息存入与所述类对应的知识库。