[发明专利]一种互联网访问日志解析方法及装置

说明书

本发明实施例提供一种互联网访问日志解析方法及装置。所述方法包括采集访问日志，每条访问日志包括用户信息和Uri；Uri包括域名、规则和资源编码；根据域名和资源编码从与域名和规则对应的知识库中找到与Uri对应的页面信息；知识库至少包括一个页面信息和与每个页面信息一一对应的一组域名和资源编码，每个知识库与至少一组域名和规则相对应；将页面信息与用户信息合并为访问记录后存入数据仓库，本发明实施例通过访问日志的Uri得到所述域、规则和资源编码，从而根据域名和资源编码从与域名和规则对应的知识库中找到与Uri对应的页面内容，然后将页面内容和用户信息结合后存入到所述数据仓库中，从而提高了对于访问日志的解析的效率。

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种互联网访问日志解析方法及装置。

背景技术

随着大数据在业界的广泛引入，基础数据的采集越来越重要。互联网访问日志作为0域数据中重要的组成部分，对其进行解析，分类是很有必要的。由于访问日志量大，很难对管道中的数据进行全量处理，且大量移动端应用的后台通信都采用了Http协议进行通信。因此，目前的互联网日志解析的重点放在对Http日志解析上面。

在对Http协议日志的解析过程中，现有技术通常针对域名、流量等数据进行解析，其流程如下：1)为不同统一资源标识符(Uniform Resource Identifier，Uri)与其所对应的网站、应用建立一一对应的规则库，并定期对该规则库进行更新。2)从数据源逐条读取日志，与规则库中的记录进行比对，从而确认访问目标地址，并得到用户访问资源的编码。3)通过爬虫爬取指定网站中对应资源的具体编码以及相关信息，如根据图书编码爬取图书的作者图书名等基本信息。4)将用户的访问记录与爬虫爬取的资源信息，输出到数据仓库中；对于不包含具体资源信息的访问记录，统一输出到访问记录数据仓库。

现有技术的解析方式会频繁的通过爬虫爬取资源信息，而且无法及时对网络热点进行及时更新，滞后的规则更新会使分析结果与事实产生偏差，从而导致资源浪费，且效率较低。

发明内容

本发明实施例提供一种互联网访问日志解析方法及装置，用以解决现有技术的解析方式会频繁的通过爬虫爬取资源信息，而且无法及时对网络热点进行及时更新，滞后的规则更新会使分析结果与事实产生偏差，从而导致资源浪费，且效率较低。

第一方面，本发明实施例提供了一种互联网访问日志解析方法，包括：

采集访问日志，每条访问日志至少包括用户信息和Uri；其中，所述Uri至少包括域名、规则和资源编码；

根据所述域名和资源编码从与所述域名和规则对应的知识库中找到与所述Uri对应的页面信息；其中，所述知识库至少包括一个页面信息和与每个页面信息一一对应的一组域名和资源编码，每个知识库与至少一组域名和规则相对应；

将所述页面信息与所述用户信息合并为访问记录后存入数据仓库。

第二方面，本发明实施例提供了一种用于互联网访问日志解析的装置，包括：

采集模块，用于采集访问日志，每条访问日志至少包括用户信息和Uri；其中，所述Uri至少包括域名、规则和资源编码；

知识库模块，用于根据所述域名和资源编码从与所述域名和规则对应的知识库中找到与所述Uri对应的页面信息；其中，所述知识库至少包括一个页面信息和与每个页面信息一一对应的一组域名和资源编码，每个知识库与至少一组域名和规则相对应；

数据仓库模块，用于将所述页面信息与所述用户信息合并为访问记录后存入数据仓库。

第三方面，本发明实施例还提供了一种电子设备，包括：

处理器、存储器、通信接口和通信总线；其中，

所述处理器、存储器、通信接口通过所述通信总线完成相互间的通信；