[发明专利]对URL进行分类的方法和装置

说明书

本发明公开了一种对URL进行分类的方法和装置，涉及大数据和互联网技术领域，其中，方法包括：获取访问URL的各用户的用户特征信息和各用户访问该URL的访问次数，所述用户特征信息包括基于用户历史上网行为确定的用户标签和各用户标签的权重；根据获取到的各用户的用户特征信息和各用户访问URL的访问次数确定URL特征信息，所述URL特征信息包括URL的网页类型和各网页类型的权重；根据所述URL特征信息对所述URL进行分类。本发明可以提高URL分类的效率。

技术领域

本发明涉及大数据和互联网技术领域，尤其是一种对URL(Uniform ResourceLocator，统一资源定位符)进行分类的方法和装置。

背景技术

目前，基于DPI(Deep Packet Inspection，深度包检测)数据分析用户的上网行为主要是通过URL地址库匹配用户访问的网址，然后对用户打标签来实现。

URL地址库一般采用网页内容提取和识别技术来对URL进行分类来构建，但是，本发明的发明人发现，采用网页内容提取和识别技术对URL进行分类的方式具有如下缺点：

一是由于需要针对不同的网站设计个性化算法，因此，对URL进行分类时的工作量大，效率低；

二是在不同的网站改版后，需要通过人工辨别或重新识别来重新对URL进行分类，URL地址库无法自动更新。

发明内容

本发明实施例所要解决的其中一个技术问题是：解决URL分类效率低的问题。

根据本发明的一方面，提供一种对URL进行分类的方法，包括：获取访问URL的各用户的用户特征信息和各用户访问该URL的访问次数，所述用户特征信息包括基于用户历史上网行为确定的用户标签和各用户标签的权重；根据获取到的各用户的用户特征信息和各用户访问URL的访问次数确定URL特征信息，所述URL特征信息包括URL的网页类型和各网页类型的权重；根据所述URL特征信息对所述URL进行分类。

在一个实施例中，所述根据获取到的各用户的用户特征信息和各用户访问URL的访问次数确定URL特征信息包括：根据u_j＝(x_j1×k_j1，x_j2×k_j2，…x_jn×k_jn)×p_j/P计算访问该URL的每个用户j的标签向量u_j，其中j为正整数，1≤j≤S，S为访问该URL的用户总数，x_jn为用户j的用户标签，k_jn为用户标签x_jn的权重，jn为正整数，p_j为用户j访问该URL的访问次数，P为所有用户访问该URL的总访问次数；将各用户j的标签向量u_j中相同用户标签的权重累加，并按累加后的用户标签的系数的大小对用户标签进行排序，得到该URL的标签向量y＝(x₁×c₁，x₂×c₂，…，x_t×c_t)，其中x_t为用户标签，用户标签x_t的系数c_t为S个用户的标签向量u_j中与x_t相同的用户标签的权重之和；从URL的标签向量y中选择用户标签的系数最大的前m个用户标签x₁，x₂，…x_m作为该URL的网页类型，并将作为网页类型x_i的权重。

在一个实施例中，所述根据所述URL特征信息对所述URL进行分类包括：选择各网页类型的权重中最大的一个或多个网页类型作为所述URL的网页类型，以对所述URL进行分类。

在一个实施例中，所述方法还包括：从采集的DPI数据中筛选出总访问次数大于预设阈值的URL作为所述URL。