[发明专利]URL标识映射获取方法及装置

说明书

本发明提供一种URL标识映射获取方法及装置，通过获取M个统一资源定位符URL，并从每一个URL中，获得多个初始字符串，每个URL包含用于间隔多个初始字符串的分隔符以及多个初始字符串；对所有初始字符串进行无效字符串的混合高斯过滤，得到有效字符串；根据每个有效字符串对应的URL覆盖率，在所有有效字符串中确定关键字符串；获取用户针对关键字符串输入的标识信息，根据标识信息和包含有关键字符串的被覆盖URL，确定标识信息与被覆盖URL之间的URL标识映射，本发明提供的方法不对URL对应网页内容进行识别，可以用于对应文本、图片、视频、音频等内容的URL，本发明结合了机器学习和人工输入，提高了URL标识映射的准确性。

技术领域

本发明涉及网络与计算机技术领域，尤其涉及一种URL标识映射获取方法及装置。

背景技术

用户行为分析，是在获得网站访问量基本数据的情况下，对有关数据进行统计、分析，从中发现用户访问网站的规律，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步修正或重新制定网络营销策略提供依据。随着互联网数据规模的不断增长，在进行用户行为分析时通常需要根据用户访问互联网时留下的日志访问痕迹，首先就要从海量的日志访问记录中采集统一资源定位符(UniformResource Locator，简称：URL)部分挖掘出用户行为。为了提高数据采集的准确度，避免引入过多无效信息，通常需要对URL进行标识，获得准确的URL标识映射。

现有的一种URL标识方法，是将URL序列输入到网络爬虫程序中，爬虫程序获取URL对应页面中的内容，提取出的网页关键词，根据网页关键词来对URL进行标识。但这种URL标识方法依赖网页文本内容，因此只适合新闻资讯类、论坛社区类文本类型网页的URL。提取网页关键词的过程相对复杂耗时长，需要用到自然语言处理(NLP)的学习训练全过程。

现有的URL标识方法需要将待处理的URL局限在文本类型网页的URL，而对于图片、视频、音频为主要内容的URL，获得的URL标识映射具有较低的准确性。

发明内容

本发明提供一种URL标识映射获取方法及装置，可以用于对应文本、图片、视频、音频等内容的URL，结合了机器学习和人工输入，提高了URL标识映射的准确性。

根据本发明的第一方面，提供一种URL标识映射获取方法，包括：

获取M个统一资源定位符URL，并从每一个URL中，获得多个初始字符串，每个URL包含用于间隔多个初始字符串的分隔符以及多个初始字符串；

对所有初始字符串进行无效字符串的混合高斯过滤，得到有效字符串；

根据每个有效字符串对应的URL覆盖率，在所有有效字符串中确定关键字符串，其中，每个有效字符串对应的URL覆盖率，是包含每个有效字符串的URL数量在M中的占比；

获取用户针对关键字符串输入的标识信息，根据标识信息和包含有关键字符串的被覆盖URL，确定标识信息与被覆盖URL之间的URL标识映射。

作为一种实现方式，根据每个有效字符串对应的URL覆盖率，在所有有效字符串中确定关键字符串，包括：

获取每个有效字符串对应的URL覆盖率；

根据所有URL覆盖率，得到T个最高效字符串组合S_t，其中，t＝1，......，T，T为有效字符串的数量，第t个最高效字符串组合S_t包含有t个有效字符串，并且任意t个有效字符串构成的字符串组合对应的URL累计覆盖率，都小于或等于第t个最高效字符串组合S_t对应的URL累计覆盖率，URL累计覆盖率为包含字符串组合中任一有效字符串的URL数量在M中的占比；