[发明专利]页面类型确定方法、装置和设备及计算机存储介质

权利要求书

1.一种页面类型确定方法，其特征在于，所述方法包括：

根据待分类页面的统一资源定位符URL，获取所述待分类页面对应的超级文本标记语言HTML文档；

根据所述HTML文档对所述待分类页面进行页面渲染，从渲染后的资源文件中获取所述待分类页面中的文本内容；所述资源文件为呈现所述待分类页面所需的文件；

从所述文本内容中提取多个关键字，构建关键字集合；

根据所述关键字集合对所述待分类页面进行分类，获得所述待分类页面的页面类型。

2.如权利要求1所述的方法，其特征在于，根据所述HTML文档对所述待分类页面进行页面渲染，从渲染后的资源文件中获取所述待分类页面中的文本内容，包括：

调用Javascript引擎执行所述HTML文档中的Javascript脚本，从Javascript脚本执行完成得到的资源文件中获取所述Javascript脚本对应的文本内容。

3.如权利要求1所述的方法，其特征在于，所述根据所述关键字集合对所述待分类页面进行页面类型的分类，获得所述待分类页面的页面类型，包括：

对所述关键字集合进行编码，将所述关键字集合从文本类型转换为数值类型；

根据数值类型的所述关键字集合，利用已训练的页面分类模型对所述待分类页面进行页面类型的分类，获得所述待分类页面的页面类型；其中，所述页面分类模型是利用多个标注了页面类型的页面样本训练得到的，每一个页面样本包括从一个页面中提取得到的关键字集合。

4.如权利要求3所述的方法，其特征在于，针对所述关键字集合中的每一关键字，对所述关键字集合进行编码，将所述关键字集合从文本类型转换为数值类型，包括：

获取所述每一关键字在所述待分类页面中的词频TF，以及所述每一关键字在语料库中的逆向文件频率IDF；所述语料库由训练所述页面分类模型所使用的页面样本和所述页面分类模型已分类的页面组成，所述逆向文件频率是基于所述语料库中包括所述每一关键字的页面的数量，与所述语料库中页面的总数量得到的；

根据所述词频以及所述逆向文件频率，获得所述每一关键字的TF-IDF分数；所述TF-IDF分数用于表征所述每一关键字对所述待分类页面的页面类型分类结果的影响程度；

基于所述TF-IDF分数获取所述每一关键字的数值表示。

5.如权利要求3所述的方法，其特征在于，根据数值类型的所述关键字集合，利用已训练的页面分类模型对所述待分类页面进行页面类型的分类，获得所述待分类页面的页面类型，包括：

根据所述关键字集合，分别获取页面为所述待分类页面时，页面类型为页面类型集合中的第k种页面类型的条件概率，得到N个条件概率；所述页面类型集合是由N种页面类型组成的集合，k为不大于N的正整数；

将所述N个条件概率中的最大值对应的页面类型确定为所述待分类页面的页面类型。

6.如权利要求5所述的方法，其特征在于，根据所述关键字集合，分别获取页面为所述待分类页面时，页面类型为页面类型集合中的第k种页面类型的条件概率，得到N个条件概率，包括：

针对页面类型集合中的第k种页面类型以及所述关键字集合中的第i个关键字，获取页面类型为所述第k种页面类型时，页面中存在所述第i个关键字的条件概率，得到M×N个条件概率；所述关键字集合包括M个关键字，i为不大于M的正整数；

以及获取页面类型为每一种页面类型的边缘概率，得到N个边缘概率；

基于所述M×N个条件概率与所述N个边缘概率，获取页面为所述待分类页面时，页面类型为页面类型集合中的第k种页面类型的条件概率，得到所述N个条件概率。

7.如权利要求3～6任一所述的方法，其特征在于，所述页面分类模型用于确定所述待分类页面是否为后台管理系统的页面，则所述页面分类模型是利用多个标注了页面类型的页面样本训练得到，包括：

获取被标注为后台管理系统的页面的页面样本组成的正样本集合，和被标注为非后台管理系统的页面的页面样本组成的负样本集合；

基于所述正样本集合与负样本集合进行模型训练得到所述页面分类模型。