[发明专利]一种基于深度学习的互联网网站自动分类方法

权利要求书

1.一种基于深度学习的互联网网站自动分类方法，其特征在于：包括以下步骤：

第一步，根据DNS服务器日志采集大量互联网网站的原始描述信息作为网站数据集，并进行预处理和人工打标签，然后提取用于输入深度学习模型的每个网站的高维特征向量表示，并对每个网站增加对应的网站类别标签，并转化为类别向量；

第二步，利用第一步中得到的高维特征向量表示作为深度学习模型的输入，类别向量作为深度学习模型的输出，使用Adam梯度下降算法优化器监督训练基于LSTM的循环神经网络深度学习模型，用于提取网站的类别抽象特征向量；

第三步，在第二步中的已训练好的LSTM循环神经网络深度学习模型后增加一层SoftMax回归，LSTM循环神经网络的输出的网站的类别抽象特征向量作为SoftMax回归层的输入，输出为网站的类别概率分布向量，将所述概率分布向量中概率值最大的维度对应的网站类别作为网站类别。

2.根据权利要求1所述的一种基于深度学习的互联网网站自动分类方法，其特征在于：所述第一步中，互联网网站原始描述信息包括互联网网站的标题、关键词和描述文字。

3.根据权利要求1所述的一种基于深度学习的互联网网站自动分类方法，其特征在于：所述第一步具体实现步骤如下：

步骤1-1、将互联网网站的原始描述信息进行预处理，预处理包括去除无效条目，原始描述信息停用词去除，将预处理后的全部网站人工打标签，共分为15个类别，分别为：电子商务、科学技术、旅游交通、商业经济、社交网络、生活服务、体育健身、医疗健康、文学艺术、新闻媒体、休闲娱乐、政治法律、电脑网络、教育培训、社会文化；

步骤1-2、将预处理后的网站数据集中的全部网站原始描述信息进行分词处理，然后将数据集中所有的分词结果按顺序排列作为输入数据，训练Word2Vec词嵌入模型，该模型训练完成后，能够将网站数据集中所有的词语映射到1000维的高维空间中，使用Word2Vec模型时，输入为词语，输出为该词语的1000维向量表示；

步骤1-3、对于网站数据集中的每个网站，计算其原始描述信息分词后每个词的TF-IDF值，已知每个词语的高维向量表示以及词语在该网站中的TF-IDF值，即可使用以下公式计算网站数据集中每个网站的高维特征向量表示，由于每个词语都通过1000维的高维向量表示，故根据一下公式计算的网站高维特征向量亦为1000维：

其中IV_w是网站的高维特征向量表示，t_i是网站w中的第i个词语，TF_IDF_t,w是该词在网站数据中的词频-逆向文档频率，Embedding_Vector_t,w是词语的高维向量表示；

步骤1-4、对于网站数据集中的每个网站，生成其对应的输出类别向量OV_w，该向量的维度是类别的总数，将互联网网站分为了15个类别，则所有的输出类别向量均为15维，其中网站真实类别对应的维度为1，其他维度均为0。