[发明专利]基于机器学习模型的网页数据抽取方法

说明书

本发明涉及数据处理技术领域，具体涉及一种基于机器学习模型的网页数据抽取方法，包括收集多类网页，并对多类所述网页进行预处理，分别得到多个训练集和多个测试集；选取多个所述训练集的节点，分别得到多个节点特征；建立分类器模型；将多个所述节点特征带入所述分类器模型进行训练并评价，得到每类网页的准确率；基于所述准确率对多类所述网页进行选取，并将被选中的所述网页对应的所述测试集带入所述分类器模型进行测试，测试成功保存所述分类器模型，解决了现有的网页数据抽取对于不同结构的网页，要制定不同的抽取规则，降低了数据抽取效率的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于机器学习模型的网页数据抽取方法。

背景技术

信息时代网页作为互联网信息的主要载体提供了大量的文本信息，虽然图像、音视频等多媒体信息也在日益增多，但是网页文本依旧是互联网信息的主要载体，是研究以及数据挖掘的主要来源。

现有的网页数据抽取的最传统的三种方式：1、基于正则表达式的网页提取；2、基于CSS选择器的网页抽取；3、基于XPATH的网页提取，这三种网页抽取都是基于包装器(wrapper)的网页抽取，这类抽取算法的通病就在于，对于不同结构的网页，要制定不同的抽取规则，降低了数据抽取效率。

发明内容

本发明的目的在于提供一种基于机器学习模型的网页数据抽取方法，旨在解决现有的网页数据抽取对于不同结构的网页，要制定不同的抽取规则，降低了数据抽取效率的问题。

为实现上述目的，本发明提供了一种基于机器学习模型的网页数据抽取方法，包括以下步骤：

S1收集多类网页，并对多类所述网页进行预处理，分别得到多个训练集和多个测试集；

S2选取多个所述训练集的节点，分别得到多个节点特征；

S3基于所述节点特征建立分类器模型；

S4将多个所述节点特征带入所述分类器模型进行训练并评价，得到每类网页的准确率；

S5基于所述准确率对多类所述网页进行选取，并将被选中的所述网页对应的所述测试集带入所述分类器模型进行测试，测试成功保存所述分类器模型，测试不成功，返回步骤S3。

其中，所述收集多类网页，并对多类所述网页进行预处理，分别得到多个训练集和多个测试集的具体方式为：

S11收集多类网页；

S12对多类所述网页进行规范化，得到多个规范化网页；

S13对多个所述规范化网页的正文和非正文进行人工标注，分别得到多个标注信息；

S14基于多个所述标注信息将每一所述规范化网页的所述正文抽取，并将所述正文划分为训练集和测试集。

其中，所述将多个所述节点特征带入所述分类器模型进行训练并评价，得到每类网页的准确率的具体方式为：

S41将多个所述节点特征带入所述分类器模型进行训练，分别得到多个训练结果；

S42使用评价指标对多个所述训练结果进行评价，分别得到每类网页的准确率。

其中，所述分类器模型包括决策树、支持向量机、神经网络、逻辑回归、朴素贝叶斯和KNN中的任意一种。

其中，所述评价指标包括查全率、查准率和F值。