[发明专利]一种网页数据分布式模板采集方法及系统

说明书

本发明涉及一种网页数据分布式模板采集方法及系统，该采集方法包括：将数据采集模板按所述网页的类型分别导入不同的数据表中进行存储；根据被采集的网页的类型从数据表中获取相应的数据采集模板，将模板池中的数据采集模板分发到至少两个采集客户端，采集客户端分别根据数据采集模板对网页进行数据抽取，整合得到网页的网页数据。本发明实施例通过构建不同的数据采集模板，根据被采集的网页的类型选取相应的数据采集模板，并通过多个采集客户端通过数据采集模板对该网页分别进行数据采集，保证数据的准确性和完整性。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种网页数据分布式模板采集方法及系统。

背景技术

随着物联网的快速发展和大数据的兴起，人们对数据的需求越来越多，不仅要求数据量多，对数据质量的要求也提高。数据质量的好坏直接决定了通过大数据分析后得到的结论的优劣，好的数据将大大提升分析结果的准确性。在这样的环境下，数据采集的技术尤为重要。

发明内容

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种网页数据分布式模板采集方法，包括：

针对不同类型的网页配置不同的数据采集模板，并将所述数据采集模板按所述网页的类型分别导入不同的数据表中进行存储；

根据被采集的网页的类型从所述数据表中获取相应的数据采集模板，并将获取到的数据采集模板放入模板池中；

将所述模板池中的数据采集模板分发到至少两个采集客户端，所述采集客户端分别根据所述数据采集模板对所述网页进行数据抽取，得到所述网页的网页数据。

基于上述技术方案，本发明实施例还可以做出如下改进。

可选的，所述数据采集模板包括：站点层模板、频道层模板和正文层模板；

所述站点层模板包括：站点名、站点地址、编码格式、国家、语言和频道列表；

所述频道层模板包括：频道名、频道地址、编码格式、分类属性、是否需要代理访问和页面标识；

所述正文层模板包括：标题解析、正文解析、发布时间解析、作者解析、来源解析和图片解析。

可选的，针对不同类型的网页配置不同的数据采集模板，并将所述数据采集模板按所述网页的类型分别导入不同的数据表中进行存储，具体包括：

S11、根据网页的类型配置站点层模板，得到站点模板，判断所述网页是否存在频道地址；是则，执行S12，否则，所述站点模板为所述网页的所述数据采集模板，执行S14；

S12、基于所述站点模板配置频道层模板，得到频道模板，判断所述网页的频道地址是否存在正文，是则，执行S13，否则，所述频道模板为所述数据采集模板，执行S14；

S13、基于所述频道模板配置正文层模板，得到所述数据采集模板；

S14、根据数据采集模板的不同按所述网页的类型分别导入不同的数据表中进行存储，并设置与所述数据表相对应的服务接口。

可选的，所述根据被采集的网页的类型从所述数据表中获取相应的数据采集模板，并将获取到的数据采集模板放入模板池中，具体包括：

S21、采集服务器调用所述服务接口，根据被采集的网页类型从所述数据表中获取相应的数据采集模板；

S22、所述采集服务器将获取到的数据采集模板放入模板池中，并实时监控模板池中的所述数据采集模板的数量；

S23、当所述模板池中的所述数据采集模板的数量小于预设值时，执行S21；当所述模板池中的所述数据采集模板的数量大于或等于预设值时，将所述模板池中的数据采集模板分发到至少两个采集客户端。