[发明专利]一种网站数据采集方法及装置

权利要求书

1.一种网站数据采集方法，其特征在于，所述方法包括：

获取欲采集网站的部分网页数据，所述部分网页数据至少包括：所述欲采集网站的图片数据、文字数据、音频数据和视频数据；

通过所述部分网页数据，判断本地数据库中是否存储有与所述部分网页数据对应的采集规则；

如果有存储，调取所述本地数据库中的采集规则；

如果没有存储，根据所述部分网页数据中的数据内容，生成与所述部分网页数据对应的采集规则；

存储所述采集规则至所述本地数据库；

根据所述采集规则，生成数据采集脚本程序；

通过所述数据采集脚本程序，分布式采集所述欲采集网站的全部网页数据。

2.根据权利要求1所述的网站数据采集方法，其特征在于，所述分布式采集所述欲采集网站的全部网页数据之后，所述数据采集方法还包括：

将采集到的所述全部网页数据按照不同的数据类型，存入本地内容数据库，所述不同的数据类型包括：图片类型、文字类型、音频类型和视频类型。

3.根据权利要求1或2所述的网站数据采集方法，其特征在于，所述通过所述部分网页数据，判断本地数据库中是否存储有与所述部分网页数据相对应的采集规则，包括：

通过所述欲采集网站的图片数据，得到所述图片数据的信息，所述图片数据的信息至少包括：所述图片数据的格式类型、来源地址、图片属性及对应网页的源代码；

根据所述图片数据的信息，在本地数据库中查找与所述图片数据的信息对应的采集规则；

通过所述欲采集网站的文字数据，得到所述文字数据的信息，所述文字数据的信息至少包括：所述文字数据的格式类型、来源地址及对应网页的源代码；

根据所述文字数据的信息，在本地数据库中查找与所述文字数据的信息对应的采集规则；

通过所述欲采集网站的音频数据，得到所述音频数据的信息，所述音频数据的信息至少包括：所述音频数据的格式类型、来源地址对应网页的源代码；

根据所述音频数据的信息，在本地数据库中查找与所述音频数据的信息对应的采集规则；

通过所述欲采集网站的视频数据，得到所述视频数据的信息，所述视频数据的信息至少包括：所述视频数据的格式类型、来源地址及对应网页的源代码；

根据所述视频数据的信息，在本地数据库中查找与所述视频数据的信息对应的采集规则。

4.根据权利要求1或2所述的网站数据采集方法，其特征在于，所述根据所述部分网页数据中的数据内容，生成与所述部分网页数据对应的采集规则，包括：

根据所述部分网页数据的数据内容中的采集属性及内容类型，生成采集规则，所述采集规则与所述部分网页数据对应；所述采集属性包括：采集数据的类型，采集数据的时间，采集数据的数据量；所述内容类型包括：数据格式类型，数据时间类型，数据大小类型。

5.根据权利要求1或2所述的网站数据采集方法，其特征在于，所述分布式采集所述欲采集网站的全部网页数据，进一步包括：通过服务器集群采集所述欲采集网站的全部网页数据，所述集群由多台协同工作的采集服务器组成。

6.根据权利要求2所述的网站数据采集方法，其特征在于，所述将采集到的所述全部网页数据按照不同的数据类型，存入本地内容数据库之后，所述网站数据采集方法还包括：

记录所述采集脚本程序的运行状态，生成运行状态日志；

根据所述运行状态日志，判断欲采集网站状态是否正常；

如果所述欲采集网站状态正常，继续采集；

如果所述欲采集网站状态异常，终止采集。