[发明专利]一种新闻数据采集方法、装置、计算机设备及存储介质

权利要求书

1.一种适用于不同网站的新闻数据采集方法，其特征在于，包括：

创建一网站信息表，并将若干网站的网站信息保存至所述网站信息表内；所述网站信息包括：网站链接、编码方式、解析方式和跳转方式；

当接收到新闻数据采集指令时，从所述网站信息表中查找当前网站的网站信息；

根据所述当前网站的跳转方式获取所述当前网站的总页面数和各页面的新闻数据的编号；

传入当前条新闻数据所在的页面数和编号，并通过requests打开所述当前网站的网站链接，并获取当前条新闻数据的原始页面信息；

根据所述当前网站的编码方式对所述原始页面信息进行解码获取正常页面信息；

根据所述当前网站的解析方式对所述正常页面信息进行解析，以清除冗余数据信息，并将解析后得到的当前条新闻数据保存到数据库中；

传入下一条新闻数据所在的页面数和编号，继续采集下一条新闻数据，并将采集到的下一条新闻数据保存至数据库中。

2.如权利要求1所述的适用于不同网站的新闻数据采集方法，其特征在于，还包括：

当接收到对当前网站的网站信息的修改指令时，从所述网站信息表中查找所述当前网站的网站信息并进行更新；

当接收到网站信息的新增指令时，在所述网站信息表中插入新增的网站信息；

当接收到网站信息的删除指令时，在所述网站信息表中删除对应的网站信息。

3.如权利要求1所述的适用于不同网站的新闻数据采集方法，其特征在于，所述根据所述当前网站的解析方式对所述正常页面信息进行解析，以清除冗余数据信息，并将解析后得到的当前条新闻数据保存到数据库中，包括：

获取所述当前网站的解析方式中的新闻数据所在标签；

根据所述新闻数据所在标签获取新闻数据，并删除其中的转义符和换行符；

将当前条新闻数据保存到数据库中。

4.如权利要求1所述的适用于不同网站的新闻数据采集方法，其特征在于，所述根据所述当前网站的编码方式对所述原始页面信息进行解码获取正常页面信息，包括：

根据所述编码方式，确定所述网站的编码类型和解码类型；所述编码方式包括：UTF-8编码、GBK编码或GB2312编码；

运用对应的解码类型对原始页面信息进行解码获取正常页面信息。

5.如权利要求1所述的适用于不同网站的新闻数据采集方法，其特征在于，还包括：

当当前网站的新闻数据采集完毕后，自动从所述网站信息表中查找下一网站的网站信息，并对下一网站的新闻数据进行采集。

6.如权利要求3所述的适用于不同网站的新闻数据采集方法，其特征在于，所述将当前条新闻数据保存到数据库中，包括：

将当前条新闻数据拆分为若干新闻要件；

并将各新闻要件以列表的形式保存至数据库中。

7.如权利要求6所述的适用于不同网站的新闻数据采集方法，其特征在于，所述新闻要件包括发布时间、新闻内容、新闻标题、新闻地址、新闻作者和新闻来源。