[发明专利]一种新闻数据采集方法、装置、计算机设备及存储介质

说明书

本发明公开了一种新闻数据采集方法、装置、计算机设备及存储介质，涉及信息采集领域，该方法包括：从网站信息表中查找网站的网站信息；获取网站的总页面数和各页面的新闻数据的编号；传入当前条新闻数据所在的页面数和编号，通过requests打开网站链接，获取当前条新闻数据的原始页面信息；根据网站的编码方式对原始页面信息进行解码获取正常页面信息；根据网站的解析方式对正常页面信息进行解析，将解析后的新闻数据保存到数据库中；传入下一条新闻数据所在的页面数和编号，继续采集下一条新闻数据，并将采集到的下一条新闻数据保存至数据库中。本发明实现了在节省人力物力、降低维护成本的前提下，对不同网站进行新闻数据的采集。

技术领域

本发明涉及信息采集领域，尤其涉及一种适用于不同网站的新闻数据采集方法、装置、计算机设备及存储介质。

背景技术

当今，互联网技术发展越来越快，人们通过互联网可以寻找到许多自身想要的信息。这些信息都存在于互联网的各个网站之中，如果想要得到这些信息的原始数据，只能对各个网站进行采集工具的开发，利用采集工具来获得原始的数据。然而大多网站都有自己的专业人士来对网站进行研发，各个网站所使用的技术、页面布局及命名规范都有不小差异，因此对于不同的网站，需要编写不同的代码进行采集工具的开发。若在此过程中，网站突然升级，则需要针对这种情况重新开发，修改代码。

所以这种获取原始数据的方式，不仅前期开发工作量大，而且维护成本也很高，大大增加了人力物力的消耗。

发明内容

本发明实施例提供了一种适用于不同网站的新闻数据采集方法、装置、计算机设备及存储介质，旨在实现在节省人力物力、降低维护成本的前提下，对不同网站进行新闻数据的采集。

第一方面，本发明实施例提供了一种适用于不同网站的新闻数据采集方法，其包括：

创建一网站信息表，并将若干网站的网站信息保存至所述网站信息表内；所述网站信息包括：网站链接、编码方式、解析方式和跳转方式；

当接收到新闻数据采集指令时，从所述网站信息表中查找当前网站的网站信息；

根据所述当前网站的跳转方式获取所述当前网站的总页面数和各页面的新闻数据的编号；

传入当前条新闻数据所在的页面数和编号，并通过requests打开所述当前网站的网站链接，并获取当前条新闻数据的原始页面信息；

根据所述当前网站的编码方式对所述原始页面信息进行解码获取正常页面信息；

根据所述当前网站的解析方式对所述正常页面信息进行解析，以清除冗余数据信息，并将解析后得到的当前条新闻数据保存到数据库中；

传入下一条新闻数据所在的页面数和编号，继续采集下一条新闻数据，并将采集到的下一条新闻数据保存至数据库中。

第二方面，本发明实施例提供了一种适用于不同网站的新闻数据采集装置，其包括：

信息输入单元，用于创建一网站信息表，并将若干网站的网站信息保存至所述网站信息表内；所述网站信息包括：网站链接、编码方式、解析方式和跳转方式；

查找单元，用于当接收到新闻数据采集指令时，从所述网站信息表中查找当前网站的网站信息；

页面编号获取单元，用于根据所述当前网站的跳转方式获取所述当前网站的总页面数和各页面的新闻数据的编号；

页面获取单元，用于传入当前条新闻数据所在的页面数和编号，并通过requests打开所述当前网站的网站链接，并获取当前条新闻数据的原始页面信息；

第一解码单元，用于根据所述当前网站的编码方式对所述原始页面信息进行解码获取正常页面信息；