[发明专利]资讯数据处理方法、资讯数据处理装置及电子设备

说明书

本发明提供一种资讯数据处理方法、资讯数据处理装置及电子设备，该方法包括：根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码；解析所述网页源代码，得到所述目标资讯网页对应的属性信息集合；基于ETL系统配置的目标函数，对所述属性信息集合进行数据处理，得到目标有效数据。本发明实施例提供的资讯数据处理方法、资讯数据处理装置及电子设备，可以实现精确解析网页源代码，还可以提高解析效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种资讯数据处理方法、资讯数据处理装置及电子设备。

背景技术

网络爬虫是一种按照设定的规则，能够自动地抓取网页信息的程序或脚本，利用网络爬虫，可以快速的获取用户所需的网页数据，从而为大规模的数据收集提供技术支撑。

而现有技术中，网络爬虫爬取到网页数据后，根据页面标签，一行一列逐个进行数据解析，解析效率低，且重复代码多。

发明内容

本发明提供一种资讯数据处理方法、资讯数据处理装置及电子设备，用以解决现有技术中无法资讯数据解析效率低的技术问题。

本发明提供一种资讯数据处理方法，包括：

根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码；

解析所述网页源代码，得到所述目标资讯网页对应的属性信息集合；

基于ETL系统配置的目标函数，对所述属性信息集合进行数据处理，得到目标有效数据。

在一个实施例中，所述方法还包括：

在所述网页源代码解析失败的情况下，生成第一目标错误日志；

基于所述第一目标错误日志，对所述第一目标错误日志对应的第一异常任务进行处理。

在一个实施例中，所述基于所述第一目标错误日志，对所述第一目标错误日志对应的第一异常任务进行处理，包括：

基于所述第一目标错误日志，对所述第一异常任务标记对应的错误代码和所述错误代码对应的信息；

基于所述错误代码和所述错误代码对应的信息，定位所述第一异常任务，并进行告警处理。

在一个实施例中，所述根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码，还包括：

在所述网页源代码下载失败且无法重新下载的情况下，生成第二目标错误日志；

基于所述第二目标错误日志，对所述第二目标错误日志对应的第二异常任务进行处理。

在一个实施例中，在所述根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码之前，还包括：

配置待采集任务对应的采集策略，并将所述待采集任务加入至所述待采集任务队列中；

基于所述采集策略，执行所述待采集任务队列中的各个待采集任务；

其中，所述待采集任务包括至少一个所述目标资讯网页的网址；所述采集策略包括以下至少一项：数据源、调度间隔、采集方式、解析规则、代理渠道、业务需求属性。

在一个实施例中，所述目标函数包括以下至少一项：

移除remove函数、替换replace函数、截取substring函数、拆分split函数、连接strcat函数、包裹wrap函数、定位find函数、日期格式化date函数和正则表达式函数。

本发明还提供一种资讯数据处理装置，包括：

下载模块，用于根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码；