[发明专利]资讯数据处理方法、资讯数据处理装置及电子设备

权利要求书

1.一种资讯数据处理方法，其特征在于，包括：

根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码；

解析所述网页源代码，得到所述目标资讯网页对应的属性信息集合；

基于ETL系统配置的目标函数，对所述属性信息集合进行数据处理，得到目标有效数据。

2.根据权利要求1所述的资讯数据处理方法，其特征在于，所述方法还包括：

在所述网页源代码解析失败的情况下，生成第一目标错误日志；

基于所述第一目标错误日志，对所述第一目标错误日志对应的第一异常任务进行处理。

3.根据权利要求2所述的资讯数据处理方法，其特征在于，所述基于所述第一目标错误日志，对所述第一目标错误日志对应的第一异常任务进行处理，包括：

基于所述第一目标错误日志，对所述第一异常任务标记对应的错误代码和所述错误代码对应的信息；

基于所述错误代码和所述错误代码对应的信息，定位所述第一异常任务，并进行告警处理。

4.根据权利要求1-3任一项所述的资讯数据处理方法，其特征在于，所述根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码，还包括：

在所述网页源代码下载失败且无法重新下载的情况下，生成第二目标错误日志；

基于所述第二目标错误日志，对所述第二目标错误日志对应的第二异常任务进行处理。

5.根据权利要求1-3任一项所述的资讯数据处理方法，其特征在于，在所述根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码之前，还包括：

配置待采集任务对应的采集策略，并将所述待采集任务加入至所述待采集任务队列中；

基于所述采集策略，执行所述待采集任务队列中的各个待采集任务；

其中，所述待采集任务包括至少一个所述目标资讯网页的网址；所述采集策略包括以下至少一项：数据源、调度间隔、采集方式、解析规则、代理渠道、业务需求属性。

6.根据权利要求1-3任一项所述的资讯数据处理方法，其特征在于，所述目标函数包括以下至少一项：

移除remove函数、替换replace函数、截取substring函数、拆分split函数、连接strcat函数、包裹wrap函数、定位find函数、日期格式化date函数和正则表达式函数。

7.一种资讯数据处理装置，其特征在于，包括：

下载模块，用于根据目标资讯网页的网址，下载所述目标资讯网页的网页源代码；

解析模块，用于解析所述网页源代码，得到所述目标资讯网页对应的属性信息集合；

第一处理模块，用于基于ETL系统配置的目标函数，对所述属性信息集合进行数据处理，得到目标有效数据。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述资讯数据处理方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述资讯数据处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述资讯数据处理方法。