[发明专利]一种网络舆情数据处理方法及系统

说明书

本申请公开了一种网络舆情数据处理方法及系统。服务端响应于舆情处理任务调度指令，生成与舆情处理任务调度指令对应的任务信息；服务端将任务信息发送给移动端，使得移动端根据接收到的任务信息，结合保存在移动端中，且与任务信息对应的舆情数据分析算法，执行舆情数据分析任务，以获得网络舆情数据处理结果。使得在相同的成本下，可以配置更多移动终端进行舆情数据处理，将集中处理的任务分发给移动终端本地化处理，减轻了服务器的运算要求，大大的降低的服务器的采购成本使得舆情数据的爬取和处理的效率得到较大的提升，解决了现有的舆情分析的爬虫技术对网络、PC硬件采集及维护、部署成本高而限制了舆情数据采集、处理的效率的技术问题。

技术领域

本申请涉及舆情数据处理技术领域，尤其涉及一种网络舆情数据处理方法及系统。

背景技术

舆情分析主要技术涉及信息采集，现有的舆情分析的爬虫技术主要部署在PC服务器上进行数据采集，对网络、PC硬件采集及维护、部署成本相对比较高，不利于爬虫节点的扩展，严重限制了舆情数据采集、处理的效率。

发明内容

本申请提供了一种网络舆情数据处理方法及系统，用于解决现有的舆情分析的爬虫技术主要部署在PC服务器上进行数据采集，对网络、PC硬件采集及维护、部署成本高而限制了舆情数据采集、处理的效率的技术问题。

有鉴于此，本申请第一方面提供了一种网络舆情数据处理方法，包括：

服务端响应于舆情处理任务调度指令，生成与所述舆情处理任务调度指令对应的任务信息；

所述服务端将所述任务信息发送给移动端，使得所述移动端根据接收到的所述任务信息，结合所述移动端中保存的，且与所述任务信息对应的舆情数据分析算法，执行舆情数据分析任务，以获得网络舆情数据处理结果，其中，所述舆情数据分析算法的获得方式为所述移动端接收所述服务端下发的所述舆情数据分析算法，并保存在所述移动端本地。

优选地，所述舆情处理任务调度指令的生成方式为：所述服务端根据用户输入的操作指令生成的。

优选地，所述舆情数据分析算法具体包括：网络舆情数据爬取子算法和舆情数据标注处理子算法。

优选地，所述生成与所述舆情处理任务调度指令对应的任务信息之后，且将所述任务信息发送给所述移动端之前还包括：

所述服务端确定各个所述移动端的任务状态，以便将所述任务信息发送给所述任务状态为可用状态的移动端。

优选地，所述任务状态的确定过程为：

所述服务端判断所述移动端是否正在执行舆情数据分析任务，若否，则所述移动端的任务状态为可用状态，若是，则判断所述舆情数据分析任务的任务进度是否大于预置的任务进度阈值，若是，则所述移动端的任务状态为可用状态，若否，则所述移动端的任务状态为繁忙状态。

优选地，所述生成与所述舆情处理任务调度指令对应的任务信息之后，且将所述任务信息发送给所述移动端之前还包括：

所述服务端判断所述移动端是否保存有与所述任务信息对应的舆情数据分析算法，若否，则将所述舆情数据分析算法发送给所述移动端，以便所述移动端接收所述舆情数据分析算法，并将所述舆情数据分析算法保存在所述移动端本地。

优选地，所述舆情数据分析算法发送给所述移动端具体包括：

通过预设的算法封装协议，对所述舆情数据分析算法进行压缩封装处理，得到算法数据包，并将所述算法数据包发送给所述移动端，其中所述算法数据包包括：算法包序号、算法名称、算法包大小、算法包类型、算法语义内容、要求开始执行时间、执行顺序、接收成功标志、算法执行进度反馈、算法包校验。

优选地，所述将所述算法数据包发送给所述移动端之前还包括：

通过数据压缩算法，对所述算法数据包进行二次压缩。