[发明专利]一种社交媒体数据的获取方法及系统

权利要求书

1.一种社交媒体数据的获取方法，其特征在于，所述获取方法包括：

由主控节点获取用户端发送的至少一个待执行主任务；

针对每个待执行主任务，由所述主控节点对所述待执行主任务分别进行拆分处理、聚类处理以及聚合处理，生成存放于任务池中的至少一个目标子任务；

由所述主控节点将所述目标子任务放到所述任务池中，同时将所述至少一个目标子任务的任务状态标注为第一执行状态；

由从属节点中的虚拟采集节点从所述任务池中抓取执行优先级最高的目标子任务，以及由所述从属节点中的虚拟采集节点向所述主控节点申请执行所述目标子任务所必要的资源；

由所述从属节点中的虚拟采集节点将获取结果返回给所述主控节点；

由所述主控节点对所述获取结果进行存取以及可视化。

2.根据权利要求1所述的获取方法，其特征在于，所述针对每个待执行主任务，由所述主控节点对所述待执行主任务分别进行拆分处理、聚类处理以及聚合处理，生成存放于任务池中的至少一个目标子任务，包括：

针对于每个待执行主任务，由所述主控节点将所述待执行主任务拆分为关键词和网页链接中的至少一个，得到所述待执行主任务对应的至少一个待执行子任务；

由所述主控节点确定每个待执行子任务的获取数据的社交媒体；

由所述主控节点对至少一个待执行子任务进行去冗、降维、聚类处理，将获取数据的社交媒体相同的待执行子任务，划分为同一待执行小组；

针对于每个待执行小组，由主控节点确定所述待执行小组中每个待执行子任务的采集要素；

由所述主控节点对所述待执行小组中的每个待执行子任务进行聚合处理，将所述待执行小组中所述采集要素相同的待执行子任务合并为同一目标子任务，得到至少一个目标子任务。

3.根据权利要求1所述的获取方法，其特征在于，通过以下步骤确定目标子任务的执行优先级：

由所述主控节点获取每个目标子任务的创建时间、预设执行时间以及预设执行顺序；

由所述主控节点基于每个目标子任务的创建时间、预设执行时间以及预设执行顺序，确定每个目标子任务的执行优先级。

4.根据权利要求1所述的获取方法，其特征在于，在由从属节点中的虚拟采集节点从所述任务池中抓取执行优先级最高的目标子任务，以及由所述从属节点中的虚拟采集节点向所述主控节点申请执行所述目标子任务所必要的资源之前，所述获取方法还包括：

由任意一个从属节点中的虚拟采集节点获取自身的运行状态信息，其中，所述运行状态信息包括所述从属节点中的虚拟采集节点的硬件运行状态以及软件运行状态中的至少一种。

5.根据权利要求1所述的获取方法，其特征在于，所述由从属节点中的虚拟采集节点从所述任务池中抓取执行优先级最高的目标子任务，以及由所述从属节点中的虚拟采集节点向所述主控节点申请执行所述目标子任务所必要的资源，包括：

由所述从属节点中的虚拟采集节点去所述任务池中抓取执行优先级最高的目标子任务；

由所述从属节点中的虚拟采集节点确定所述目标子任务的获取内容以及获取数量；

基于所述目标子任务的获取内容以及获取数量，由所述从属节点中的虚拟采集节点向所述主控节点申请执行所述目标子任务所必要的资源。

6.根据权利要求1所述的获取方法，其特征在于，在由从属节点中的虚拟采集节点从所述任务池中抓取执行优先级最高的目标子任务之后，所述获取方法还包括：

由所述主控节点接收所述从属节点中的虚拟采集节点反馈的已经抓取目标子任务的通知；

所述主控节点根据所述通知将所述目标子任务的任务状态由所述第一执行状态更改为第二执行状态，并重新确定所述任务池中任务状态为第一执行状态的目标子任务的执行优先级。