[发明专利]一种社交媒体数据的获取方法及系统

说明书

本申请提供了一种社交媒体数据的获取方法及系统，包括：由主控节点获取待执行主任务，并对待执行主任务分别进行拆分、聚类以及聚合处理，生成目标子任务；主控节点将目标子任务放到任务池中，并标注任务状态；由从属节点中的虚拟采集节点从任务池中抓取执行优先级最高的目标子任务，以及申请执行任务所必要的资源，并将获取结果返回给主控节点；由主控节点对获取结果进行存取及可视化。这样，本申请通过对任务进行包括拆分、聚类及聚合在内的降维、优化处理，优化了任务执行过程，降低了执行任务的数量，通过虚拟采集节点自主抓取任务，使得主控节点无需提前配置及获取虚拟采集节点的数量及状态，从而可以有效的提高数据获取速度和效率。

技术领域

本申请涉及数据获取技术领域，尤其是涉及一种社交媒体数据的获取方法及系统。

背景技术

伴随着新兴5G网络、人工智能等互联网技术的兴起，媒体进入了“自媒体”时代，人与人之间的社交也形成了“人人互联，人人互通”的新局面。因此，社交网络通道已经成为了大家了解民情民意，合理接收、转化大众诉求、企业产品广告营销、推广的重要渠道。然而基于我国庞大的网民数量、产生的海量社交数据，现有的数据获取系统在数据获取的过程中面临着数据无差别获取等诸多问题，造成了资源的极大浪费，同时也严重制约了数据获取效率的进一步提升。因此如何提高数据的获取效率是亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种社交媒体数据的获取方法及系统，通过对任务进行包括拆分、聚类及聚合在内的降维、优化处理，优化了任务执行过程，降低了执行任务的数量，通过从属节点中的虚拟采集节点自主抓取任务，使得主控节点无需提前配置及获取虚拟采集节点的数量及状态，从而在对社交媒体数据进行获取时，可以有效的提高获取速度和效率。

本申请实施例提供了一种社交媒体数据的获取方法，所述获取方法包括：

由主控节点获取用户端发送的至少一个待执行主任务；

针对每个待执行主任务，由所述主控节点对所述待执行主任务分别进行拆分处理、聚类处理以及聚合处理，生成存放于任务池中的至少一个目标子任务；

由所述主控节点将所述目标子任务放到所述任务池中，同时将所述至少一个目标子任务的任务状态标注为第一执行状态；

由从属节点中的虚拟采集节点从所述任务池中抓取执行优先级最高的目标子任务，以及由所述从属节点中的虚拟采集节点向所述主控节点申请执行所述目标子任务所必要的资源；

由所述从属节点中的虚拟采集节点将获取结果返回给所述主控节点；

由所述主控节点对所述获取结果进行存取以及可视化。

进一步的，所述针对每个待执行主任务，由所述主控节点对所述待执行主任务分别进行拆分处理、聚类处理以及聚合处理，生成存放于任务池中的至少一个目标子任务，包括：

针对于每个待执行主任务，由所述主控节点将所述待执行主任务拆分为关键词和网页链接中的至少一个，得到所述待执行主任务对应的至少一个待执行子任务；

由所述主控节点确定每个待执行子任务的获取数据的社交媒体；

由所述主控节点对至少一个待执行子任务进行去冗、降维、聚类处理，将获取数据的社交媒体相同的待执行子任务，划分为同一待执行小组；

针对于每个待执行小组，由主控节点确定所述待执行小组中每个待执行子任务的采集要素；

由所述主控节点对所述待执行小组中的每个待执行子任务进行聚合处理，将所述待执行小组中所述采集要素相同的待执行子任务合并为同一目标子任务，得到至少一个目标子任务。

进一步的，通过以下步骤确定目标子任务的执行优先级：

由所述主控节点获取每个目标子任务的创建时间、预设执行时间以及预设执行顺序；