[发明专利]基于经济领域数据的分布式提取及可视化分析方法和系统

摘要

本申请提供了一种基于经济领域数据的分布式提取及可视化分析方法和系统。其中基于经济领域数据的分布式提取及可视化分析方法，包括分布式数据提取步骤后端服务器接收用户提取大数据的指令并发送给主节点，主节点根据接收到的指令按照任务的某个或多个字段维度将提取数据的大任务切分成小任务，并将小任务分配给不同的处理节点，处理节点根据分配的小任务向全文检索系统发起请求，主节点将生成的小任务存储到数据库中，并在运行过程中同步任务的状态；分布式存储步骤；分布式计算和分析步骤;数据加载和缓存步骤；结果可视化展示步骤。本申请通过上述手段，提高了大数据提取的效率，同时降低了用户大数据分析的门槛。

主权项

基于经济领域数据的分布式提取及可视化分析方法，其特征在于，包括：分布式数据提取步骤：后端服务器接收用户提取大数据的指令并发送给主节点，主节点根据接收到的指令按照任务的某个或多个字段维度将提取数据的大任务切分成小任务，并将小任务分配给不同的处理节点，处理节点根据分配的小任务向全文检索系统发起请求，主节点将生成的小任务存储到数据库中，并在运行过程中同步任务的状态；分布式存储步骤：处理节点将全文检索系统返回的数据集存入数据库集群中；分布式计算和分析步骤：后台服务端接收用户的指令并根据其从数据库集群中加载需要的数据集，然后过滤数据、分析数据和统计分析，然后把结果集写入数据库集群中;数据加载和缓存步骤：后台服务端接收客户端加载数据的请求后，根据请求从数据库中读取任务的相关元数据，创建内存表，根据参数并从数据库集群中加载数据到内存表中，加载完成后反馈结果；结果可视化展示步骤：将数据通过图表等直观的展现方式呈现出来。