[发明专利]一种线上数控展览方法

说明书

本发明公开了一种线上数控展览方法，先通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递，通过数据转存模块将数据定时传递到分布式存储或者实时传递给下游的数据处理程序，通过ETL模块对数据清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库模块，通过数据仓库模块对数据进行存取和管理，通过元数据管理模块记录和约束数据仓库中数据的含义和格式、控制着数据的生命周期和数据质量，通过分析引擎模块执行各种分析语句或代码，完成分析任务，根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL模块组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘，一定程度上提高数据挖掘效率。

技术领域

本发明属于大数据处理技术领域，具体涉及一种线上数控展览方法。

背景技术

参观展览会伴随着时间和空间的限制,较为不便,相关技术中已经存在一种可以线上进行参观展览的系统,大数据分析及挖掘技术通常是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

但是，传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模，降低了数据挖掘效率；为此，我们提出一种线上数控展览方法来解决上述存在的问题。

发明内容

本发明的目的在于提供一种线上数控展览方法，通过数据收集模块、数据转存模块、ETL模块、数据仓库模块、元数据管理模块、分析引擎模块、作业管理与调度模块和资源分配与调度模块的配合，以解决上述背景技术中提出的问题。

为实现上述目的，本发明采用了如下技术方案：

一种线上数控展览方法，包括如下步骤：

S1、通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递；

S2、通过数据转存模块将数据定时传递到分布式存储或者实时传递给下游的数据处理程序；

S3、通过ETL模块对数据清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库模块；

S4、通过数据仓库模块对数据进行存取和管理；

S5、通过元数据管理模块记录和约束数据仓库中数据的含义和格式、控制着数据的生命周期和数据质量；

S6、通过分析引擎模块执行各种分析语句或代码，完成分析任务；

S7、通过作业管理与调度模块分析作业的管理和定时调度；

S8、通过资源分配与调度模块在多作业同时运行的场景下，有效协调和分配集群的资源。

优选的，步骤1中所述数据收集模块包括数据采集器，所述数据采集器包括温湿度传感器、粉尘浓度传感器和压力传感器，所述温湿度传感器、粉尘浓度传感器和压力传感器分别与数据转存模块电性连接。

优选的，步骤2中所述数据转存模块包括云服务器，所述云服务器存储的数据包括导入的表格数据、填入的人员数据和数据器采集的数据。

优选的，步骤3中所述ETL模块是完成对已接收数据的辨析、抽取和清洗的操作，其中抽取是因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的；清洗是对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容。

优选的，步骤4中所述数据仓库模块是将大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用，开发可靠的分布式文件系统、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储。