[发明专利]数据预处理方法、装置、设备及介质

说明书

本发明提供一种数据预处理方法、装置、设备及介质，该方法包括：获取用户需求；在知识网络库内匹配与所述用户需求相适应的知识网络；如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。在数据预处理阶段，结合与用户需求相适应的知识网络，对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集，而不是在每次有需求时，耗费大量时间重复过滤无用数据，简化了计算过程，本发明提高了数据预处理的效率，并降低了数据预处理的操作成本。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据预处理方法、装置、设备及介质。

背景技术

随着计算机、互联网和物联网等技术在各个领域的大规模应用，产生的数据量也随之增多。由于数据源产生的数据类型多样，格式不一，因此，在处理数据之前，要先对数据进行预处理。然而，现有的预处理方式，为了抽取合适的数据，需要重复过滤大量的无用数据，造成数据平台反应速度过慢，导致数据预处理的过程操作耗时，效率低，操作成本高。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供数据预处理方法、装置、设备及介质，用于解决传统数据预处理方式，对数据预处理的过程操作耗时，效率低，操作成本高的问题。

为实现上述目的及其他相关目的，本发明提供一种数据预处理方法，包括：

获取用户需求；

在知识网络库内匹配与所述用户需求相适应的知识网络；

如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；

如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

本发明的另一目的在于提供一种数据预处理装置，包括：

获取模块，用于获取用户需求；

匹配模块，用于在知识网络库内匹配与所述用户需求相适应的知识网络；

第一预处理模块，用于如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；

第二预处理模块，用于如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

本发明的另一目的在于一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述一个或多个所述的方法。

本发明的还有一目的在于提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述一个或多个所述的方法。

如上所述，本发明提供的一种数据预处理方法、装置、设备及介质，具有以下有益效果：

在数据预处理阶段，结合与用户需求相适应的知识网络，对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集，而不是在每次有需求时，耗费大量时间重复过滤无用数据，简化了计算过程，本发明提高了数据预处理的效率，并降低了数据预处理的操作成本。

附图说明

图1为本发明实施例提供的数据预处理方法流程图；

图2为本发明一实施例提供的数据预处理方法流程图；

图3为本发明一实施例提供的数据预处理装载结构图；