[发明专利]一种从数据起源出发的数据处理方法及系统

说明书

本发明提供了一种从数据起源出发的数据处理方法及系统，包括：根据初始数据的数据起源，确定数据分类的分类维度；根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据；根据所述维度数据的类型属性，对所述维度数据进行数据名称命名，得到数据类型名称；本发明通过从数据起源出发确定数据分类的分类维度，保证分类维度能够涵盖所有的数据，通过根据维度属性，对数据进行划分，保证数据划分的完整性和单一性，根据类型属性，确定合适的数据名称，保证了对数据的查询效率和准确性，最终提高对数据的有效利用和挖掘。

技术领域

本发明涉及数据处理和应用领域，特别涉及一种从数据起源出发的数据处理方法及系统。

背景技术

当今社会处于一个高速发展的阶段，随之带来的数据也在与日俱增。数据已经渗透到各行各业，数据范围几乎覆盖了人类的日常行为活动。面对大量的数据，人们开始对其进行挖掘和运用，力求从数据中发现各种商业价值、学术价值等。然而，想充分地、有效地利用数据，挖掘数据以及提炼数据中蕴藏的价值不是一件简单容易的事情，首先就会面临目前市面上都有哪些类型的数据问题，当前数据维度是否已经涵盖全部类型的数据问题。面对数据分类不清楚的情况下，使用数据就如同“盲人摸象”，或不清楚整体数据类型都有哪些，或以偏概全的认为当前掌握的数据类型就是全量数据分类。因此，如何对当前市面上海量的数据做科学的分类，同时对这些分类给予合理的命名已经成为迫在眉睫的事情。只有把一堆杂乱无章的数据做好分门别类，才能展露出数据的全面貌，同时根据需求在不同的数据分类模块中寻找到有效的数据，进而最大程度的挖掘数据在研究领域蕴含的价值。

传统的数据处理方法中，首先，对获取得到数据的分类存在不够精细，无法对全部的数据进行归类；其次，在对数据进行划分时，可能存在同一类数据被划分为多个分类中的情况；最后，在对数据的分类名称进行定义，可能存在不恰当的命名，导致对数据的查找困难；最终导致无法对数据进行有效利用和挖掘。

发明内容

本发明提供一种从数据起源出发的数据处理方法及系统，从数据源角度对数据进行分类和命名，保证数据划分的完整性和单一性，保证对数据的准确查询。

一种从数据起源出发的数据处理方法，包括：

步骤1：根据初始数据的数据起源，确定数据分类的分类维度；

步骤2：根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据；

步骤3：根据所述维度数据的类型属性，对所述维度数据进行数据名称命名，得到数据类型名称。

优选的，步骤1之前，还包括：获取所述初始数据的数据起源，包括：

获取所述初始数据经过的临近数据采集节点，并根据临近数据采集节点的时间戳，获取所述初始数据经过的前一个数据采集节点；

根据所述前一个数据采集节点的时间戳，对所述初始数据进行溯源，得到所述初始数据的初始采集节点；

基于所述初始采集节点的时间戳，确定所述初始数据的数据起源。

优选的，步骤1中，根据初始数据的数据起源，确定数据分类的分类维度包括：

根据对所述初始数据的应用需求，确定分类角度；

从维度数据库中提取于所述分类角度一致的初始维度，并基于所述应用需求的重点，从所述初始维度中选取预设数目个目标维度；

建立所述目标维度在所述分类角度下的维度分布图，并判断所述维度分布图是否涵盖所述分类角度的所有方面；

若是，确定所述目标维度为进行数据分类的分类维度；

否则，确定缺失方面，并为所述缺失方面匹配最优的维度作为补充维度，将所述补充维度和目标维度共同组成进行数据分类的分类维度。