[发明专利]基于降维的大数据挖掘方法

摘要

一种基于降维的大数据挖掘方法和装置，该方法包括步骤：数据选择；数据预处理，执行不便识别的数据转化为易于识别的规范数据的信息处理过程；针对预处理的数据进行对象分析；将预处理的数据变换到另一空间的低维数据，用低维数据代替预处理的数据来进行后续处理；数值估计；以及数据挖掘，并进行评估以及结果的反馈和修正。通过该方法和执行该方法的装置，能够有效地降低维度的复杂性，同时还提高分析的完整性和准确度，尽可能挖掘有价值的信息。

主权项

1.一种基于降维的大数据挖掘方法，其特征在于包括以下步骤：S1：进行数据选择；S2：进行数据预处理，执行不便识别的数据转化为易于识别的规范数据的信息处理过程；S3：针对预处理的数据进行对象分析；S4：将预处理的数据变换到另一空间，在经过变换的空间中将预处理的数据的信息集中在低维，用低维数据代替预处理的数据来进行后续处理；S5：进行数值估计；以及S6：根据需要，基于上述S1到S5的过程的步骤进行数据挖掘，并进行评估以及结果的反馈和修正；其中数据选择是确定数据挖掘任务涉及的操作数据对象，根据数据挖掘任务的要求而从相关数据源中提取与挖掘任务相关的数据集；其中在数据预处理的步骤中，基于规范和属性简约，采用粗糙集进行简约，并且执行消除噪音、遗漏数据处理、消除重复数据操作；其中分析预处理的数据的数据类型至少包括数据块或数据段或单个数据；其中步骤S4包括步骤S41：经过预处理和分析后的数据为D，其表示待本步骤处理的a×b的数据阵列，其中a和b都是正整数；数据对象D的数据阵列中的元素为dij，其中i、j表示阵列中对应的行和列序号，i和j是分别小于等于a和小于等于b的正整数；经过步骤S4，将a×b阵列变换为a×c阵列，所述a×c阵列能够以另一种形式重新构造原来的数据对象D，其中c小于b；其中步骤S4进一步包括步骤S42：将元素dij经计算构造为：dij＝[n，i1，i2，i3，i4，m1，m2]ij,数据对象D为[N，I1，I2，I3，I4，M1，M2]，其中N表示对象的类型的参数，其数据值根据数据长度和阵列大小进行赋值和指定，该数据值与数据长度和/或阵列大小呈正相关；I1，I2，I3，I4表示对象的方向的参数，而M1、M2表示对象的正向、逆向转换模型的参数；N＝ΘNΦT+ΞN；I1＝ΘI1ΦT+ΞI1；I2＝ΘI2ΦT+ΞI2；I3＝ΘI3ΦT+ΞI3；I4＝ΘI4ΦT+ΞI4；M1＝ΘM1ΦT+ΞM1；M2＝ΘM2ΦT+ΞM2；其中ΘN、ΘI1、ΘI2、ΘI3、ΘI4、ΘM1、ΘM2表示分数元素分量的a×c阵列，其是另一空间中的低维数据；Φ表示加载元素的b×c阵列；而ΞN、ΞI1、ΞI2、ΞI3、ΞI4、ΞM1、ΞM2表示a×b阵列中的剩余量值；上标“T”表示阵列的转置运算；并且各个Θ中包含有坐标，是由坐标形成的阵列。