[发明专利]一种用于大数据分析的数据预测方法和装置

权利要求书

1.一种用于大数据分析的数据预测方法，其特征在于，包括：

为每个数据集建立索引；

提取每个数据集中的数据元素；

确定每个数据集中数据元素之间的关联关系，根据所述关联关系确定数据预测规则；

利用所述数据预测规则对目标数据进行预测，并根据预测结果准确性的反馈来改进数据预测规则。

2.如权利要求1所述的方法，其特征在于，

所述提取每个数据集中的数据元素，包括：

判断当前数据集的数据是结构化数据还是非结构化数据；

如果当前数据集的数据为非结构化数据，则将当前数据集的数据转化为结构化数据；

从当前数据集的结构化数据中提取数据元素，并为每个数据元素设置唯一标识。

3.如权利要求1所述的方法，其特征在于，

所述确定每个数据集中数据元素之间的关联关系，根据所述关联关系确定数据预测规则，包括：

针对每个数据集：按照计算公式计算当前数据集中每两个数据元素同时出现的概率；根据所述当前数据集中每两个数据元素同时出现的概率，确定所述当前数据集的频繁数据元素集，所述频繁数据元素集中包括至少两个数据元素；根据所述当前数据集的频繁数据元素集，确定数据预测规则；

所述计算公式为：

$\begin{array}{c}P\left(A,B\right)=\frac{C\left(A\∩B\right)+\mathrm{\α}\left|\frac{C\left(A\right)-C\left(B\right)}{C\left(A\right)+C\left(B\right)}\right|}{C\left(A\right)+C\left(B\right)-C\left(A\∩B\right)}\\ -\min \[\mathrm{\β}\frac{C\left(A\right)+C\left(B\right)}{2{\mathrm{\Σ}}_{X\∈T}C\left(X\right)},\frac{C\left(A\∩B\right)+\mathrm{\α}\left|\frac{C\left(A\right)-C\left(B\right)}{C\left(A\right)+C\left(B\right)}\right|}{C\left(A\right)+C\left(B\right)-C\left(A\∩B\right)}\]\end{array}$

或者，

$\begin{array}{c}P(A,B)\\ =\sqrt[n1]{\left(\frac{C\left(A\∩B\right)+\mathrm{\α}\left|\frac{C\left(A\right)-C\left(B\right)}{C\left(A\right)+C\left(B\right)}\right|}{C\left(A\right)+C\left(B\right)-C\left(A\∩B\right)}\right)}\\ -\min \[\mathrm{\β}{\[{\log }_2\frac{C\left(A\right)+C\left(B\right)+2{\mathrm{\Σ}}_{X\∈T}C\left(X\right)}{2{\mathrm{\Σ}}_{X\∈T}C\left(X\right)}\]}^{n2},\sqrt[n1]{\left(\frac{C\left(A\∩B\right)+\mathrm{\α}\left|\frac{C\left(A\right)-C\left(B\right)}{C\left(A\right)+C\left(B\right)}\right|}{C\left(A\right)+C\left(B\right)-C\left(A\∩B\right)}\right)}\]\end{array}$

P(A，B)表示数据元素A和数据元素B在当前数据集中同时出现的概率，C(A∩B)表示数据元素A和数据元素B在当前数据集中同时出现的次数，C(A)表示数据元素A在当前数据集中出现的次数，C(B)表示数据元素B在当前数据集中出现的次数，T为当前数据集中所有数据元素的集合，∑_X∈T C(X)为当前数据集中所有数据元素出现的次数，α和β为可调节的修正系数，用于使特殊情况计算得到的P(A，B)所受数据偏差的影响更小，n1和n2为可调节系数，用于更精细的调节，其值大于0。