[发明专利]大数据RD分割方法

摘要

本发明的大数据的RD分割方法，先按数据相关的划分选择数据，再用数据无关的划分将选择的数据分类，然后，采用动态的方式完成该数据无关的划分，最后，根据数据无关划分下的统计量对各类数据计算权重值，并建立数据划分下的数学模型。该方法避免了数据分割存储无序导致数据查询困难等问题，兼顾数据分割的速度和质量，且易于实施，编写代码时只涉及到一些简单的数学模型。通过提取热数据作为处理/挖掘对象，能发现用户感兴趣的模式；利用热数据作为挖掘对象，可以存放在内存，极大地提高了数据存取速度；挖掘热数据具有算法的输入量小，可以解决某些挖掘应用中大数据的4V特性之一的“数据量大”问题；动态生成大数据划分，考虑了用户感兴趣的变化以及数据的演变，体现出挖掘模式的非线性迁移，可以用于控制模式向有益的方向发展。

主权项

大数据RD划分方法，其特征在于：先按数据相关的划分选择数据，再用数据无关的划分将选择的数据分类，然后，采用动态的方式完成该数据无关的划分，最后，根据数据无关划分下的统计量对各类数据计算权重值，并建立数据划分下的数学模型；所述数据相关的划分采用C1～C5之一，或者C1～C5任意的混合；其中，C1：表示按照访问次数将数据分成频繁访问的数据，罕见的或无访问数据，和其它数据；C2：表示按照观察结果将数据分成已知或标记的数据，和未知的或未标记的数据；C3：表示按照类标记的量将数据分成多数类样本，少数类的数据，和其它数据；C4：表示按照时间顺序将数据分成最新数据，过时的数据，和其它数据；C5：表示按照典型案例将数据分成代表性数据和其它数据；所述数据无关的划分采用TOP‑K划分，分成前K个数据和其它数据两类；或采用三段划分，将数据分成热数据、温数据和冷数据3类；所述动态的方式包括对应TOP‑K划分的动态方式和对应三段划分的动态方式；其中，对应TOP‑K划分的动态方式：初始时，任选K个数据为DK组，其它的为Drest组；当数据被使用一段时间或一个窗口宽的次数后，根据数据被访问的次数更新数据利用划分，保持该划分至少在一个窗口内处于一个稳定状态；对应三段划分的动态方式：初始时，任选T１%、T２%、T３%个数据，形成一个数据划分DT1%、DT2%和DT3%；当数据被使用一段时间或一个窗口宽的次数后，根据数据被访问的次数更新数据利用划分，保持该划分至少在一个窗口内处于一个稳定状态；上述，T1+T2 +T3=100；所述对各类数据计算权重值包括对应TOP‑K划分的计算和对应三段划分的计算；其中，对应TOP‑K划分的计算：w1=p1/|DK|，w2=p2/|Drest|；对应三段划分的计算：w3=p3/| DT1%|，w4=p4/| DT2%|，w5=p5/| DT3%|；上述，p1、p2、p3、p4、p5分别为数据划分DK、Drest、DT1%、DT2%、DT3%的使用比率；w1、w2、w3、w4、w5分别为数据划分DK、Drest、DT1%、DT2%、DT3%中数据的权重值；所述数据划分下的数学模型包括对应TOP‑K划分的数学模型和对应三段划分的数学模型；其中，对应TOP‑K划分的数学模型为w1*DK Å w2*Drest，w1>> w2；对应三段划分的数学模型为w3*DT1% Å w4*DT2% Å w5*DT3%，w3>>w4> w5；Å：表示+或表示Max。