[发明专利]一种基于增量学习的海洋观测大数据分布方法

权利要求书

1.一种基于增量学习的海洋观测大数据分布方法，其特征在于，所述分布方法包括以下步骤：

S1：输入待布局的增量海洋观测数据集；

S2：初始化存储容量；

S3：计算增量数据集中数据的数据价值；

S4：对增量数据集中的所有数据进行划分；

S5：利用增量学习方法对增量数据集进行训练；

S6：对训练后的数据进行布局；

S7：输出布局后的增量海洋观测数据集；

其中，所述的步骤S5中的增量学习方法为支持向量机增量学习方法。

2.根据权利要求1所述的分布方法，其特征在于，所述的步骤S3中的数据价值计算包括计算时效性、计算关联性、计算地域性。

3.根据权利要求1所述的分布方法，其特征在于，所述的步骤S4中的划分为利用k-means方法对数据集中的所有数据进行初始划分，将数据集分为活跃区和非活跃区。

4.根据权利要求1所述的分布方法，其特征在于，所述的步骤S6中的布局为对训练后的数据按照活跃区和非活跃区进行布局。

5.根据权利要求2所述的分布方法，其特征在于，所述的步骤S3的计算方法包括以下步骤：

S31：计算时效性

利用TF-IDF加权技术计算海洋观测大数据的时效性，其计算公式为如下：

$W_i\left(d\right)=\frac{{\mathrm{ft}}_i\left(d\right)\×\log (\frac{N}{n_i}+0.01)}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left({\mathrm{tf}}_i\right(d\left)\right)}^2\×{\[\log (\frac{N}{n_i}+0.01)\]}^2}}---\left(1\right)$

其中，N为海洋观测大数据集的总数据量，n_i表示包含观测数据属性项d的数据集数，tf_i(d)表示观测数据属性项d在数据集中出现的频率，W_i(d)表示属性项d的权值。

S32：计算关联性

设分别表示应用观测数据d_k和d_m的观测任务，则观测数据d_k和d_m之间的关联度S_ij的计算公式如下：

$S_{ij}=count(T_{d_k}\∩T_{d_m})---\left(2\right)$

S33：计算地域性

利用欧式距离计算方法计算各观测区内各观测位置间的距离L_mn，其计算公式如下：

L_mn＝√(x_m-x_n)²+(y_m-y_n)² (3)

其中L_mn表示观测点m和观测点n之间的距离，x_m和x_n分别表示观测点m和观测点n的经度值，y_m和y_n分别表示观测点m和观测点n的纬度值。

引入归一化变量，用相对位置和整个区间内距离最大值的比值作为观测点的距离关联值RL_mn，其计算公式如下：

${\mathrm{RL}}_{mn}=\frac{L_{mn}}{max\{L_{12},L_{13},L_{14}...L_{mn}\}}---\left(4\right)$

其中，RL_mn表示观测点m和观测点n之间的距离关联值，max{L₁₂,L₁₃,L₁₄,……,L_mn}表示在每个距离值之间取最大值。

S34：计算数据价值

对于海洋观测大数据，根据其被使用的频度、数据的下载次数、数据使用者的重要程度和数据产品的生产成本等因素，适当选取每项因素的加权银子，计算数据价值，其计算公式如下：

V_i(d)＝W_i(d)×k₁+S_i(d)×k₂+RL_i(d)×k₃+C(5)

其中，V_i(d)代表观测数据的数据价值，W_i(d)代表观测数据的时效性，S_i(d)代表观测数据的关联性，RL_i(d)带包观测数据的地域性，k1为W_i(d)的加权因子，k2为S_i(d)的加权因子，k3为RL_i(d)的加权因子，C代表数据价值的惩罚因子，由观测数据的用户关注度、数据采集完成所经历的时间、参与的人力以及数据生产所经历的环节综合得出。

6.根据权利要求1所述的分布方法，其特征在于，所述的步骤S5的工作流程如下：

S51：输入新增海洋大数据样本集B_i(i＝1,2,3,……,n)；

S52：判断新增样本是否符合KKT条件：

S521：若符合KKT条件，根据KKT条件进行支持向量机(SVM)分类，然后进入步骤S56；

S522：若不符合KKT条件，则进入步骤S53；

S53：判断B_i是否都在分类面上：

S531：若B_i都在分类面上，则将其归为分类间隔上的样本，然后进入步骤S56；

S532：若B_i不都在分类面上，则进入步骤S54；

S54：判断B_i是否都在分类面的边缘或原分类有误：

S541：若B_i都在分类面的边缘或原分类有误，则将其归为分类间隔内的样本，然后进入步骤S56；

S542：若B_i不都在分类面的边缘或原分类无误，则进入步骤S55；

S55：根据数据价值训练样本集，即利用k-means方法划分样本集；

S56：输出增量样本集。